당신이 퍼즐을 풀고, 코드를 작성하고, 언어를 번역하도록 설계된 거대하고 똑똑한 로봇 두뇌를 가지고 있다고 상 imagin 해보세요. 이 두뇌는 하나의 거대하고 무거운 금속 덩어리로 만들어진 것이 아니라, 수백 개의 전문화된 작업대로 이루어진 거대한 공장처럼 구축되었습니다. 이것이 바로 챗봇부터 코딩 어시스턴트까지 모든 것에 동력을 공급하는 AI 엔진인 **거대 언어 모델(LLM)**의 세계입니다. 이 두뇌를 빠르고 효율적으로 만들기 위해 엔지니어들은 **전문가 혼합(Mixture-of-Experts, MoE)**이라는 기술을 사용합니다. 이것은 매 방마다 256명의 서로 다른 "전문가"가 있는 거대한 팀과 같습니다. 질문이 들어오면, 스마트한 매니저(이름하여 "라우터")는 특정 문제를 해결하는 데 필요한 몇 명의 전문가가 누구인지 결정하며, 나머지 팀원들은 커피 휴식을 취하게 합니다. 이렇게 하면 실제로 필요한 작업자만 깨우기 때문에 로봇이 빠르게 작동할 수 있습니다.

하지만 여기서 큰 의문이 생깁니다. 그 모든 작업자가 똑같이 중요한 걸까요? 만약 공간과 전기를 아끼기 위해 공장을 축소해야 한다면, 모든 방에서 무작위로 작업자의 30%를 해고해도 될까요? 아니면 어떤 비밀스러운 패턴이 있을까요? 과학자들은 추측해 왔지만, 뇌의 어느 부분이 취약하고 어느 부분이 견고한지에 대한 명확한 지도를 가지고 있지 않았습니다. 이를 이해하는 것은 중요합니다. 왜냐하면 이 모델들은 점점 거대해지고 있으며, 만약 우리가 불필요한 부분들을 안전하게 "가지치기(pruning, 제거)"할 수 있다면, 지능을 잃지 않으면서도 더 저렴한 컴퓨터에서 더 빠르게 실행하여 에너지와 비용을 절약할 수 있기 때문입니다.

---

위대한 공장 감사: 우리는 누구를 보낼 수 있는가?

이 논문에서, Persistent Systems의 연구진은 Qwen3.6-35B-A3B라고 불리는 특정하고 거대한 AI 모델에 대해 고도의 위험이 따르는 "코드 절단" 게임을 하기로 결정했습니다. 이 모델은 괴물 같습니다. 40개의 레이어(생각해 보세요, 40층짜리 마천루 공장입니다)를 가지고 있으며, 각 층에는 256명의 전문가가 있습니다. 모델이 단어를 처리할 때마다, 작업 수행을 위해 상위 8명의 전문가를 선택합니다.

연구진은 다음과 같은 사실을 알아내고자 했습니다. 만약 특정 레이어에서 "가장 약한" 전문가들(두뇌 속 숫자가 가장 작은 전문가들)을 무시하도록 강제한다면, 모델이 붕괴할까요, 아니면 계속 작동할까요? 그들은 XLCoST라는 벤치마크를 사용하여, 한 프로그래밍 언어에서 다른 언어로(예: C++를 Python으로) 코드를 번역하는 까다로운 작업을 통해 이를 테스트했습니다.

발견: 어디를 자르느냐가 핵심이다

연구팀은 마치 외과의사가 절개 부위를 테스트하듯, 세 가지 주요 이론을 바탕으로 다양한 패턴으로 잘라보았습니다.

1. "평탄한 절단(Flat Cut)" 이론: 모든 곳의 모든 층에서 가장 약한 전문가의 30%를 그냥 잘라낸다.
2. "조기 절단(Early Cut)" 이론: 아마도 아래쪽 층들이 가장 중요할 것이다?
3. "후기 절단(Late Cut)" 이론: 아마도 위쪽 층들은 이미 아래쪽 층들이 했던 일을 반복하고 있을 뿐일 것이다?

결과는 "평탄한 절단" 아이디어에 커다란 충격을 주었습니다.
그들이 평탄한 절단(40개 층 모두에서 전문가의 30%를 제거)을 시도했을 때, 모델은 기본적으로 자신의 직무를 잊어버렸습니다. 300개의 코딩 퍼즐 중 단 150개만을 제대로 맞혔습니다(또는 "Good/Similar"). 모델은 환각(hallucination)을 일으키기 시작했고, 내부적인 사고 과정을 최종 코드에 유출했으며, 구문 오류를 범했습니다. 이는 기초, 중간 사무실, 그리고 꼭대기 층의 직원을 동시에 30%씩 해고한 것과 같았습니다—건물 전체가 흔들리기 시작한 것입니다.

하지만 그들은 "마법의 구역"을 찾아냈습니다.
연구진은 모델의 민감도가 당신이 어느 층에 있느냐에 따라 급격하게 변한다는 것을 발견했습니다.

• 0~9층 (기초): 이 층들은 매우 취약합니다. 여기서 전문가를 자르면 모델이 즉시 망가집니다.
• 10~29층 (중간): 역시 매우 취약합니다.
• 30~39층 (펜트하우스): 이 상층부들은 놀라울 정도로 견고합니다! 이곳의 전문가들은 많은 중복된 작업을 수행하는 것으로 보입니다. "라우터"(매니저)는 여기서 이미 혼란을 겪으며 자신감이 매우 낮은 전문가들을 선택하고 있는데, 이는 전문가들이 서로 대체 가능하다는 것을 의미합니다.

승리하는 전략: "탑다운(Top-Down)" 트리밍

연구팀은 완벽한 트리밍 일정을 찾기 위해 300개의 프롬프트를 사용하여 대규모 실험을 수행했습니다. 그들은 절단 작업을 특정 층에 집중하면 모델이 건강하게 유지된다는 것을 발견했습니다.

• "후기 램프(Late Ramp)" 전략: 그들은 3034층에서 전문가의 **35%**를 잘라냈고, 맨 위층인 3539층에서는 **55%**를 잘라냈습니다.
• 결과: 300개의 프롬프트 중 이 전략은 255개의 출력을 정상적으로 유지했습니다! 이는 평탄한 절단보다 훨씬 나은 결과이며, 1,100명 이상의 전문가를 제거했습니다.

하지만 그들은 거기서 멈추지 않았습니다. 이것이 단순히 운이 좋았던 것이 아님을 확인하기 위해, 본 적 없는 새로운 500개의 프롬프트 세트로 최선의 아이디어를 테스트했습니다. 여기서 이야기는 더욱 흥미로워졌습니다.

더 큰 테스트에서 "후기 램프"도 좋았지만, 더 좁은 전략이 우승을 차지했습니다.

• "매우 후기 전용(Very-Late Only)" 전략: 그들은 오직 **상위 5개 층(35~39층)**만을 건드렸고, 그곳의 전문가를 50% 잘라냈습니다.
• 결과: 이 작은 정밀 타격은 500개 중 419개의 출력을 완벽하게 유지했습니다! 훨씬 더 나은 성과였으며, 전체 모델의 총 10,240명의 전문가 중 단 640명의 전문가만을 제거했습니다.

이는 연구진이 모델의 "근육" 중 아주 윗부분의 상당 부분을 제거했음에도 불구하고, 모델이 거의 눈치채지 못했다는 것을 의미합니다. 이는 마치 마천루의 꼭대기 층이 대부분 장식용 발코니라는 것을 깨달은 것과 같습니다. 발코니 난간의 절반을 제거해도 건물은 여전히 당당히 서 있을 수 있습니다.

사이드 퀘스트: "사고" vs "답변"의 미스터리

팀은 또한 모델이 "사고"할 때(문제를 추론할 때)와 "답변"할 때(최종 코드를 작성할 때) 서로 다른 전문가를 사용하는지 확인하려고 했습니다. 그들은 차이점을 포착할 수 있는지 보기 위해 약간 오래된 버전의 모델(Qwen3.5)을 살펴보았습니다.
그들은 "사고" 단계 동안 모델이 넓고 무질서한 전문가 집단을 사용한다는 것을 발견했습니다. 하지만 "답변"할 때가 되면, 모델은 더 집중하며 더 적은 수의 전문가를 사용합니다. 이는 향 su ใน 미래에 모델을 가지치기하고자 한다면, 비록 종이 위에서는 약해 보일지라도 "사고"하는 전문가들을 자르는 데 주의해야 할 수도 있음을 시사합니다. 그러나 저자들은 이것이 미래를 위한 힌트일 뿐, 아직 증명된 규칙은 아니라고 조심스럽게 언급했습니다.

속도는 어떠한가?

그들은 또 다른 트릭도 시도했습니다: 전문가를 자르는 대신, 모델에게 매 단어마다 일반적인 8명이 아닌 6명의 전문가만 선택하도록 명령했습니다. 100개의 프롬프트에 대한 소규모 테스트에서, 이 방식은 품질을 잃지 않으면서도 모델을 훨씬 더 빠르게(적은 "벽 시계 시간"/wall-clock time) 실행하게 만들었습니다. 하지만, 이 속도 향상 기법을 공격적인 전문가 절단과 결합했을 때 모델은 혼란에 빠졌습니다. 이러한 지름길들을 주의 깊은 테스트 없이 서로 쌓아 올릴 수는 없다는 점을 시사합니다.

결론

이 논문의 핵심 요점은 균일한 가지치기에 대한 명확한 "하지 마시오(Don't Do It)"와 스마트한 가지치기에 대한 "이렇게 하시오(Do This)"입니다.

• 하지 마십시오: 모든 레이어에서 모든 전문가를 똑같이 30%씩 자르는 것은 모델의 사고 능력을 파괴합니다.
• 하십시오: 절단을 맨 위쪽 레이어(35~39층)에 집중하십시오. 모델은 그곳에서 전문가의 절반을 잃는 것에 대해 놀라울 정도로 관대합니다.

저자들은 자신들이 아직 컴퓨터 메모리에서 가중치를 실제로 삭제한 것은 아니라고(단지 라우터에게 그것들을 무시하라고 명령했을 뿐이라고) 주의를 기울였습니다. 따라서 모델이 더 작고 효율적으로 작동하더라도, 하드 드라이브에서는 여전히 동일한 공간을 차지합니다. 그들이 향후 과제로 제안하는 다음 단계는, 사용되지 않는 전문가들을 영구적으로 삭제하여 실제 저장 공간을 절약할 수 있는 "물리적 가중치 수술"을 실제로 수행하는 것입니다.

요약하자면, 연구진은 이 AI 모델의 "두뇌"에 매우 구체적인 약점이 있다는 것을 발견했습니다: 상층부는 하층부보다 훨씬 더 중복되어 있다는 것입니다. 상층부를 다듬음으로써, 우리는 모델을 망가뜨리지 않고도 더 작고, 빠르고, 저렴한 AI 모델을 구축할 수 있을 것입니다.