당신이 거대하고 매우 똑똑한 로봇에게 말하는 법을 가르치려 한다고 상상해 보세요. 당신은 이 로봇이 엄청난 지식을 갖추면서도 매우 빠르고 효율적이기를 바랍니다. 이를 위해 과학자들은 "전문가 혼합(Mixture of Experts, MoE)"이라는 영리한 기술을 사용합니다. 이것을 하나의 거대한 뇌가 아니라, 전문가들로 구성된 팀이라고 생각하세요. 로봇이 질문에 답해야 할 때, 팀 전체에게 묻는 것이 아니라 그 주제에 가장 적합한 특정 전문가 한 명만을 깨웁니다. 이렇게 하면 에너지를 절약할 수 있고, 로봇이 거대해지더라도 속도가 느려지지 않게 할 수 있습니다.

하지만 이 팀을 훈련시키는 데는 큰 문제가 있습니다. 새로운 것을 계속 가르치다 보면, 전문가들이 종종 똑같이 생각하기 시작한다는 점입니다. 그들은 모두 똑같이 지루한 사실들을 배우고 서로의 복제판처럼 똑같이 들리기 시작합니다. 이는 팀을 구성한 목적을 무색하게 만듭니다. 차라리 한 명의 사람을 두는 것과 다를 바 없습니다. 더 나쁜 것은, 새로운 것을 배울 때 그들이 제대로 말하는 법 자체를 잊어버려 횡설수설하기 시작한다는 것입니다. 이 논문은 이러한 AI 전문가들을 별도의 더 큰 로봇이 감시하지 않고도 어떻게 독특하고 예리하게 유지할 수 있는지에 대한 복잡한 문제를 다룹니다.

---

구원 투수가 되는 3단계 팀

장칭쥔(Zhang Qingjun)이 이끄는 연구진은 이러한 "복제" 및 "망각" 문제를 해결하기 위해 복잡한 수학적 페널티나 선생님 역할을 할 로봇이 필요하지 않다는 것을 발견했습니다. 대신, 그들은 잘 돌아가는 기계처럼 작동하는 3부품 시스템을 구축했습니다. 그들은 이 시스템을 작지만 강력한 모델인 Qwen2.5-0.5B(24개의 레이어와 각 레이어당 4개의 전문가 보유)에서 테스트했습니다. 이 세 가지 요소가 일상적인 비유와 함께 어떻게 작동하는지 설명하겠습니다.

1. FrozenPath: 움직이지 않는 닻

당신이 화가들에게 새로운 화풍을 가르치고 있다고 상상해 보세요. 만약 아무런 지도 없이 그들을 내버려 둔다면, 그들은 직선을 긋는 법이나 기본 색을 섞는 법을 잊어버릴 수도 있습니다. 그들은 횡설수설하는 그림을 그리기 시작할지도 모릅니다.

FrozenPath는 방 구석에 서서 완전히 시간이 멈춘 듯 움직이지 않는 마스터 화가와 같습니다. 이 마스터는 자신의 화풍을 절대 바꾸지 않습니다. 훈련 과정 동안 새로운 화가들("학습 가능한 전문가들")은 그림을 그리지만, 그들의 최종 결과물은 자신들의 작업과 마스터의 변하지 않는 작업이 혼합된 형태가 됩니다. 논문은 이 "얼어붙은(frozen)" 복사본이 절대적으로 중요하다는 것을 발견했습니다. 이것은 안전망 역할을 합니다.

테스트 결과, 이 얼어붙은 닻을 제거했을 때 모델은 단순히 약간 나빠지는 수준이 아니라 완전히 붕괴되었습니다. 퍼플렉시티(Perplexity, 모델이 얼마나 혼란스러워하는지를 측정하는 점수로, 낮을수록 좋습니다)는 훌륭한 점수인 20에서 끔찍한 1318로 폭발했습니다. 모델은 "the 2|||||..."와 같은 난해한 문장을 내뱉기 시작했습니다. 저자들은 이것이 단순한 보너스가 아니라 생존을 위한 필수 요건임을 강조합니다. 이것 없이는 전체 시스템이 무너집니다.

2. Data Shard: 엄격한 과제 부여

이제 방 안에 네 명의 전문가가 있고, 당신은 그들이 서로 달라지기를 원한다고 상상해 보세요. 만약 요리, 우주, 역사, 스포츠에 관한 책들을 뒤섞어 놓은 채 그들에게 던져준다면, 그들은 모두 똑같은 것을 배우고 복제판이 될 것입니다.

Data Shard 방식은 도서관의 책들을 아무도 손대기 전에 분류하는 엄격한 사서와 같습니다. 사서는 도서관을 네 개의 별도 더미(shard)로 자릅니다. 전문가 A는 요리 책만 받고, 전문가 B는 우주 책만 받는 식입니다. 그들은 다른 더미를 절대 볼 수 없습니다. 완전히 다른 이야기를 읽기 때문에, 그들의 뇌는 자연스럽게 다르게 생각하기 시작합니다.

논문은 이것이 전문가들을 다르게 만드는 유일한 방법임을 입증했습니다. 전문가들이 어떤 책이든 읽을 수 있는 버전(무작위 라우팅)을 테스트했을 때, 전문가들은 유사도 점수 1.00(완전히 동일함을 의미)을 기록하며 다시 똑같은 복제판이 되었습니다. 하지만 "Data Shard" 방식을 사용하자 유사도가 0.85로 떨어졌고, 이는 그들이 자신만의 고유한 개성을 발달시켰음을 증명했습니다. 흥미롭게도 이 방식은 모델의 기초적인 능력(PPL 점수)을 더 똑똑하게 만들지는 않았지만, 전문가들이 복제판이 되는 것을 막은 유일한 이유였습니다.

3. Dual-Loop: 자기 점검

마지막으로, 자신에게 할당된 특정 책 더미를 가진 전문가를 상상해 보세요. 그들은 한 장을 읽고, 생각하고, 정말로 이해했는지 확인하기 위해 즉시 그것을 다시 읽습니다. 이것이 Dual-Loop입니다.

정보를 한 번만 통과시키는 대신, 전문가는 데이터를 연속으로 두 번 뇌에 통과시킵니다. 이는 자기 교정 사이클과 같습니다. 논문은 이것이 작지만 도움이 되는 상승 효과를 준다는 것을 발견했습니다. 이는 모델의 점수를 약 2점 개선했으며(퍼플렉시티를 22에서 20으로 낮춤), HellaSwag라는 추론 테스트를 2% 향상시켰습니다. 그러나 그들은 한계도 발견했습니다: 이를 세 번 수행하는 것(Triple-Loop)은 두 번 하는 것보다 큰 도움을 주지 못했습니다. 두 번의 루프가 시간 낭비 없이 혜택을 얻을 수 있는 최적의 지점이었습니다.

결과: 실제로 작동하는 팀

연구진이 이 세 가지 부분을 모두 결합했을 때, 결과는 인상적이었습니다. 전체 시스템(Configuration E라고 불림)은 퍼플렉시티 20을 달s성했는데, 이는 표준 "밀집(dense)" 모델 베이스라인인 143보다 훨씬 좋은 수치입니다. 전문가들은 뚜렷하게 구분되었고(복제판이 아님), 모델은 말하는 법을 잊지 않았으며, 질문에 올바르게 답할 수 있었습니다.

예를 들어, "프랑스의 수도는"이라는 질문에 전체 시스템은 "파리입니다. 이곳은 787년 샤를마뉴에 의해 세워졌습니다..."라고 올바르게 답했습니다(참고: 예시의 역사적 날짜는 모델의 출력값의 일부이며, 저자는 모델이 사실을 회상할 수 있음을 보여주기 위해 사용했습니다. 실제 역사적 사실과는 다를 수 있습니다).

반면, "FrozenPath"가 없는 버전(Configuration C)은 실패하여 횡설수설을 생성했습니다. "Data Shards"가 없는 버전(Configuration I)은 올바른 문장을 만들어냈지만 전문가들이 100% 동일했으므로, 모델의 특수한 "희소(sparse)" 능력이 낭비되고 있었습니다.

이것이 미래에 중요한 이유

이 논문은 이 시스템이 거대한 선생님 모델의 감시 없이도 새로운 특정 주제(예: 법률 문서나 의료 기록)에 대해 AI를 계속 훈련시키고자 하는 기업들에게 완벽하다고 제안합니다. 이것은 "증류 불필요(distillation-free)" 및 "보조 손실 불필요(auxiliary-loss-free)" 솔루션으로, 작동을 위해 추가적인 복잡한 수학이나 거대한 참조 모델을 필요로 하지 않습니다.

실용적인 측면에서, 연구진은 이 모델이 비교적 작은 컴퓨터에서도 실행될 수 있음을 보여주었습니다. 표준 그래픽 카드(예: RTX 4080S)에서 실행되는 단일 전문가는 3.5 GB의 비디오 메모리(VRAM)만 필요합니다. 이는 많은 소비자용 노트북이나 엣지 디바이스에서도 실행할 수 있을 만큼 작습니다. 이 시스템은 "레벨 4" 엔지니어링 성숙도에 도달하여 실제 사용 준비가 되었음을 의미하지만, 저자들은 이를 더 큰 모델(예: 70억 파라미터 규모)로 확장하는 데는 더 많은 테스트가 필요하다고 언급했습니다.

요약하자면, 이 논문은 안전한 닻을 고정하고, 학습 자료를 엄격하게 나누며, 전문가들이 자신의 작업을 재확인하게 함으로써, 고유하고 똑똑하며 말하는 법을 잊지 않는 AI 전문가 팀을 구축할 수 있음을 증명합니다.