💻 computer science

The Three-Force Phase Diagram of Mixture-of Experts: Gradient Alignment Theory and Causal Veri cation on Mixtral 8×7B

이 논문은 표준 Mixture-of-Experts 학습, 특히 Mixtral 8×7B에서 소프트맥스 결합(softmax coupling)과 top-k 정규화의 결합된 부정적 효과로 인해 발생하는 구조적 제로섬 경쟁에 의해 근본적으로 구동되며, 이는 특정 건축적 제약을 제거해야만 극복할 수 있는 지속적인 부정적 정렬 끌개(negative alignment attractor)를 생성한다는 것을 입증하기 위해 교차 전문가 그래디언트 정렬 지표(Γ)를 도입한다.

원저자: 庆君张

게시일 2026-07-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: 庆君张

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

위대한 전문가의 대결: 왜 AI 모델들은 서로 싸우는가

당신이 로봇에게 말하는 법을 가르치기 위해 거대한 도서관을 짓고 있다고 상상해 보세요. 모든 것을 기억하려고 애쓰는 하나의 거대하고 전지전능한 사서를 고용하는 대신, 당신은 여덟 명의 전문화된 전문가 팀을 고용합니다. 어떤 이는 수학에 능하고, 다른 이는 시 쓰기에 능하며, 세 번째 이는 역사에 능할 수도 있습니다. 이것이 현대 AI에서 모델을 매우 크고 똑똑하게 만들면서도 실행 속도가 느려지지 않게 만드는 영리한 기술인 **전문가 혼합(Mixture-of-Experts, MoE)**의 핵심 아이디어입니다. 컴퓨터는 "라우터(router)"라고 불리는 똑똑한 매니저 역할을 하며, 질문을 보고 어떤 두 명의 전문가가 답변할지 결정합니다.

하지만 여기에 까다로운 문제가 있습니다. 이 전문가들은 어떻게 학습할까요? 이상적인 세상이라면 그들은 잘 기름칠 된 기계처럼 협력하여, 다른 이들을 방해하지 않고 각자의 업무에 집중하며 발전할 것입니다. 그러나 AI를 학습시키는 혼란스러운 현실 속에서, "매니저"는 선택을 내려야 합니다. 만약 매니저가 수학 전문가에게 더 많은 관심을 기울이기로 결정한다면, 역사 전문가에게 가야 할 관심을 빼앗아 와야 할 수도 있습니다. 이것은 줄다리기 싸움을 만들어냅니다. 과학자들은 오랫동안 궁금해해 왔습니다. 이 팀이 협력하는 법을 배우고 있는 것일까요, 아니면 한 사람의 이득이 다른 사람의 손실이 되는 끊임없는 제로섬(zero-sum) 싸움에 갇혀 있는 것일까요? 이를 이해하는 것은 매우 중요합니다. 만약 전문가들이 너무 격렬하게 싸운다면, 그들은 새로운 것을 배우는 것을 멈추거나 심지어 똑같이 행동하기 시작하여 모델의 지능을 망칠 수 있기 때문입니다.

논문의 발견: 삼각 관계의 줄다리기

이 연구에서 장칭쥔(Zhang Qingjun)이라는 과학자는 유명한 AI 모델인 Mixtral 8×7B의 커튼 뒤를 몰래 들여다보며, 이 전문가들이 정확히 어떻게 싸우고 있는지 확인하기로 했습니다. 단순히 추측하는 대신, 그들은 **감마(Gamma, Γ)**라고 불리는 새로운 "온도계"를 발명했습니다. 이 도구는 전문가들의 학습 신호 사이의 관계를 측정합니다. 만약 감마가 양수라면, 전문가들이 서로를 시너지 있게 강화하여 역설적으로 동일한 행동으로 붕괴되는 "난류(turbulent)" 상태에 있는 것입니다. 만약 0이라면, 그들은 서로를 무시하고 독립적으로 학습하는 차분한 "층류(laminar)" 상태입니다. 만약 감마가 음수라면, 한 전문가를 돕는 것이 다른 전문가를 해치는 제로섬 전투 상태에 있는 것입니다.

연구 결과, 표준 Mixtral 모델은 **음수 상태(Γ = -0.107)**에 갇혀 있는 것으로 나타났습니다. 이는 일반적인 설정에서 모델이 근본적으로 제로섬 게임임을 의미합니다. "매니저"가 한 전문가를 위한 라우팅을 개선할 때마다, 의도치 않게 다른 전문가들이 학습하는 것을 어렵게 만듭니다. 연구자는 왜 이런 일이 발생하는지 알아내고 이를 해결할 수 있는지 확인하기 위해 일곱 가지의 서로 다른 실험을 수행했습니다.

작동하는 세 가지 힘
논문은 이 부정적인 싸움을 물리 방정식처럼 세 가지 구체적인 힘으로 나누어 설명합니다:

선한 힘 (+0.030): 모든 전문가가 동일한 기본 뇌 구조를 공유하기 때문에, 자연스럽게 약간의 양의 정렬을 가집니다. 그들은 서로를 돕고자 합니다.
부드러운 힘 (-0.044): "매니저"는 누가 선택될지 결정하기 위해 *소프트맥스(softmax)*라는 수학적 도구를 사용합니다. 이 도구는 확률의 합이 반드시 100%가 되어야 하기 때문에 미묘한 경쟁을 유발합니다.
무거운 힘 (-0.124): 가장 큰 범인은 모델이 정확히 2명의 전문가(top-2)를 선택하고 그들의 가중치 합을 1로 강제하는 규칙입니다. 이는 엄격한 "제로섬" 제약을 만듭니다. 즉, 전문가 A가 더 큰 파이 조각을 가져가면, 전문가 B는 반드시 더 작은 조각을 가져가야 합니다. 이것이 전문가들이 싸우는 주요 원인입니다.

이것들을 모두 더하면 무거운 싸움의 힘이 승리하여, 모델은 -0.107이라는 순 음수 점수를 남깁니다. 연구는 이것이 특정 데이터나 가중치의 우연한 현상이 아니라, 시스템의 구조적 규칙임을 증명했습니다. 연구자가 노이즈를 추가하거나, 학습 과제를 바꾸거나, 뇌의 일부를 얼리는(freezing) 등 모델을 건드려 보았음에도 불구하고 싸움은 계속되었습니다. 음수 상태는 "구조적 끌개(structural attractor)", 즉 모델이 설계에 의해 빠져들 수밖에 없는 함정입니다.

"역 U자형"의 놀라움
선택되는 전문가의 수가 싸움에 어떤 영향을 미치는지에 대한 가장 흥ral한 발견 중 하나입니다. 연구자는 1, 2, 3, 4, 6, 8명의 전문가를 선택하도록 테스트했습니다.

1명의 전문가를 선택할 때 (k=1): 싸움이 완전히 멈춥니다! 감마는 0.000이 됩니다. 단 한 명의 전문가만 있다면 싸울 상대가 없으므로, 모델은 완벽한 "층류(laminar, 차분한)" 상태에 진입합니다.
2명의 전문가를 선택할 때 (k=2): 싸움이 정점에 달합니다(가장 낮은 값). 이것이 원래의 Mixtral 설정입니다.
더 많은 전문가를 선택할 때 (k=8): 싸움이 다시 약해집니다 (감마가 -0.045로 상승). 왜일까요? 너무 많은 사람에게 파이가 나누어지다 보니, 특정 두 전문가 사이의 경쟁이 희석되기 때문입니다.

이것은 역 U자 모양을 만듭니다. 즉, 경쟁은 한 명만 뽑을 때 가장 약하고, 두 명을 뽑을 때 가장 강력하며, 더 많이 뽑을수록 점차 사라집니다.

우리가 해결할 수 있을까?
논문은 이 싸움의 덫에서 탈출하는 두 가지 방법을 제시합니다:

단 한 명의 전문가만 선택하기 (k=1): 이는 경쟁을 완전히 제거하여 차분한 학습 환경을 만듭니다. 하지만 논문은 이 방식에 트레이드오프가 있다고 언급합니다. 토큰당 활성화되는 전문가 수가 적어지기 때문에, 학습 과정 자체는 더 깨끗할지라도 전체적인 모델 품질는 저하될 수 있습니다.
"하드 라우팅(Hard Routing)" 사용하기: 매니저가 전문가를 선택하는 법을 배우게 하는 대신, 특정 주제에 전문가를 영구적으로 할당(고정된 스케줄처럼)할 수 있습니다. 연구팀이 이를 더 작은 비전 모델에 테스트한 결과, 싸움을 거의 제로 수준(Gamma = -0.009)으로 줄여 거의 완벽한 차분한 상태를 만들어냈습니다.

이것이 의미하는 바
논문은 "경쟁적 라우팅 정리(Competitive Routing Lemma)"로 결론을 맺습니다. 만약 당신이 2명 이상의 전문가를 선택하고 그들의 선택 합이 고정된 총합이 되도록 강제하는 시스템을 만든다면, 수학적으로 제로섬 싸움을 만들 수밖에 없습니다. 저자들은 단순히 추측한 것이 아니라, 거대 모델의 32개 레이어에 걸쳐 이를 측정하고 증명했습니다. 모델은 여전히 학습을 수행하므로 실패한 것은 아니지만, 이러한 내부적인 싸움은 전문가들이 전문화되는 것을 어렵게 만들고, 모델이 나중에 새로운 과제를 배우려고 할 때 문제를 일으킬 수 있습니다. 논문은 해결책으로, "매니저"가 전문가를 선택하는 방식을 재설계하여 이 내재된 갈등을 피해야 한다고 제안합니다.

기술 요약: Mixture-of-Experts의 세 가지 힘에 의한 위상도 (The Three-Force Phase Diagram of Mixture-of-Experts)

1. 문제 정의

Mixture-of-Experts (MoE) 아키텍처는 토큰당 일부 하위 네트워크를 활성화하여 모델 용량을 확장하지만, 전문가들이 기능적으로 동일한 표현으로 수렴하는 "전문가 붕괴(expert collapse)" 현상을 겪는다. 기존 문헌은 보조 손실(auxiliary losses)이나 용량 제약을 통해 표면적인 증상인 부하 불균형(load imbalance)을 다루지만, 전문가 정렬을 유도하는 근본적인 그래디언트 역학(gradient dynamics)은 아직 진단되지 않았다. 특히, 프로덕션 규모의 언어 모델(예: Mixtral 8×7B)에서 전문가 간의 결합이 시너지적인지, 독립적인지, 혹은 경쟁적인지, 그리고 어떤 구조적 힘이 이 결합을 지배하는지는 불분명하다.

2. 방법론

저자들은 모든 전문가 쌍에 대한 라우터 로짓 그래디언트(router-logit gradients)의 평균 코사인 유사도로 정의되는 진단 지표인 ** $\Gamma$ (감마)**를 도입한다. 이 지표는 전문가 간 결합을 정량화한다:

$\Gamma > 0$ (난류, Turbulent): 시너지적 강화.
$\Gamma \approx 0$ (층류, Laminar): 독립적 학습.
$\Gamma < 0$ (음의 정렬, Negative-aligned): 제로섬 경쟁.

본 연구는 가중치를 수정하지 않고 몽키 패칭(monkey-patching)과 그래디언트 훅(gradient hooks)을 사용하여 Mixtral 8×7B(47B 파라미터, 32개 레이어, softmax top-2 라우팅)에 대해 일곱 가지의 뚜렷한 실험을 통한 체계적인 인과적 진단을 수행한다:

베이스라인 측정: 고유한 $\Gamma$ 설정.
섭동 테스트 (Perturbation Tests): LoRA 지속 학습, 게이트 언프리징(gate unfreezing), 노이즈 스윕(0–100% 무작위 토큰)을 적용하여 $\Gamma$ 가 가중치 의존적인지 테스트.
2×2 요인 분해 (2×2 Factorial Decomposition): 활성화 함수(softmax vs. sigmoid)와 top-k 가중치 정규화(on vs. off)의 효과를 격리.
Top-k 절제 실험 (Top-k Ablation): 경쟁 강도를 관찰하기 위해 $k$ 를 1에서 8까지 변화시킴.
교차 아키텍처 검증: softmax와 hard routing을 사용하는 비전 기반 "Tile MosaicModel"을 테스트하여 보편성을 검증.

3. 주요 결과

A. 경쟁의 구조적 본질

기본 상태: 베이스라인 Mixtral 8×7B는 모든 32개 레이어에 걸쳐 균일한 $\Gamma = -0.107$ 을 나타낸다.
구조적 끌개 (Structural Attractor): 섭동 실험(LoRA, 게이트 언프리징, 노이즈 주입)은 $\Gamma$ 를 0 너머로 이동시키는 데 실패했다. 100% 무작위 입력 토큰을 사용하더라도 $\Gamma$ 는 +0.015만큼 미미하게만 변했다. 이는 음의 정렬 상태가 특정 가중치 값이나 데이터 분포와 무관한, top-2 softmax 라우팅 메커니즘의 구조적 끌개임을 확인시켜 준다.

B. 세 가지 힘의 분해

2×2 요인 분석은 순 $\Gamma$ 를 세 가지 상충하는 힘으로 분해했다:

아키텍처적 양의 정렬 (+0.030): 모든 전문가가 유사한 은닉 상태를 처리하는 공유 FFN 백본에서 기인함.
Softmax 분모 결합 (−0.044): 도함수 $\partial\sigma_i/\partial z_j = -\sigma_i\sigma_j$ 에 의해 발생하며, 전역적인 음의 결합을 생성함.
Top-k 제로섬 정규화 (−0.124): $\sum w_i = 1$ 이라는 제약 조건에서 기인하는 가장 지배적인 힘으로, $\partial w_i/\partial w_j = -1$ 을 의미함.

순 효과는 다음과 같다: $+0.030 - 0.044 - 0.124 = -0.107$ . 결정적으로, softmax 결합과 top-k 정규화가 모두 제거되었을 때만(조건 C) $\Gamma$ 가 양의 영역(+0.030)으로 넘어간다.

C. 역 U자 관계 (Inverted-U Relationship)

Top-k 절제 실험은 활성 전문가 수( $k$ )와 경쟁 강도 사이의 역 U자 관계를 밝혔다:

$k=1$ : $\Gamma = 0.000$ (완벽한 층류). 경쟁 풀 자체가 존재하지 않음.
$k=2$ (Native): $\Gamma = -0.107$ (최대 경쟁). 제로섬 제약이 두 전문가 사이에 가장 집중됨.
$k \to 8$ : 제로섬 제약이 더 큰 풀로 희석됨에 따라 $\Gamma$ 가 약화되지만(예: $k=8$ 일 때 $-0.045$), 여전히 음의 값을 유지함.

D. 교차 아키텍처 검증

비전 작업인 "Tile MosaicModel"은 이러한 역학의 보편성을 확인했다:

Softmax 라우팅 (top-k 없음): $\Gamma = -0.031$ 로, Mixtral의 softmax 결합 항의 크기와 일치함.
Hard 라우팅 (고정 가중치): $\Gamma \approx -0.009$ 로, 학습된 라우팅 경쟁을 제거하면 층류 상태가 회복됨을 확인.

4. 주요 기여

$\Gamma$ 진단 도구: 가중치 수정 없이도 모든 MoE 아키텍처에 적용 가능한 그래디언트 수준의 지표로, 전문가 간 결합 강도를 정량화함.
세 가지 힘 모델: MoE 그래디언트 정렬을 아키텍처적 양의 정렬, softmax 분모 결합, top-k 제로섬 정규화로 인과적으로 분해함.
경쟁적 라우팅 정리 (Competitive Routing Lemma): $k \ge 2$ 인 전문가를 선택하고 가중치를 정규화하는 모든 라우팅 메커니즘은 필연적으로 $\Gamma < 0$ 을 생성하며, 그 강도는 $k=2$ 에서 정점에 달한다는 공식적 결과.
통합 위상도: 이러한 역학이 다양한 규모(36M에서 47B), 모달리티(비전 대 언어), 아키텍처(Transformer 대 WRN) 전반에 걸쳐 유지됨을 보여주는 스펙트럼 제시.
설계적 함의: $k=1$ 라우팅과 hard/fixed 라우팅이 층류 상태( $\Gamma \approx 0$ )를 달성하기 위한 충분 조건임을 식별.

5. 의의 및 주장

본 논문은 MoE 학습 역학에 대한 통합된 그래디언트 정렬 설명을 제공한다고 주장한다. 이는 전문가 붕괴가 단순히 부하 불균형의 증상이라는 관점에 도전하며, 이를 정규화된 라우팅 그래디언트의 제로섬 성질의 결과로 재정의한다.

학습 실패에 대한 명확화: 저자들은 $\Gamma < 0$ 이 학습 실패를 의미하는 것은 아니라고 명시적으로 밝힌다. Mixtral은 경쟁이 약하고( $|\Gamma| \ll 1$ ) 전문가 출력을 직접적으로 잠그기보다는 라우팅 가중치에 영향을 미치기 때문에 성공적으로 학습된다.
지속 학습에 대한 함의: 본 논문은 제로섬 경쟁이 지속 학습 환경에서 병리적으로 작용할 수 있음을 시사한다. 즉, 새로운 태스크를 위해 라우팅을 개선하는 것이 필연적으로 기존 태스크에 대한 라우팅 성능을 저하시켜 치명적 망각(catastrophic forgetting)을 증폭시킨다는 것이다.
범위의 제한: 저자들은 인과적 사슬이 주로 Mixtral 8×7B를 대상으로 확립되었음을 인정한다. Qwen1.5-MoE 및 DeepSeek-V2-Lite에 대한 교차 모델 검증은 진행 중인 작업으로 언급되었다. 본 연구는 가중치가 고정된 상태에서의 정적 측정에 초점을 맞추고 있으며, 전체 최적화 과정 중의 동적 추적은 향후 과제로 남겨두었다.

결론적으로, 본 논문은 MoE의 "제로섬 함정"이 $k \ge 2$ 정규화된 라우팅의 구조적 필연성임을 입증하며, 이 체제에서 벗어나기 위해서는 경쟁 풀을 제거( $k=1$ )하거나 학습된 경쟁 자체를 제거(hard routing)하는 아키텍처적 개입이 필요함을 보여준다.