💻 computer science

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

본 논문은 비디오 Diffusion Transformer 내 토큰 선택형 희소 전문가 혼합 모델의 다섯 가지 고유의 훈련 실패 모드를 체계적으로 진단하고, 관찰된 선택적 교착 상태를 설명하기 위한 "기능적 중복성 가설"을 제시하며, 이러한 아키텍처의 확장을 위한 완전한 엔지니어링 솔루션과 진화적 로드맵을 함께 제안한다.

원저자: Haiying Sha

게시일 2026-05-20

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Haiying Sha

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 문서는 텍스트에 제시된 발견과 주장에 엄격히 부합하도록, 간단한 언어, 비유, 은유를 사용하여 논문을 설명한 것입니다.

큰 그림: 비디오 생성기 업그레이드 시도

상상해 보세요. 매우 재능 있는 1 인 비디오 편집자 (밀집 모델, "Dense Model") 가 있습니다. 이 편집자는 클립 편집, 텍스트 추가, 색상 변경, 지시 사항 따르기 등 모든 일을 할 수 있습니다. 그들은 훌륭하지만, 실행하는 데는 느리고 비용이 많이 듭니다.

연구자들은 이 편집자를 전문가 혼합 (Mixture-of-Experts, MoE) 팀으로 업그레이드하고 싶어 했습니다. 이는 전문가 팀을 고용하는 것과 같습니다.

매니저 (라우터): 어떤 작업을 누구에게 할당할지 결정합니다.
전문가 (라우팅된 전문가): 특정 작업을 수행할 준비가 된 원본 편집자의 두 개의 복제본입니다.
인턴 (공유 전문가): Everyone 을 돕기 위해 일반적인 지식을 배우는 새로운 채용 인력입니다.

목표는 매니저가 비디오의 서로 다른 부분을 서로 다른 전문가에게 보내도록 함으로써 비디오 생성기를 더 똑똑하고 빠르게 만드는 것이었습니다. 그러나 연구자들은 이 업그레이드가 매끄럽게 작동하지 않았음을 발견했습니다. 행복한 팀 대신, 시스템이 종종 "얼어붙거나" 붕괴되는 것을 발견했습니다.

업그레이드의 세 가지 규칙 (세 가지 법칙)

실험을 시작하기 전에 연구자들은 전체 시스템이 붕괴되지 않도록 하기 위해 세 가지 엄격한 규칙을 따라야 함을 깨달았습니다.

유니폼을 바꾸지 마십시오 (구조적 일관성): 전문가는 원본 편집자와 정확히 같은 방식으로 구축되어야 합니다. 원본이 특정 유형의 수학 (GELU) 을 사용했다면, 전문가도 동일한 것을 사용해야 합니다. 다른 스타일 (예: SwiGLU) 로 교체하려고 하면 가중치가 맞지 않아 모델이 즉시 깨집니다.
신호를 축소하지 마십시오 (1:1 복제): 원본 편집자의 뇌를 전문가에게 복사할 때 정확히 복사해야 합니다. 더 잘 맞게 만들기 위해 숫자를 "축소"하려고 하지 마십시오. 신호를 축소하면 신호가 계층별로 손실되어 비디오 출력이 검은색으로 사라집니다.
"마이크로 노이즈" 인턴 (공유 전문가 초기화): 이것이 가장 까다로운 부분입니다. "인턴"(공유 전문가) 은 거의 지식이 없는 상태로 시작합니다.
- 함정: 인턴을 완벽하게 0 인 가중치로 시작하면, 컴퓨터의 수학 (특히 bfloat16 정밀도) 이 너무 거칠어서 미세한 업데이트를 0 으로 반올림합니다. 인턴은 절대 깨어나지 않습니다.
- 해결책: 인턴을 깨우기 위해 아주 작고 거의 보이지 않는 "스파크"인 노이즈 (작은 정전기 충격과 같은 것) 를 주어야 합니다. 이는 비디오 출력을 변경하지 않으면서 인턴이 깨어나 학습을 시작할 수 있도록 할 만큼 충분합니다.

무엇이 잘못되었는지: 실패 진단

연구자들은 시스템을 5,000 스텝 동안 실행하고 "매니저"(라우터) 가 작업을 어떻게 할당하는지 관찰했습니다. 그들은 실패의 계층 구조를 발견했습니다.

1. 선형 라우터: "평탄한 선" 문제

설정: 그들은 단순한 직선 형태의 매니저를 사용했습니다.
결과: 매니저가 혼란스러워졌습니다. 작업을 구분할 수 없었습니다. 결국 모든 것을 두 전문가에게 균등하게 보냈지만, 그 방식이 그들을 동일하게 만들었습니다.
비유: 지도에 직선만 그을 수 있는 매니저를 상상해 보세요. 지형이 복잡하다면 (많은 작업을 가진 비디오와 같이), 직선으로 영역을 분리할 수 없습니다. 두 전문가는 서로의 복제본이 되어 (99% 유사) 시스템은 새로운 기술을 추가하지 않고 단순히 추가 비용만 발생시킵니다.

2. MLP 라우터: "선택적 교착 상태"

설정: 그들은 매니저를 더 똑똑하게 업그레이드했습니다 (비선형/MLP).
결과: 전역적인 혼란은 멈췄지만, 선택적 교착 상태 (Selective Deadlock) 라는 새로운 교활한 문제가 나타났습니다.
현상: 비디오 레이어의 약 3 분의 1 이 두 전문가를 모두 사용하는 것을 멈췄습니다. 대신, 한 명의 전문가를 선택하고 다른 한 명을 완전히 무시했습니다.
비유: 두 명의 노동자가 있는 팀을 상상해 보세요. 매니저가 "야, 노동자 A 가 일의 90% 를 하고 있고, 노동자 B 는 별로 기여하지 않네"라고 깨닫습니다. 그래서 매니저는 노동자 B 에게 일을 보내는 것을 멈춥니다. 노동자 B 는 가만히 앉아 있습니다. 매니저에게 소리쳐도 (균형 부족에 대한 페널티를 증가시켜도) 시스템이 한 명의 노동자만으로도 충분하다고 스스로 확신하기 때문에 그들은 바뀌지 않습니다.
패턴: 이는 무작위로 발생하지 않았습니다. U 자형으로 발생했습니다.
- U 의 상단 (초기 레이어): 모델의 "눈"(원시 픽셀 처리) 이 걸려 있었습니다.
- U 의 하단 (심층 레이어): 모델의 "뇌"(복잡한 의미 처리) 가 걸려 있었습니다.
- 중간: 중간 레이어는 정상적으로 작동했습니다.

3. 크로스 어텐션 라우터: "자가 치유" 시도

설정: 그들은 매니저에게 비디오를 보면서도 텍스트 지시를 읽을 수 있는 초능력을 주었습니다 (크로스 어텐션 사용).
결과: 이것이 가장 좋은 설정이었습니다. "죽은" 일부 레이어가 실제로 깨어나 다시 작동하기 시작했습니다!
한계: 이 초능력이 있음에도 불구하고 약 9 개의 레이어는 완고하게 걸려 있었습니다. 매니저는 여전히 해당 특정 레이어에서 두 전문가를 모두 사용하는 방법을 파악하지 못했습니다.

"기능적 중복" 이론: 왜 이런 일이 발생했는가?

연구자들은 전문가들이 걸려 있는 이유를 설명하기 위해 이론을 제시했습니다. 이를 기능적 중복 가설 (Functional Redundancy Hypothesis) 이라고 부릅니다.

비유: "두 명의 주인 + 한 명의 견습생" 팀을 상상해 보세요.
- 주인들 (라우팅된 전문가) 은 원본 전문가의 동일한 복제본입니다.
- 견습생 (공유 전문가) 은 거의 기술이 없는 상태로 시작합니다 (마이크로 노이즈).
과정:
1. 시작: 견습생은 아무것도 하지 않습니다. 두 주인은 동일합니다. 매니저 (게이트) 는 두 주인 모두를 사용할 이유가 없다고 보고 하나를 선택하고 다른 하나를 무시합니다. 무시된 주인은 "전략적 예비군"(교착 상태) 이 됩니다.
2. 성장: 견습생은 서서히 일반적인 기술을 배웁니다.
3. 각성: 견습생이 지루하고 기본적인 작업을 처리할 만큼 충분히 성장하면, 매니저는 깨닫습니다. "기본적인 일은 견습생에게 줄 수 있구나!" 이렇게 되면 "죽은" 주인이 새로운 것을 배우고 다르게 발전할 수 있게 됩니다.
결론: "죽은" 레이어는 고장 난 것이 아니라 기다리고 있는 것입니다. 그들은 견습생 (공유 전문가) 이 그들을 지원할 만큼 충분히 성장하기를 기다리고 있습니다. 견습생이 강해질 때까지 시스템은 에너지를 절약하기 위해 "교착 상태"에 머뭅니다.

"Bfloat16" 함정

이 논문은 숨겨진 기술적 함정도 발견했습니다. bfloat16 이라는 특정 유형의 컴퓨터 수학으로 훈련할 때, 숫자가 매우 작다면 (인턴에게 주어진 미세한 노이즈와 같이), 컴퓨터는 업데이트를 0 으로 반올림합니다. 이는 미터 단위로만 측정하는 자로 씨앗의 성장을 측정하려는 것과 같습니다. 씨앗은 자라지만, 자는 "0"이라고 말합니다.

해결책: 가중치의 "마스터 복사본"을 고정 소수점 정밀도 (float32) 로 유지하고 실제 비디오 생성 단계에서만 거친 수학 (bfloat16) 을 사용하십시오.

로드맵: 앞으로의 방향

이러한 발견에 기반하여 저자들은 미래에 대한 3 단계 계획을 제안합니다.

단기: 텍스트 생성을 수정합니다. 현재 모델은 단어를 철자하는 데 능숙하지 않습니다. 그들은 문자와 모양만 처리하는 특정 "텍스트 전문가"를 팀에 추가할 계획입니다.
중기: 사운드를 추가합니다. 그들은 모델이 비디오와 소리를 별도로 만드는 것이 아니라 함께 생성할 수 있도록 "오디오 전문가"를 추가하고자 합니다.
장기: "세계 모델"을 구축합니다. 그들은 AI 가 단순히 예쁜 그림을 만드는 것이 아니라 세계가 실제로 어떻게 작동하는지 이해할 수 있도록 물리학 (중력, 충돌 등) 을 이해하는 전문가들을 추가하고자 합니다.

결론

이 논문은 현재 "토큰 선택 (Token-Choice)" 시스템 (토큰이 전문가를 선택하는 방식) 하에서 교착 상태는 버그가 아니라 구조적 문제라고 결론지었습니다. 숫자를 조정하는 것만으로는 이를 해결할 수 없습니다. 모든 전문가를 완전히 깨우기 위해서는 더 똑똑한 "인턴"(공유 전문가) 으로 시작하거나 팀 조직 방식을 전체적으로 변경해야 합니다. 이는 이러한 비디오 AI 업그레이드가 기대대로 작동하지 않는 이유를 정확히 보여주는 최초의 상세한 연구 중 하나입니다.

기술 요약: 시각적 MoE 라우팅 진단

1. 문제 제기

혼합 전문가 (Mixture-of-Experts, MoE) 가 언어 모델의 확장에는 성공적으로 적용되었으나, 확산 트랜스포머 (Diffusion Transformers, DiTs) 를 활용한 비디오 생성에 적용하는 것은 여전히 초기 단계이며 실패하기 쉽습니다. 기존 시도들은 시각 토큰과 언어 토큰 간의 근본적인 차이로 인해 제한된 효과만 거두는 경우가 많습니다. 시각 토큰은 극심한 공간적 중복성, 확산 시간 단계에 의해 유발되는 분포 변화, 그리고 다중 작업 환경에서의 상충되는 라우팅 신호를 보입니다.

본 논문은 비디오 DiT 의 토큰 선택 (Token-Choice) 희소 MoE 훈련 역학에 대한 체계적인 진단 부재를 다룹니다. 구체적으로, 라우팅 메커니즘이 실패하여 특정 층이나 전문가가 효과적으로 작동하지 않는 '고착 (deadlock)' 상태가 발생하는 원인을 조사하고, 현재 토큰 선택 패러다임의 한계 조건을 이해하고자 합니다.

2. 방법론

이 연구는 사전 훈련된 능력의 마스킹 효과를 제거하도록 설계된 엄격하고 최소주의적인 실험 설정을 사용합니다:

기본 모델: 사전 훈련된 밀집 비디오 생성 모델 (Kiwi-Edit, 약 80 억 파라미터, Wan2.2-TI2V-5B 와 Qwen2.5-VL-3B 결합) 을 MoE 아키텍처로 변환합니다.
변환 전략 ("세 가지 법칙"):
1. 구조적 일관성: 라우팅된 전문가들은 원래의 FFN 구조와 정확히 일치해야 합니다 (예: GELU 활성화, 편향 구성).
2. 1:1 가중치 복제: 라우팅된 전문가들은 표준 무작위 초기화 전략과 달리 스케일링 없이 밀집 FFN 가중치를 정확히 복제하여 초기화됩니다.
3. 공유 전문가 초기화: 아키텍처 검증을 위해 (밀집 모델과 출력 동등성 보장) 공유 전문가들은 모든 0 가중치로 초기화된 후, 대칭성을 깨고 하드웨어 절단을 방지하기 위해 훈련 시 극도로 작은 비영 (non-zero) 잡음 (예: $\sigma=10^{-4}$ ) 으로 재초기화됩니다.
라우터 아키텍처: 세 가지 라우터 유형을 비교합니다: 선형 (Softmax), 비선형 MLP, 그리고 멀티모달 텍스트 지시를 활용하는 크로스 어텐션.
훈련 계획: 단일 NVIDIA A100 에서 5,000 스텝 동안 9-in-1 다중 작업 비디오 생성 데이터셋 (20k 샘플) 을 사용합니다. 훈련은 bfloat16 혼합 정밀도를 사용하며, 학습 가능한 파라미터 (게이트 및 공유 전문가) 는 float32 마스터 복사본으로 유지됩니다.
모니터링: 30 개의 트랜스포머 층과 6,500 만 개 이상의 토큰에 걸쳐 전문가 활용도 (소수 전문가 비율) 를 세밀하게 기록합니다.

3. 주요 발견 및 결과

3.1 라우팅 실패의 위계

이 연구는 실패 모드의 진행 과정을 식별합니다:

전역 소프트 포화 (선형 라우터): 선형 라우터는 Softmax 기울기가 소실되어 완전한 전문가 동질화 (코사인 유사도 >0.99) 로 이어지는 전역 소프트 포화에 시달립니다. MoE 는 능력 향상 없이 구조적으로 불균형한 밀집 네트워크로 퇴화합니다.
선택적 고착 (MLP 라우터): 비선형 MLP 라우터는 전역 포화를 해결하지만 '선택적 고착'을 도입합니다. 약 3 분의 1 의 층이 단일 전문가 모드로 퇴화합니다. 보조 손실 (최대 0.2 까지) 을 증가시켜도 이를 방지하지 못하며, 이는 단순한 부하 균형 문제가 아닌 구조적 시스템 수준의 문제임을 시사합니다.
자가 회복 및 지속적 고착 (크로스 어텐션 라우터): 크로스 어텐션 라우터는 일부 고착된 층이 자발적으로 회복되는 독특한 '자가 회복' 현상을 보입니다. 그러나 약 9 개의 층은 완고하게 고착된 상태로 남습니다.

3.2 "U 자형" 고착 분포

고착된 층들은 무작위로 분포되지 않고 뚜렷한 U 자형 구조를 따릅니다:

얕은 층 (1–10): 공간적으로 중복된 저수준 시각적 특징을 구분하는 어려움으로 인해 집중적으로 발생합니다.
깊은 층 (18–25): 의미 통합 층에서의 압축된 결정 공간으로 인해 집중적으로 발생합니다.
중간 층: 거의 균일한 활용도를 유지합니다.

3.3 bfloat16 정밀도 함정

중요한 수치적 함정이 발견되었습니다: bfloat16 혼합 정밀도 하에서, 0 근처로 초기화된 공유 전문가의 미세한 가중치 업데이트는 업데이트 크기가 마지막 자리 단위 (ULP) 미만으로 떨어질 때 하드웨어에 의해 0 으로 잘립니다.

해결책: 본 논문은 학습 가능한 파라미터의 마스터 복사본을 float32 로 유지하고, 그라디언트 누적을 보장하기 위해 공유 전문가를 절대 0 이 아닌 미세 잡음 ( $10^{-4}$ ) 으로 초기화할 필요성을 문서화합니다.

3.4 기능적 중복성 가설

본 논문은 선택적 고착을 설명하기 위해 기능적 중복성 가설 (Functional Redundancy Hypothesis) 을 제안합니다. 이는 고착이 '게이트, 공유 전문가, 라우팅된 전문가'라는 삼위일체 내에서 합리적인 단계적 자원 할당 전략임을 주장합니다:

초기에 공유 전문가 (견습생) 는 거의 0 의 능력을 가집니다. 시스템은 가중치 복제로 인해 동일한 두 라우팅된 전문가 (마스터) 에 의존합니다.
게이트는 중복성을 최소화하기 위해 자연스럽게 한 마스터를 선택하며, 다른 하나는 '전략적 예비 (고착된 상태)'로 남습니다.
공유 전문가가 점진적으로 공통 지식을 학습함에 따라 새로운 기능적 중복성이 생성됩니다. 이는 결국 시스템이 전문적인 분업을 위해 고착된 라우팅된 전문가를 '해방'할 수 있게 합니다.
이 가설은 고착을 제거하려면 시스템이 재구성되기 전에 공유 전문가가 임계 능력 역치에 도달해야 함을 시사합니다.

4. 엔지니어링 기여

밀집에서 MoE 로의 변환 세 가지 법칙: 구조적 불일치나 신호 붕괴 없이 사전 훈련된 밀집 모델을 MoE 로 변환하는 검증된 프로토콜.
정밀도 함정 완화: MoE 훈련에서 bfloat16 업데이트 절단 문제에 대한 완전한 해결책.
인-컨텍스트 조건부: 특징 오염을 피하기 위해 멀티모달 특징 융합을 위한 덧셈 대비 시퀀스 연결의 유효성 검증.
텍스트 렌더링 솔루션: 문자 단위 붕괴를 해결하기 위해 전용 '텍스트 전문가'와 Glyph-ByT5 인코더를 포함하는 텍스트 생성을 위한 제안된 MoE 기반 아키텍처.

5. 중요성 및 주장

본 논문은 실제 세계 비디오 생성 MoE 배포에서 라우팅 실패에 대한 첫 번째 포괄적인 경험적 진단을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

경계 보정: 현재 단일 GPU, 고정 전문가 조건 하에서는 라우터의 복잡성과 관계없이 고립된 전문가의 완전한 제거가 구조적으로 불가능하다는 결론을 내리며, 토큰 선택 패러다임의 능력 경계를 정확하게 정의합니다.
이론적 관점: 단순한 부하 균형 지표를 넘어 시스템 생물학에 기반한 새로운 이론적 프레임워크 (기능적 중복성) 를 제시하여 MoE 훈련 역학을 해석합니다.
진화적 로드맵: 이러한 발견을 바탕으로 저자들은 '시각 통합'에서 '일반 지능 엔진'으로 가는 경로를 제시하며, 향후 진보에는 다음이 필요함을 시사합니다:
1. 개선된 공유 전문가 초기화 (사전 훈련 지식).
2. 차별화된 전문가 가중치 설계.
3. 전문가 선택 (Expert-Choice) 또는 동적 라우팅 패러다임으로의 잠재적 이전.
4. 세계 모델링을 위한 물리적 사전 지식 및 인과 추론의 통합.

이 연구는 현재 토큰 선택 MoE 가 시각 영역에서 구조적 고착에 직면해 있지만, 이러한 실패 모드를 이해하는 것이 차세대 멀티모달 생성 모델에 필요한 기초를 제공한다는 점을 강조합니다.