기술 요약: HodgeCover

문제 정의

희소 혼합 전문가 (MoE) 레이어는 소수의 전문가 서브셋을 통해 토큰을 라우팅하여, 재학습 없이 압축 가능한 상당한 매개변수 중복을 생성합니다. 기존 학습 없는 압축 방법들 (예: REAP, REAM, STUN) 은 전문가를 순위 매기고 병합하기 위해 쌍별 신호에 의존합니다. 그러나 이러한 방법들은 근본적인 구조적 맹점을 겪습니다: 세 명의 전문가가 쌍별로 호환 가능할 수 있음 (A-B, B-C, C-A 간의 병합 장벽이 낮음) 에도 불구하고, 세 명을 모두 병합할 경우 높고 예측 불가능한 장벽을 수반하는 축소 불가능한 사이클을 형성할 수 있습니다.

트리플릿 정보를 사용하려는 기존 접근법들 (예: 초그래프 스펙트럼 컷, 트리플릿 손실 패널티) 은 일반적으로 이러한 신호들을 쌍별 합 surrogate 나 이진 거부 (veto) 로 집계합니다. 이들은 쌍별 호환성이 일관된 글로벌 병합 가능성으로 합산되지 않을 때 발생하는 특정 위상 잔여물을 격리하는 데 실패합니다. 본 논문은 이 잔여물을 MoE 레이어에서 구성된 2-복합체 (2-complex) 의 심플리셜 라플라시안의 **조화 핵 (harmonic kernel)**으로 규명합니다.

방법론: HodgeCover

저자들은 이 고차 장애물을 명시적으로 대상으로 하는 학습 없는 전문가 선택 목적 함수인 HodgeCover를 제안합니다.

1. 병합 가능성 복합체 (Mergeability Complex)

$n$개의 전문가를 가진 레이어에 대해, 저자들은 추상 심플리셜 2-복합체 $K = (V, E, T)$를 구성합니다:

• 정점 ($V$): $n$개의 전문가.
• 간선 ($E$): 모든 쌍별 조합으로, 원래 레이어와 전문가 $i$와 $j$가 병합된 레이어 간의 KL 발산 (병합 장벽) 으로 정의된 신호 $b_{ij}$를 운반합니다.
• 면 ($T$): 선별된 삼각형 (트리플릿) 집합으로, 세 전문가를 병합하는 것에 대해 유사하게 정의된 신호 $b_{ijk}$를 운반합니다.

2. 호드 분해 (Hodge Decomposition)

쌍별 장벽 신호 $b \in C_1(K)$는 1-호드 라플라시안 $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$을 통한 **이산 호드 분해 (Discrete Hodge Decomposition)**를 사용하여 분해됩니다:
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• 기울기 ($b_{\text{grad}}$): 전문가 수준의 잠재력을 나타냅니다 (전문가 $i$는 광범위하게 병합 가능한가?). 이는 기존 쌍별 방법들만이 포착하는 유일한 구성 요소입니다.
• 회전 ($b_{\text{curl}}$): 삼각형 주변의 일관된 사이클을 나타냅니다 (삼각형 경계 보정).
• 조화 ($b_{\text{harm}}$): 축소 불가능한 잔여물입니다. 이는 $L_1$의 핵에 위치하며, 정점 잠재력이나 삼각형 경계의 어떤 조합으로도 설명할 수 없는 병합 장벽을 나타냅니다. 이 구성 요소는 "축소 불가능한 사이클" 장애물을 포착합니다.

3. 선택 목적 함수

HodgeCover 는 가장 중요한 위상적 특징들을 커버하는 서브모듈러 목적 함수 $\Phi(S)$를 탐욕적으로 최대화함으로써 크기 $k$의 생존자 집합 $S$를 선택합니다:
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• 사려도 (Saliency): 표준적인 전문가별 점수 (REAP 에서 적응됨).
• 조화 - 간선 커버리지: 가장 높은 조화 질량 ($|b_{\text{harm}, e}|$) 을 가진 상위 $p\%$의 간선을 커버합니다.
• 트리플릿 - 삼각형 커버리지: 가장 높은 결합 병합 장벽을 가진 상위 $q_T\%$의 삼각형을 커버합니다.
• 라우터 리디렉션: 생존하지 않은 전문가들은 가장 가까운 생존자로 리디렉션되며, 경로가 상당한 조화 질량을 운반하는 간선을 포함하는 경우 패널티가 부과되어 장애물의 재도입을 방지합니다.

4. 하이브리드 변형 (HodgeCover+Wanda)

공격적인 압축을 달성하기 위해, 저자들은 HodgeCover(1 단계: 전문가 수 감소) 와 생존한 전문가들에 적용된 Wanda(2 단계: 비구조적 가중치 가지치기) 를 결합합니다. 이는 단일 학습 없는 파이프라인 내에서 두 개의 직교하는 압축 축을 구성합니다.

주요 기여

1. 고차 장애물의 규명: 본 논문은 심플리셜 병합 가능성 복합체를 공식적으로 정의하고, 호드 분해의 조화 성분이 쌍별 방법들이 놓치는 축소 불가능한 병합 가능성 사이클을 포착하는 유일한 선형 대수적 객체임을 증명합니다.
2. 비자명성의 실증적 검증: OLMoE, Qwen 3.5-35B, Qwen 3.5-122B 의 세 가지 생산 MoE 패밀리 전반에 걸친 진단 결과, 조화 에너지 비율이 비자명함 (레이어별 장벽 에너지의 29~62%) 을 보여, 이 장애물이 학습된 MoE 의 중요한 구조적 속성임을 확인했습니다.
3. HodgeCover 알고리즘: 조화 - 임계 간선과 트리플릿 - 임계 삼각형을 탐욕적으로 커버하는 실용적인 학습 없는 선택 목적 함수로, 서브모듈러 최적화를 통해 $(1 - 1/e)$ 근사 보장을 달성합니다.
4. 최첨단 성능: 하이브리드 HodgeCover+Wanda 방법은 기존 베이스라인에 비해 공격적인 압축 영역 (66% 전문가 감소) 에서 가장 낮은 퍼플렉시티와 다운스트림 정확도를 달성합니다.

실험 결과

이 방법은 33% 및 66% 전문가 감소 비율에서 세 가지 오픈 가중 희소 MoE 백본에서 평가되었습니다:

• OLMoE-1B-7B(레이어당 64 개 전문가)
• Qwen 3.5-35B-A3B(레이어당 256 개 전문가)
• Qwen 3.5-122B-A10B(레이어당 256 개 전문가)

주요 발견:

• 공격적인 압축 (66%): HodgeCover+Wanda 는 가장 강력한 베이스라인 (STUN+Wanda) 을 일관되게 능가합니다. 66% 감소 시 Qwen 3.5-35B 에서 다운스트림 작업 평균 (DS-Avg) 을 +12.6 퍼센트 포인트 (74.6% 대 62.0%) 향상시켰으며, 이는 주로 GSM8K 에서의 향상 (85.5% 대 22.1%) 에 기인합니다.
• 퍼플렉시티: 모든 모델/비율 셀에서 가장 낮은 C4 퍼플렉시티를 달성했으며, 66% 감소 시 가장 낮은 WikiText 퍼플렉시티를 기록했습니다.
• 애블레이션 연구:
  • 호드 분해를 제거하고 (소프트 트리플릿 패널티로 대체) Qwen 3.5-35B 에서 66% 압축 시 DS-Avg 를 -5.74 pp 감소시켰습니다.
  • 삼각형 항을 완전히 제거하면 -11.5 pp 감소했습니다.
  • 이진 트리플릿 거부 (하드 제약) 를 사용하면 -30.5 pp의 붕괴가 발생하여, 소프트 기반 커버리지 형식의 필요성을 강조합니다.
• 메커니즘 분석: 다른 방법들이 조화 질량을 회전/트리플릿 질량과 교환하거나 그 반대로 하는 것과 달리, HodgeCover 는 네 가지 호드 구성 요소 (조화, 기울기, 회전, 트리플릿 장벽) 의 질량 보존을 균형 있게 유지하여 원본 모델의 압축 전 분해와 밀접하게 일치합니다.

중요성과 주장

본 논문은 학습된 MoE 구조의 조화 핵을 노출하는 것이 압축의 지형을 근본적으로 변화시킨다고 주장합니다. 쌍별 신호를 넘어 고차 위상 장애물을 해결함으로써, HodgeCover 는 기존 방법들이 실패하는 모델 능력을 보존하는 공격적이고 학습 없는 압축의 새로운 최전선을 가능하게 합니다.

저자들은 이 접근법이 다음과 같음을 강조합니다:

• 재학습 불필요: 미세 조정, 지식 증류, LoRA 없이 소규모 보정 코퍼스에서만 작동합니다.
• 구조적 동기 부여: 단순한 순위 매기기 문제가 아닌 위상적 객체로서 병합 가능성 지형을 다룹니다.
• 균형 있는 보존: 쌍별 또는 트리플릿 합만 최적화하는 방법들이 도입하는 구조적 편향을 피하면서 모든 호드 구성 요소에 걸친 질량 보존을 독특하게 균형 있게 유지합니다.

이 연구는 조화 핵을 단순한 진단 도구가 아닌 대규모 모델에서 매개변수를 선택하기 위한 실용적인 공학적 기준으로 위치시킵니다.