🤖 machine learning

Affinity Is Not Enough: Recovering the Free Energy Principle in Mixture-of-Experts

본 논문은 혼합 전문가 (Mixture-of-Experts) 모델에서 표준 친화도 기반 라우팅이 도메인 전환 시 실패한다는 점을 제기하고, 자유 에너지 원리에 영감을 받은 메커니즘—구체적으로 시간적 기억, 정밀도 가중 게이팅, 그리고 예측적 라우팅—을 통합함으로써 모델이 분포 변화가 발생하기 전에 이를 감지하고 대비할 수 있게 하여 전문가 선택 정확도와 예측 성능을 획기적으로 향상시킬 수 있음을 입증합니다.

원저자: Man Yung Wong (Russell)

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Man Yung Wong (Russell)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

네 명의 전문 가이드(전문가) 팀과 함께 거대하고 끊임없이 변하는 지형을 항해한다고 상상해 보세요. 당신의 임무는 여정의 모든 단계마다 올바른 가이드를 선택하는 것입니다.

현재의 인공지능 시스템 (혼합 전문가 모델, MoE) 에서 가이드를 선택하는 사람은 지도도, 나침반도, 기억력도 없는 관광객과 같습니다. 그들은 오직 지금 발아래에 있는 땅만 보고 누구를 고용할지 결정합니다.

이 논문은 이것이 치명적인 결함이라고 주장합니다. 만약 당신이 숲을 걷다가 갑자기 지형이 사막으로 변할 것이라면, 발아래의 현재 나무만 보고 있는 가이드는 여전히"숲 가이드"를 고용할 것입니다. 그들은 전환이 임박했음을 너무 늦게 깨닫게 될 것입니다.

저자 러셀 웡은 뇌의 작동 방식 (특히 자유 에너지 원리) 에서 영감을 받은 세 가지 간단한 트릭을 사용하여이"채용 관리자"를 업그레이드해야 한다고 제안합니다. 다음은 이 논문이 일상적인 비유를 사용하여 이러한 업그레이드를 설명하는 방식입니다:

1. 문제:"기억 상실증 관광객"

현재의 AI 라우팅은 상태 비저장 (stateless) 방식입니다. 이전 100 단계에서 일어난 모든 것을 잊어버립니다.

결과: AI 가"고양이"에 대해 이야기하다가"자동차"로 전환할 때, 종종 즉시 전문가를 전환하지 못합니다. 논문의 실험에서 전환이 일어나는 정확한 순간, AI 는 올바른 전문가에게 **0.6%**의 확률만 부여했습니다. 거의 완전히 잘못된 판단이었습니다.
비유: 이는 지금 입안에 있는 스푼 한 숟가락의 수프 맛만 보고, 막 소금 한 통을 부어 넣었다는 사실을 무시하는 요리사와 같습니다. 수프가 이미 망가질 때까지 너무 짜다는 것을 예측할 수 없습니다.

2. 해결책:채용 관리자를 위한 세 가지 새로운 도구

이 논문은 이를 수정하기 위한 세 가지 경량 변경 사항을 제안합니다.

A. 시간적 기억 (배낭)

무엇인가: 현재 단계만 보는 대신, 시스템은 마지막 몇 단계의 가중치 기억을 담는"배낭"(막 전위라고 함) 을 지닙니다.
비유: 채용 관리자가 이제 배낭을 메고 있다고 상상해 보세요. 만약 그들이 30 분 동안 숲을 걸어왔다면, 배낭은"숲의 먼지"로 무거워집니다. 발아래의 땅이 숲처럼 보일지라도, 무거운 배낭은"우리는 여기서 오랫동안 머물렀다; 곧 떠날 것 같다"고 알려줍니다.
결과: AI 는 올바른 속도로 오래된 정보를"잊는"법을 배웁니다. 지형이 빠르게 변하면 배낭은 빠르게 비워집니다. 지형이 안정적이라면 더 오래 유지됩니다. 이것만으로도 AI 가 전환을 포착하는 능력이 0.6% 에서 **30%**로 향상되었습니다.

B. 정밀도 가중 게이트 (신뢰 점수)

무엇인가: 시스템은 각 전문가가 최근 얼마나 신뢰할 수 있었는지 추적합니다. 한 전문가가 실수를 계속 저지르면, 시스템은 그들의"신뢰 점수"(정밀도) 를 낮추고 현재 단어에 잘 맞는 것처럼 보일지라도 그들의 말을 듣지 않습니다.
비유: 네 명의 가이드가 있다고 가정해 보세요. 가이드 A 는 숲에는 뛰어나지만 사막에는 끔찍합니다. 가이드 B 는 그 반대입니다. 기존 시스템은 그들이 숲에 서 있다는 이유만으로 가이드 A 를 고용합니다. 새로운 시스템은"잠깐, 가이드 A 는 5 분 전 사막 근처에서 엄청난 실수를 저질렀다. 그들의 신뢰 점수를 낮추겠다. 그들이 100% 확신할 때만 고용하겠다"고 말합니다.
결과: 이는 전문가들이 신뢰할 수 없게 될 때 AI 가 적응하도록 돕습니다. 이는 시스템이 신뢰할 수 있는 전문가와 신뢰할 수 없는 전문가를 얼마나 다르게 신뢰하는지에 대해 31 배의 차이를 만들어냅니다.

C. 예측 라우팅 (수정구)

무엇인가: 시스템은 다음 단계가 어떻게 보일지 예측하고, 현재가 아닌 그 다음 단계에 맞는 전문가를 고용합니다.
비유: 일반적인 관광객은 지금 있는 길에 맞는 가이드를 고용합니다. 예측적인 관광객은 앞쪽 길을 보고 다음 곡선에 맞는 가이드를 고용합니다.
주의점: 논문은 비밀 재료를 발견했습니다. 관광객에게 기억이 없다면"수정구"는 작동하지 않습니다. 과거를 기억하지 않고 미래를 예측하려고 하면 전환이 언제 올지 알 수 없습니다.
마법 같은 조합: **배낭 (기억)**과 **수정구 (예측)**를 결합하면 시스템은 초인적이 됩니다. 배낭은"숲의 먼지"로 채워지고, 수정구는 그 포화 상태를 읽어서"우리는 숲의 먼지로 가득 차 있다; 다음에는 사막이 온다!"라고 말합니다.
결과: 이 조합은 **초가산적 (super-additive)**입니다.
- 배낭 단독: +30% 향상.
- 수정구 단독: +0% 향상 (맹목적이었습니다).
- 배낭 + 수정구: +74% 향상.
- 함께 작동하여 AI 와 완벽한"오라클"(완벽한 가이드) 사이의 격차를 75% 해소했습니다.

3. 이것이 중요한 이유 (항해 비유)

이 논문은 현재의 AI 는 단지 현재에 반응하고 있다고 결론지었습니다. 이는"이 단어는 고양이처럼 보이니 고양이 전문가를 쓰겠다"라고 말하는 기계입니다.

새로운 시스템은 항해합니다. 다음과 같이 말합니다:

나는 어디를 다녀왔는가? (배낭/기억:"나는 오랫동안 숲에 있었다.")
누구를 신뢰할 수 있는가? (신뢰 점수:"사막 가이드는 신뢰할 만하다; 숲 가이드는 지쳤다.")
나는 어디로 가고 있는가? (수정구:"지형이 다음에 사막으로 변한다.")

결론

이 논문은 이러한 세 가지 간단하고 저비용의 메커니즘 (기억, 신뢰, 예측) 을 추가함으로써 AI 가 가장 중요한 순간, 즉 주제가 바뀔 때"길을 잃는"것을 막을 수 있다고 주장합니다.

그들의 테스트에서 이 업그레이드는 작업을 완료하는 데 필요한 전문가 수를 불가능한 수 (수백 명) 에서 작고 관리 가능한 수 (3 명 또는 4 명) 로 줄였습니다. 이는 혼란스러운 관광객을 숙련된 항해사로 바꿉니다.

참고: 이 논문은 이것이 모든 AI 문제를 해결하거나 의료 진단에 적용된다고 주장하지 않습니다. 이는 언어 생성 중"라우팅"(AI 의 어느 부분을 사용할지 결정하는 것) 을 더 똑똑하게 만드는 것에만 엄격히 초점을 맞춥니다.

Man Yung (Russell) Wong 의 논문 "Affinity Is Not Enough: Recovering the Free Energy Principle in Mixture-of-Experts"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

Sparse Mixture-of-Experts(MoE) 모델 (예: DeepSeek-V3, Mixtral) 은 현재 상태 없는 (stateless) 친화도 기반 라우팅에 의존하고 있습니다. 라우팅 게이트는 오직 현재 토큰 임베딩 ( $x_t$ ) 에만 기반하여 전문가를 선택하며, 시간적 맥락, 전문가 신뢰도 이력, 그리고 미래 요구 사항을 무시합니다.

이 논문은 **도메인 전환 (Domain Transitions)**이라는 치명적인 실패 모드를 식별합니다. 시퀀스가 한 분포 (도메인 A) 에서 다른 분포 (도메인 B) 로 전환될 때, 전환 단계 ( $t$ ) 의 토큰은 여전히 도메인 A 에 속하지만, 다음 단계 ( $t+1$ ) 에 최적의 전문가가 도메인 B 에 속하게 됩니다.

문제점: 표준 라우터는 $x_t$ 만 보고 전환 단계에서 올바른 전문가에 대해 거의 0 에 가까운 확률을 할당합니다.
실증적 증거: 통제된 실험에서 표준 라우팅은 전환 단계에서 올바른 전문가에 0.006 ± 0.001의 확률 질량만 할당합니다.
결과: 이러한 낮은 신뢰도로 99% 라우팅 커버리지를 달성하려면, MoE 의 효율성 이점을 무효화할 정도로 비현실적으로 많은 수의 전문가 ( $K \approx 765$ ) 가 필요합니다.

2. 방법론: 자유 에너지 원리 (FEP) 프레임워크

저자는 MoE 라우팅을 **Friston 의 자유 에너지 원리 (Free Energy Principle)**를 통해 재구성해야 한다고 제안합니다. 이 원리에 따르면 불확실성 하의 최적 시스템은 다음을 수행해야 합니다:

상태를 재귀적으로 업데이트 (처음부터가 아닌).
신호를 정밀도 (오차의 분산 역수) 로 가중치 부여.
예상 미래 자유 에너지를 최소화 (현재 관측뿐만 아니라 예측에 기반하여 행동).

이를 구현하기 위해 논문은 스파이크 신경망 (SNN) 역학 (특히 Leaky Integrate-and-Fire, LIF) 에 기반한 표준 라우팅 게이트에 세 가지 경량 수정을 도입합니다:

A. 시간적 라우팅 메모리 ( $\beta$ )

메커니즘: 상태 없는 입력 $x_t$ 를 LIF 역학을 통해 업데이트된 숨겨진 상태 $h_t$ 로 대체합니다:
$h_t = \beta \odot h_{t-1} + x_t$
여기서 $\beta$ 는 학습 가능한 감쇠 벡터 (초기값 0.9) 입니다.
기능: 토큰 간 맥락을 누적합니다. 이를 통해 라우터는 시스템이 오랫동안 도메인 A 에 있었음을 "기억"하여, 전환 토큰이 나타나기 전에도 임박한 전환을 나타내는 "포화 (saturation)" 신호를 생성할 수 있습니다.
시간 척도: 토큰 단위 (빠름).

B. 정밀도 가중치 게이팅 ( $\Pi$ )

메커니즘: 각 전문가의 평균 제곱 오차 (MSE) 를 온라인 비모수 추적기로 유지합니다. 라우팅 게이트는 이러한 오차의 분산 역수 (정밀도) 에 의해 조절됩니다:
$g_t = \text{softmax}(W \cdot x_t \odot \Pi_t)$
여기서 $\Pi_i = 1 / (\hat{\sigma}^2_i + \epsilon)$ 입니다.
기능: 현재 신뢰도가 낮은 (오차가 큰) 전문가의 가중치를 동적으로 낮추고, 신뢰도 높은 전문가의 가중치를 높입니다. 빈도를 추적하는 표준 부하 분산과 달리, 이는 정확도를 추적합니다.
시간 척도: 배치 단위 (중간).

C. 예측적 라우팅 (Anticipatory Routing)

메커니즘: 다음 토큰 임베딩 $\hat{x}_{t+1}$ 을 추정하는 예측기 네트워크 $f(x_t, h_t)$ 를 사용합니다. 라우팅 결정은 이 예측에 조건부로 이루어집니다:
$g_t = \text{softmax}(W \cdot h_t + W_{pred} \cdot \hat{x}_{t+1})$
기능: 현재 상태가 아닌 예측된 미래 상태에 기반하여 라우팅합니다. 이를 통해 라우터는 입력에 새로운 도메인 토큰이 나타나기 전에 해당 도메인의 전문가로 전환할 수 있습니다.
중요한 통찰: 상태 없는 예측기 ( $f(x_t)$ ) 는 전환 전 토큰들이 분포상 동일하기 때문에 실패합니다. 예측기는 전환을 나타내는 포화 신호를 감지하기 위해 반드시 $\beta$ 가 누적된 상태 $h_t$ 에 조건부여야 합니다.

3. 주요 기여

이론적 통합: MoE 라우팅을 자유 에너지 원리와 연결하여, 표준 MoE 가 재귀적 상태 추정, 정밀도 가중치 부여, 미래 상태 최소화를 결여하고 있음을 입증합니다.
세 가지 경량 메커니즘: $\beta$ (메모리), $\Pi$ (정밀도), Anticipation(예측) 을 필수 구성 요소로 제안하며, 이는 전체 약 200 줄의 코드로 최소한의 파라미터 오버헤드로 구현 가능합니다.
초가산성 (Super-Additivity) 발견: 이 논문의 가장 중요한 발견은 $\beta \times \text{Ant}$ 상호작용입니다.
- $\beta$ 단독: +0.295 향상.
- 예측 (Anticipation) 단독: +0.000 향상 (메모리 없이는 실패).
- 결합 시: +0.741 향상.
- 상호작용 효과: 결합된 향상은 개별 부분의 합을 +0.446만큼 초과하여, 예측을 위해서는 메모리가 전제 조건임을 입증합니다.
DeepSeek-V3 에 대한 구조적 설명: DeepSeek-V3 가 추론 시 Multi-Token Prediction(MTP) 모듈을 폐기하는 이유를 설명합니다. 상태 없는 MTP 헤드는 도메인 전환을 감지할 수 없습니다. 논문은 MTP 가 시간적 메모리 ( $\beta$ ) 에 조건부라면 유지되어야 한다고 주장합니다.

4. 실험 결과

실험은 통제된 도메인 전환 작업과 문자 단위 MoE 언어 모델 (5 개의 시드) 에서 수행되었습니다.

지표	표준 MoE	$\beta$ -MoE	$\beta$ + Ant MoE	오라클 (Oracle)
전환 정확도	0.006	0.301	0.748	0.994
전환 시 BPC	6.56	4.01	4.19	N/A
99% 커버리지所需 전문가 수 ( $K$ )	~765 (비현실적)	~6.0	2.4	N/A

전환 정확도: 결합된 메커니즘은 전환 단계에서 올바른 전문가를 선택할 확률을 **0.6% 에서 74.8%**로 높여, 오라클과의 격차의 75% 를 해소합니다.
효율성: 전환 단계에서 99% 커버리지를 달성하기 위해 필요한 전문가 수 ( $K$ ) 는 비현실적인 ~765 에서 작은 상수 (2.4) 로 감소합니다.
언어 모델 검증: 문자 단위 LM 에서 $\beta$ -라우팅은 전환 단계의 문자당 비트 (BPC) 를 6.56 에서 4.01 로 감소시켰습니다. 예측을 추가하면 라우팅 결정이 안정화되어 (분산 감소) 이 작은 규모에서는 BPC 를 추가로 감소시키지 않았으나, 이는 라우팅 안정성과 프리페칭을 통한 지연 시간 감소가 주요 이점임을 시사합니다.

5. 중요성과 함의

분류 vs 탐색: 이 논문은 라우팅을 정적 분류 문제 ("이 토큰에 어떤 전문가가 적합한가?") 에서 동적 탐색 문제 ("시스템이 어디로 가고 있으며, 어떤 경로가 신뢰할 수 있는가?") 로 재정의합니다.
지연 시간 감소: 한 단계 앞의 도메인 전환을 예측함으로써, 시스템은 현재 단계가 실행되는 동안 메모리 (HBM) 에서 계산 단위 (SRAM) 로 전문가 가중치를 프리페칭하여, 중요한 전환 지점에서 메모리 지연 정체를 제거할 수 있습니다.
MTP 재평가: DeepSeek-V3 와 같은 모델의 Multi-Token Prediction 모듈이 과소 활용되고 있음을 시사합니다. 시간적 상태에 조건부라면, 단순한 학습 보조 도구가 아닌 강력한 예측적 라우팅 메커니즘으로 기능할 수 있습니다.
생물학적 타당성: 이러한 메커니즘은 생물학적 과정 (LIF 뉴런, 예측 코딩에서의 정밀도 가중치, 능동 추론) 을 반영하여, 현재의 MoE 아키텍처가 지능적 자원 할당의 기본 원리를 누락하고 있음을 시사합니다.

결론적으로, 이 논문은 친화도만으로는 견고한 MoE 라우팅에 불충분함을 입증합니다. 시간적 메모리, 정밀도 가중치, 그리고 예측을 통합함으로써 MoE 모델은 도메인 전환 시 오라클에 가까운 라우팅 성능을 달성하여, 높은 정확도를 유지하는 데 드는 계산 비용을 극적으로 줄일 수 있습니다.