🤖 machine learning

The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level

이 논문은 희소성 기반의 전문가 (MoE) 아키텍처가 개별 뉴런보다 '전문가 (expert)' 단위로 분석할 때 더 명확한 해석이 가능하며, 각 전문가가 광범위한 도메인이 아닌 구체적인 언어 작업이나 의미적 태스크에 특화되어 있음을 규명했습니다.

원저자: Jeremy Herbst, Jae Hee Lee, Stefan Wermter

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jeremy Herbst, Jae Hee Lee, Stefan Wermter

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📚 핵심 비유: 거대한 도서관과 전문가 팀

생각해 보세요. 우리가 매일 쓰는 AI 는 마치 수백만 권의 책이 꽉 찬 거대한 도서관과 같습니다.
전통적인 AI(밀집형 모델) 는 이 도서관의 모든 책장을 모든 질문에 대해 한 번에 훑어보며 답을 찾습니다. 하지만 이 방식은 비효율적일 뿐만 아니라, 책장들이 서로 뒤섞여 있어 (중복된 정보) "도대체 어떤 책이 정답을 알려준 걸까?"를 파악하기 매우 어렵습니다.

반면, 이 논문에서 연구한 MoE(혼합 전문가) 모델은 도서관을 **수백 개의 작은 방 (전문가)**으로 나눈 뒤, 질문이 들어오면 가장 적합한 전문가 1~2 명만 호출하여 답을 찾게 합니다.

🔍 이 논문의 주요 발견 3 가지

1. "혼란"이 줄어든다: 왜 MoE 가 더 깔끔한가?

기존의 AI 는 하나의 책장 (뉴런) 이 '의학', '법률', '요리' 등 서로 상관없는 모든 주제를 동시에 담고 있어 (이를 '다의성'이라고 합니다) 해석이 매우 어려웠습니다. 마치 한 사람이 의사이면서 동시에 변호사이고 요리사 역할을 동시에 하는 것과 같죠.

하지만 **MoE 는 '희소성 (Sparsity)'**이라는 규칙을 따릅니다. 즉, 한 번에 아주 적은 전문가만 일하게 합니다.

비유: "한 번에 한 가지 일만 하라"는 규칙을 지켰더니, 각 전문가들은 **오직 한 가지 일 (예: 라텍스 괄호 닫기, 혹은 특정 화학 용어 완성)**에만 집중하게 되었습니다.
결과: 각 전문가 (Expert) 가 하는 일이 매우 명확해져서, "이 사람은 라텍스 괄호를 닫는 일을 전문으로 하네!"라고 쉽게 파악할 수 있게 되었습니다.

2. "단위"를 바꾸자: 뉴런이 아니라 '전문가'를 보자

기존 연구들은 AI 의 가장 작은 부품인 '뉴런 (단일 뉴런)' 하나하나를 분석하려다 보니, 너무 복잡해서 포기하는 경우가 많았습니다.
이 논문은 시선을 하나의 뉴런에서 '한 명의 전문가 (Expert)' 전체로 옮겼습니다.

비유: 도서관에서 '한 장의 책'을 분석하는 대신, **'한 명의 사서'**가 어떤 일을 하는지 전체적으로 보는 것입니다.
효과: 이렇게 하면 수백 개의 전문가들을 자동으로 분석할 수 있게 되었고, 각 전문가가 어떤 역할을 하는지 자연어로 설명할 수 있게 되었습니다.

3. 전문가들은 무엇을 할까? (의외로 구체적인 역할)

많은 사람들은 "어떤 전문가는 '의학'을, 다른 전문가는 '코딩'을 담당할 것"이라고 생각했습니다. 하지만 이 논문은 그것보다 더 구체적이고 미세한 역할을 한다는 것을 발견했습니다.

단순한 '의학 전문가'가 아님: "의학" 전체를 다루는 게 아니라, **"화학 약품 이름의 끝부분 (-amine) 을 완성하는 역할"**을 합니다.
단순한 '코딩 전문가'가 아님: "코딩" 전체를 다루는 게 아니라, **"라텍스 수식에서 닫는 괄호 }를 찍는 역할"**이나 **"게임 RPG 에서 캐릭터의 능력치 (DR, Damage Reduction) 를 완성하는 역할"**을 합니다.

즉, MoE 의 전문가들은 **거대한 주제 (의학, 코딩) 가 아니라, 아주 구체적인 '작업 (Task)'**을 담당하는 초특급 전문가들입니다.

💡 왜 이것이 중요한가요?

AI 의 투명성 (Transparency): 이제 우리는 AI 가 왜 그런 답을 냈는지, 어떤 '전문가'가 개입했는지 더 쉽게 추적할 수 있습니다. 마치 "이 부분은 라텍스 괄호 닫기 전문가가 처리했네"라고 알 수 있는 것입니다.
안전성 (Safety): 만약 AI 가 유해한 내용을 생성했다면, 그 일을 한 '특정 전문가'만 찾아서 수정하거나 제거하면 됩니다. 전체 모델을 다 고칠 필요 없이, 문제의 '작업자'만 교체하면 되는 셈입니다.
미래의 AI: 앞으로 더 많은 전문가를 두고, 한 번에 더 적은 전문가만 일하게 하는 (더 희소한) 모델로 갈수록, AI 는 우리가 이해하기 훨씬 더 쉬워질 것입니다.

🎯 한 줄 요약

"AI 를 거대한 혼란스러운 도서관이 아니라, 각자 아주 구체적인 일 (괄호 닫기, 용어 완성 등) 만 하는 전문 팀으로 나누어 보니, AI 의 내면이 훨씬 더 투명하고 이해하기 쉬워졌다!"

이 연구는 AI 가 어떻게 생각할지, 그리고 우리가 어떻게 그 '생각'을 더 잘 이해하고 통제할 수 있을지에 대한 중요한 통찰을 줍니다.

1. 연구 배경 및 문제 제기 (Problem)

MoE 아키텍처의 부상: 대규모 언어 모델 (LLM) 의 확장성 확보를 위해 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처가 표준이 되었습니다. MoE 는 각 토큰마다 전체 파라미터의 일부만 활성화하여 계산 효율성을 극대화합니다.
해석 가능성 (Interpretability) 의 난제: LLM 해석 가능성 연구는 주로 '다의성 (Polysemanticity)' 문제, 즉 하나의 뉴런이 여러 개의 무관한 개념을 동시에 활성화하는 현상에 직면해 있습니다. 이는 '중첩 (Superposition)' 메커니즘에 기인하며, 기존에는 희소 자동 인코더 (SAE) 와 같은 계산 비용이 큰 사후 (Post-hoc) 방법을 사용하여 뉴런 단위로 개념을 분리해내려 했습니다.
핵심 질문: MoE 의 구조적 희소성 (Sparsity) 이 뉴런의 다의성을 줄여 모델을 본질적으로 더 해석하기 쉽게 만드는지, 그리고 이를 통해 해석의 단위를 뉴런에서 '전문가 (Expert)' 수준으로 확장할 수 있는지에 대한 실증적 증거가 부족했습니다.

2. 연구 방법론 (Methodology)

저자는 MoE 모델의 내부 표현을 분석하기 위해 다음과 같은 단계적 접근법을 사용했습니다.

A. k-희소 프로빙 (k-Sparse Probing) 을 통한 다의성 정량화

비교 대상: MoE 모델 (OLMoE, Qwen3, Mixtral 등) 과 밀집형 (Dense) FFN 모델 (OLMo, Llama, Pythia 등) 을 비교했습니다. 모델 간 공정한 비교를 위해 활성화된 파라미터 수 (Active Parameters) 를 기준으로 매칭했습니다.
기법: $k$ $k$ -희소 프로빙을 사용하여 특정 개념을 예측할 때 필요한 뉴런의 수 ( $k$ $k$ ) 를 측정했습니다.
- $k=1$ 에서 높은 성능을 보인다면 해당 뉴런은 단일 개념 (Monosemantic) 을 담당함을 의미합니다.
- $k$ 가 커질수록 성능이 향상된다면 개념이 여러 뉴런에 흩어져 있음 (다의성) 을 의미합니다.
데이터: 품사, LaTeX, 코드, 자연어 텍스트 등 58 가지 개념에 대해 12 개의 모델을 분석했습니다.

B. 전문가 (Expert) 단위 자동 해석 파이프라인

가정: 희소 라우팅으로 인해 개별 뉴런의 다의성이 줄어들고, 라우터가 특정 전문가를 특정 토큰 집합에만 활성화하므로, 전체 전문가를 하나의 해석 가능한 단위로 볼 수 있습니다.
프로세스:
1. 활성화 예시 추출: 잔여 스트림 (Residual Stream) 에 기여도가 높은 토큰을 기준으로 전문가가 활성화된 텍스트 시퀀스를 추출합니다.
2. LLM 기반 라벨링 (Explainer): 활성화된 시퀀스와 Logit Lens 를 통해 예측된 토큰을 LLM 에 제공하여 전문가의 기능적 역할 (예: "LaTeX 닫기 괄호 예측") 을 자연어로 생성합니다.
3. 점수화 (Scorer): 생성된 가설이 새로운 테스트 데이터에서 유효한지 LLM 스코어러가 평가하여 F1 점수를 산출합니다.

C. 인과적 귀속 (Causal Attribution) 검증

Trigger-Target 실험: 생성된 라벨에 기반하여 '트리거 (Trigger)' 단어와 '타겟 (Target)' 단어를 가진 합성 테스트 케이스를 생성했습니다.
측정: 해당 전문가가 타겟 토큰의 로짓 (Logit) 에 미치는 기여도 (DLA) 를 측정하여, 전문가가 실제로 해당 작업을 수행하는지 인과적으로 검증했습니다.

D. 전문화 (Specialization) 정량화

Jensen-Shannon Divergence (JSD): 전문가가 처리하는 토큰 분포가 레이어 전체 평균 분포와 얼마나 다른지 측정하여 전문화 점수를 계산했습니다.
클러스터링: 출력 임베딩 행렬을 $k$ -means 로 클러스터링하여, 전문가가 광범위한 도메인 (낮은 $k$ ) 에 특화되었는지 아니면 미세한 작업 (높은 $k$ ) 에 특화되었는지 분석했습니다.

3. 주요 결과 (Key Results)

A. MoE 전문가의 단일 의미성 (Monosemanticity)

다의성 감소: MoE 전문가의 뉴런은 밀집형 FFN 의 뉴런보다 일관되게 낮은 다의성을 보였습니다. 특히 $k=1$ 일 때 MoE 모델은 거의 완벽한 F1 점수를 기록한 반면, 밀집형 모델은 성능이 낮았습니다.
라우팅 희소성의 영향: 라우팅이 더 희소할수록 (활성화되는 전문가 수 $N_A$ 가 전체 전문가 수 $N$ 에 비해 적을수록) 뉴런의 단일 의미성은 더욱 강화되었습니다. 이는 MoE 의 해석 가능성이 단순히 파라미터 양이 아니라 구조적 희소성에 기인함을 시사합니다.

B. 전문가 수준의 해석 가능성

자동 해석 성공: 수백 개의 전문가에 대해 자동 라벨링을 수행한 결과, 대부분의 전문가가 높은 F1 점수 (0.8 이상) 를 기록했습니다. 이는 전문가가 자연어로 설명 가능한 일관된 기능적 단위로 작동함을 의미합니다.
인과적 검증: 생성된 라벨에 기반한 테스트에서, 해당 전문가가 타겟 토큰 예측에 Top-1 또는 Top-8 기여도를 보인 경우가 대부분이었습니다. 반면, 다른 전문가용 프롬프트에서는 거의 활성화되지 않았습니다. 이는 전문가가 모델의 실제 인과적 메커니즘을 잘 포착함을 증명합니다.

C. 전문가의 역할: 광역 도메인이 아닌 '미세 작업 전문가'

기존 논쟁 해소: 전문가가 '생물학'이나 '코딩' 같은 광역 도메인을 담당한다는 주장과 '구문적 특징'만 담당한다는 주장 사이에서, 저자는 미세한 작업 전문가 (Fine-grained Task Experts) 라는 새로운 관점을 제시했습니다.
세부 역할 분류:
- 형태론적 (Morphological): 접미사, 접두사, 어간 연결 (예: 화학 용어 완성).
- 구문적 (Syntactic): 접속사 후 이어질 단어 예측, 문법적 연결.
- 의미론적 (Semantic): 특정 도메인 (법률, 특허) 내의 전문 용어 처리.
- 작업/운영적 (Operational): LaTeX 닫기 괄호, 코드 블록 종료, RPG 게임 규칙 완성 등 구체적인 계산 작업 수행.
정량적 증거: 전문화 점수 분석 결과, 깊은 레이어의 전문가들은 광범위한 도메인 ( $k=10$ ) 보다는 매우 세분화된 주제 ( $k=5000$ ) 에서 높은 전문화 점수를 보였습니다. 즉, 전문가들은 특정 도메인 전체를 이해하기보다, 해당 도메인 내의 구체적인 구문적/기능적 연산을 수행합니다.

4. 주요 기여 (Contributions)

구조적 희소성과 해석 가능성의 상관관계 입증: MoE 의 희소 라우팅이 뉴런의 다의성을 줄이고 단일 의미성을 증가시킨다는 실증적 증거를 제시했습니다.
해석 단위의 확장 (Neuron $\to$ Expert): 계산 비용이 큰 뉴런 단위 분석 대신, 전문가 단위를 해석의 기본 단위로 삼는 것이 효율적이고 확장 가능함을 증명했습니다.
전문가 역할의 재정의: 전문가가 단순한 도메인 분류기가 아니라, 언어적 연산이나 의미적 작업을 수행하는 미세 작업 전문가임을 규명했습니다.
오픈 소스 및 도구 제공: 분석 코드와 수백 개의 전문가에 대한 자동 생성 라벨을 공개하여 향후 MoE 모델 해석 연구의 기반을 마련했습니다.

5. 의의 및 시사점 (Significance)

모델 디버깅 및 안전성 향상: MoE 모델의 실패 원인을 특정 전문가 단위로 추적할 수 있게 되어, 모델의 오류 수정 (Debugging) 과 안전성 정렬 (Alignment) 이 더 정밀하게 가능해집니다.
효율적인 해석 가능성: SAE 와 같은 고비용 방법을 대체하거나 보완하여, 대규모 MoE 모델의 내부 작동 원리를 상대적으로 저렴하게 이해할 수 있는 경로를 제시했습니다.
미래 모델 설계 방향: 더 희소한 라우팅을 사용하는 MoE 모델이 성능뿐만 아니라 본질적으로 해석 가능성 (Transparency) 도 높인다는 점을 발견함으로써, 향후 모델 설계 시 해석 가능성을 고려한 아키텍처 선택이 가능해졌습니다.
이중 사용 위험 (Dual-use Risk) 경고: 특정 전문가를 식별하고 조작할 수 있는 능력은 악의적 행위자가 모델의 안전 장치를 우회하거나 특정 기능을 추출하는 데 악용될 수 있으므로, 해석 가능성 도구의 사용에는 주의가 필요함을 강조했습니다.

결론적으로, 이 논문은 MoE 모델이 단순히 계산 효율성을 위한 도구를 넘어, 구조적으로 해석 가능한 모듈러 시스템으로 작동할 수 있음을 보여주며, 대규모 언어 모델의 '블랙박스' 문제를 해결하는 새로운 패러다임을 제시합니다.