💬 NLP

Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control

이 논문은 동일한 토큰의 뚜렷한 Mixture-of-Experts 라우팅 패턴을 활용하여 정답 문자열 파싱이나 투표에 의존하지 않고 고품질 추론 궤적을 선택함으로써, 전통적인 다수결 투표가 실패하는 코드 및 에이전트 작업에서 효과적인 pass@1 선택을 가능하게 하는 새로운 추론 전략인 RAD(Routing Agreement Decoding)를 소개한다.

원저자: Kang Chen, Minshen Yu, Junjie Nian, Yaoning Wang, Yixin Cao, Yugang Jiang

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kang Chen, Minshen Yu, Junjie Nian, Yaoning Wang, Yixin Cao, Yugang Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 질문: "Hello"는 항상 같은 "Hello"일까요?

당신이 100명의 서로 다른 가수들(대규모 AI 모델 내부의 "전문가들")로 구성된 합창단을 듣고 있다고 상상해 보세요. 합창단이 "Hello"라는 단어를 노래할 때, 당신은 그들이 모두 똑같은 발성 기술과 감정을 사용하여 동일한 방식으로 노래하고 있다고 가정할 수도 있습니다.

이 논문은 질문합니다: 만약 AI가 두 가지 서로 다른 상황에서 정확히 똑같은 단어(토큰)를 출력한다면, 그 단어를 만들어낸 내부의 "기계 장치" 또한 동일했다는 것을 의미할까요?

정답은: 아니요.

AI가 똑같은 단어(예: "Hello" 또는 "The answer is 42")를 쓴다 하더라도, 그 단어를 만들어낸 내부의 특정 전문가 그룹(전문가들)은 맥락에 따라 완전히 다를 수 있습니다. 어떤 "Hello"는 수학을 생각하는 전문가 집단에 의해 불릴 수 있고, 또 다른 "Hello"는 코딩을 생각하는 전문가 집단에 의해 불릴 수 있습니다. 단어는 같지만, *내부 상태(internal state)*는 다릅니다.

문제점: 어떻게 정답을 고를 것인가?

보통 우리가 AI에게 어려운 문제(수학 퍼즐이나 코딩 버그 등)를 풀게 하고 싶을 때, 우리는 64번의 시도(64개의 "롤아웃")를 요청합니다. 그런 다음 최종 답변들을 살펴봅니다. 만약 50개가 "42"라고 답하고 14개가 "43"이라고 답한다면, 우리는 다수결에 따라 "42"를 선택합니다.

함정: 이 "최종 답변에 대한 투표" 방식은 수학(정답이 명확한 숫자일 때)에서는 매우 잘 작동합니다. 하지만 다음과 같은 경우에는 문제가 발생합니다:

코드: 두 프로그램은 완전히 다르게 보일 수 있지만(변수 이름이나 포맷팅이 다름) 동일한 기능을 수행할 수 있습니다. 단순히 "print"라는 단어가 몇 번 나타나는지 세는 것만으로는 부족합니다.
에이전트: 때때로 AI는 소프트웨어 버그를 수정하려고 합니다. 이때 "답변"은 코드 패치입니다. 모든 시도마다 코드가 고유하기 때문에, 투표할 수 있는 단 하나의 "정확한 문자열"이 존재하지 않습니다.

우리는 최종 답변을 읽거나 비교하지 않고도 최선의 시도를 선택할 수 있는 방법이 필요합니다.

해결책: RAD (라우팅 합의 디코딩, Routing Agreement Decoding)

저자들은 AI 내부에 숨겨진 비밀 신호를 발견했습니다: 바로 **라우터(Router)**입니다.

AI를 수천 명의 전문화된 작업자(전문가)가 있는 거대한 사무실 건물이라고 생각해 보세요. 작업자가 업무를 수행하기 전, 라우터(매니저)가 어떤 팀이 일을 맡을지 결정합니다.

발견: 논문은 AI가 답변의 시작 부분(예: 수학의 \boxed{ 기호나 코드의 백틱 ```)을 쓰기 직전에, 라우터의 결정 패턴이 답변의 품질에 대해 많은 것을 드러낸다는 사실을 발견했습니다.
비유: 당신이 스포츠 토너먼트에서 어떤 팀이 우승할지 예측하려고 한다고 상상해 보세요. 최종 점수를 확인하는 대신, 코치가 경기를 시작하기 위해 어떤 선수들을 선발했는지를 보는 것입니다.
- 만약 코치가 50번의 서로 다른 경기에서 똑같은 "드림팀" 라인업을 뽑는다면, 그 경기들은 아마도 비슷한 결과로 끝날 가능성이 높습니다.
- 만약 코치들이 무작위로 맞지 않는 라인업을 뽑는다면, 결과는 제각각일 것입니다.

RAD는 다음과 같이 작동합니다:

문제에 대해 64개의 서로 다른 시도를 생성합니다.
최종 답변을 완전히 무시합니다. 답변을 읽지 않습니다.
답변이 시작되는 바로 그 순간의 라우터 라인업(어떤 전문가들이 선택되었는지)을 살펴봅니다.
"64개의 시도 중 어떤 것들이 가장 유사한 라인업을 가졌는가?"라고 묻습니다.
가장 유사한 라인업을 가진 그룹에 속한 시도를 선택합니다.

만약 50개의 시도가 답변을 시작할 때 동일한 "전문가 팀"을 사용했다면, RAD는 그 그룹이 가장 확신을 가지고 있으며 정답일 가능성이 높다고 가정합니다. 실제 답변이 무엇인지 알지 못하더라도 말입니다.

이것이 왜 중요한가

투표가 실패하는 곳에서도 작동합니다: 코딩 작업처럼 단어를 단순히 세는 것이 불가능한 경우에도 RAD는 여전히 작동합니다. RAD는 코드 자체를 보는 것이 아니라, 그 코드를 작성한 "내부 팀"을 보고 최선의 코드 패치를 선택합니다.
빠르고 단순합니다: 코드의 의미를 이해할 필요가 없습니다. 단지 내부의 "스위치"가 켜지는 패턴을 볼 뿐입니다.
마법 같은 진실 탐지기는 아닙니다: 논문은 이 점을 솔직하게 밝히고 있습니다. 만약 50명이 모두 틀린 답에 동의한다면("밀집된 오답 영역", dense wrong basin), RAD 역시 그 틀린 답을 선택할 것입니다. RAD는 "진리"를 찾는 것이 아니라 가장 "인기 있는" 경로를 선택하는 것입니다. 이는 "합의 신호(consensus signal)"이지 "진리 검증기(truth verifier)"가 아닙니다.

한 문장 요약

이 논문은 AI가 똑같은 단어를 두 번 말하더라도 내부의 "팀"은 다를 수 있음을 보여줍니다. 답변의 시작 부분에서 가장 일관된 "팀 라인업"을 가진 답변을 선택함으로써, 우리는 최종 답변을 읽지 않고도 최선의 결과를 선택할 수 있습니다.

또는<|channel|>final<|message|>). * *구분자 앵커(Delimiter anchors):* 고정된 답변 시작 구분자 (예: 수학의 경우 \boxed{`, 코드의 경우 코드 펜스).
2. 판독(Readout): 앵커 이후 고정된 윈도우 $W$ 내에서 희소 MoE 라우팅 벡터(선택된 전문가 ID 및 post-softmax 가중치)를 추출한다. 헤드라인 설정에서는 delimiter@16(구분자로부터 시작되는 16-토큰 윈도우)을 사용한다.
3. 표현(Representation): 윈도우 전체에 걸쳐 라우팅 벡터를 평균하여 per-rollout 경로 벡터 $z_i$ 를 생성한다.
4. 선택(Selection): 모든 경로 벡터 간의 쌍별 가중치 자카드(Weighted-Jaccard, WJ) 유사도를 계산한다. 각 롤아웃에 대해 $K$ -최근접 이웃(통상적으로 $K=10$ )을 기반으로 국소적 합의 밀도 $q_i$ 를 계산하고, 가장 높은 밀도를 가진 롤아웃(가장 조밀한 라우팅 분지의 중심)을 선택한다.

핵심 설계 선택 사항

답변 문자열 불필요(Answer-String-Free): 선택기는 최종 답변 문자열을 파싱, 정규화, 비교 또는 투표하지 않는다. 답변은 라우팅 기반 선택이 이루어진 후 평가를 위해 읽혀질 뿐이다.
에이전트 적응형(Agentic Adaptation): 정답 문자열이 존재하지 않는 에이전트 작업(예: SWE-bench)의 경우, RAD는 경계 앵커(사고-행동 전환점)와 활성화된 (레이어, 전문가) 쌍의 이진 자카드 핑거프린트를 사용하여 동일한 밀도 선택 원칙을 유지한다.
퓨전(Fusion, RAD+DC): 이 방법은 올바른 경로가 드문 경우를 처리하기 위해 DeepConf의 스칼라 신뢰도 점수(RAD 밀도를 적용하기 전 상위 50% 신뢰도 롤아웃을 필터링)와 결합될 수 있다.

3. 주요 결과 및 분석

기술적 통찰: 토큰 정체성 $\neq$ 라우터 상태

본 논문은 방출된 토큰 ID를 고정하는 것이 내부 라우터 상태를 고정하지 않음을 입증한다.

실험 I: 고정된 토큰 ID(예: Qwen EOS 토큰 또는 특정 경계 마커)에서, 해당 토큰을 생성하는 전문가들은 여전히 **문제 정체성(problem identity)**과 추론 노력 모드(reasoning-effort modes)(저/중/고)를 구분한다.
시사점: 라우팅 상태는 표면적인 토큰 ID만으로는 인코딩되지 않는 업스트림 컨텍스트와 태스크 패밀리에 대한 "잔여(residual)" 정보를 포함하고 있다.

운영적 통찰: 라우팅 이웃은 답변 분지와 일치함

실험 II: 라우팅 이웃(유사한 라우팅 벡터들의 클러스터)은 "답변 분지"(동일한 정규화된 답변을 공유하는 롤아웃 그룹)와 일치한다.
가장 강력한 신호: 이러한 일치는 구분자 윈도우(특히 delimiter@16)에서 가장 강력하게 나타나며, 여기서 라우팅 상태는 특정 답변 분지에 대한 모델의 확신을 반영한다.
상관관계: 라우팅 이웃의 순도(이웃 중 얼마나 많은 수가 동일한 답변을 공유하는지)와 선택기의 정확도 사이에는 강한 상관관계가 있다. 조밀한 라우팅 분지는 종종 조밀한 답변 분지를 근사한다.

4. 실험 결과

저자들은 10개의 희소-MoE 구성(gpt-oss 20B/120B, Qwen3-30B, Qwen3-Next-80B)과 6개의 데이터셋(Math: AIME, BRUMO, HMMT; Science: GPQA; Code: LiveCodeBench; Agents: SWE-bench Verified)에 대해 RAD를 평가했다.

잘 정의된 과업에서의 성능 (수학 및 GPQA)

RAD는 문자열 투표가 명확히 정의된 경우의 텍스트 다수결(self-consistency)과 대등한 성능을 보인다.
결과: 통합 문제 가중 평균: 다수결 73.6% vs. RAD 73.9% / RAD+DC 7.2%.
차이는 작으며 자연스러운 풀(natural pools)에서는 통계적으로 유의미하지 않지만, RAD는 답변 문자열을 전혀 읽지 않고도 이 성과를 달성한다.

정의가 불분명한 과업에서의 성능 (코드 및 에이전트)

코드 생성 (LiveCodeBench): 정확한 문자열 투표가 퇴화됨(출력이 거의 고유함). RAD는 직접적인 pass@1 선택을 제공하며, 무작위 베이스라인(Avg@64)보다 유의미한 차이로 앞선다 (예: gpt-oss-20B에서 +9.7 pp).
에이전트 선택 (SWE-bench Verified): 패치가 투표할 답변 문자열이 없는 best-of-16 패치 선택 작업에서, RAD는 결정 가능한 서브셋에 대해 무작위 대비 +4.7 ~ +5.0 퍼센트 포인트의 선택 정확도 향상을 보인다.

견고성

커널: 이진 자카드(Binary Jaccard)와 가중치 자카드(Weighted Jaccard)는 성능 면에서 통계적으로 구별할 수 없다.
깊이: 신호는 레이어 전반에 걸쳐 중복되어 존재한다; 얕은 레이어만으로도 대부분의 신호를 포착할 수 있다.
접근성: 엄격한 "마커 전용" 판독(다음 16개 토큰이 아닌 구분자 토큰만 읽기)조차 대부분의 성능 향상을 회복하며, 이는 신호가 답변 내용이 생성되기 전부터 존재함을 확인시켜 준다.

5. 주장 및 의의

본 논문은 RAD를 검증기(verifier)(진실을 예측하는 것)가 아닌 **합의 신호(agreement signal)**로 규정한다.

인식론적 상태: 다수결 투표와 마찬가지로, RAD는 "공유된 확신(shared commitment)"을 추정한다. 모델이 공유된 오류로 수렴할 경우 조밀한 라우팅 분지도 틀릴 수 있다. 그러나 RAD는 텍스트에 의존하지 않고도 가장 인구가 많은 분지를 선택할 수 있는 메커즘을 제공한다.
인터페이스 가치: 주요 기여는 다중 롤아웃 선택을 위한 통합된, 답변 문자열이 필요 없는 인터페이스를 제공하는 것이다. 이는 문자열 투표가 실패하는 곳(코드, 에이전트)에서도 작동하며, 문자열 투표가 작동하는 곳(수학, 과학)에서도 경쟁력 있는 성능을 보여준다.
확장성: 이 방법은 롤아웃 수에 따라 확장되며( $N$ 이 증가함에 따라 개선됨), 라우팅 캡처를 위한 약 7%의 오버헤드만을 추가하면서 단일 CPU 스레드에서 실시간으로 선택을 수행할 만큼 계산 효율적이다.

결론: 본 논문은 MoE 라우팅 상태가 토큰 정체성 변화에 견고하며 답변 분지와 일치하는 "화이트박스(white-box)" 합의 신호를 포함하고 있음을 입증한다. RAD는 이를 활용하여 텍스트 기반 집계의 취약성 없이 다양한 모달리티에 걸쳐 신뢰할 수 있는 다중 롤아웃 선택을 가능하게 한다.