💬 NLP

MACRO: Markov Chain Routing of Transformer Layers

이 논문은 모델 가중치를 수정하지 않고도 마르코프 체인을 통해 작업별 동적 레이어 라우팅 정책을 학습함으로써 대규모 언어 모델을 향상시키는 프레임워크인 MACRO를 소개하며, 기존 방법들과 비교하여 유의미한 정확도 향상과 더 빠른 탐색 시간을 달성한다.

원저자: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paweł Batorski, Abtin Pourhadi, Akylgali Aitaza, Przemysław Spurek, Paul Swoboda

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 책을 읽고 질문에 답하는 아주 똑똑한 로봇이 있다고 상상해 보세요. 이 로봇이 일을 하기 위해서는 28개 또는 32개의 아주 작은 일꾼들(이를 "레이어"라고 부릅니다)로 이루어진 긴 조립 라인이 필요합니다. 표준적인 설정에서는 모든 정보 조각이 첫 번째부터 마지막까지 정해진 순서대로 모든 일꾼을 반드시 거쳐 지나가야 합니다. 이는 마치 스쿨버스가 승객이 단 세 블록 뒤에서 내려야 할 때조차도 거리의 모든 집을 반드시 들러야 하는 것과 같습니다. 이것이 오늘날 대부분의 AI 모델이 작동하는 방식입니다. 즉, 질문이 얼마나 쉽거나 어려운지에 상관없이 엄격한 일정을 따르는 것입니다.

하지만 로봇이 조금 더 유연해질 수 있다면 어떨까요? 만약 로봇이 일직선으로 행진하는 대신, 필요 없는 일꾼은 건너뛰거나, 심지어 이전의 일꾼에게 가서 계산을 다시 확인해 달라고 요청할 수 있다면 어떨까요? 이 아이디어를 "동적 라우팅(dynamic routing)"이라고 부릅습니다. 이것은 단순히 미리 인쇄된 지도를 따르는 것이 아니라, 교통 체증을 피해 즉각적으로 경로를 재설정하거나 지름길을 찾는 GPS와 같습니다. 과학자들은 AI에게 이렇게 하는 법을 가르치려고 노력해 왔지만, 대부분의 시도는 새로운 길에 부딪힐 때마다 엔진을 다시 배선하거나, 모든 승객을 위해 비싼 비용을 들여 별도의 가이드를 고용하는 것과 같았습니다. 이는 느리고 비용이 많이 들며, 종종 로봇의 뇌를 망가뜨리기도 합니다.

여기서 MACRO라는 새로운 연구가 등장합니다. 연구진은 간단한 질문을 던졌습니다. "우리가 (뇌를 수정할 수 없는) 얼어붙은 로봇에게 자신의 일꾼들을 통과하는 더 나은 경로를 찾도록 가르칠 수 있을까?" 그들은 로봇의 경로를 단순한 확률 규칙(마르코프 체인이라 불리는)에 기반한 "당신의 선택에 따라 결말이 달라지는 모험(choose your own adventure)" 게임처럼 다룸으로써 더 똑똑한 경로를 찾을 수 있다는 것을 발견했습니다. 로봇을 새로 훈련시키거나 비싼 가이드를 사용하는 대신, 연구진은 로봇이 몇 개의 연습 문제들을 통해 다양한 경로를 탐색하게 했고, 해당 작업에 특화된 단 하나의 규칙 세트를 학습시킨 뒤, 교묘한 수학적 기법을 사용하여 해당 작업에 대한 절대적인 최적의 경로를 찾아냈습니다. 이렇게 찾아낸 최적의 경로는 매 질문마다 새로운 경로를 계산하는 대신, 해당 작업의 모든 질문에 일관되게 사용됩니다.

결과는 놀라울 정도로 효과적이었습니다. 다양한 까다로운 수학 및 과학 테스트에서 MACRO는 로봇을 훨씬 더 똑똑하게 만들었습니다. 예를 들어, 어려운 수학 벤치마크인 GSM8K에서, 작은 로봇 모델은 일꾼을 방문하는 순서를 바꾸는 것만으로 정답률이 43.4%에서 69.5%로 급격히 뛰어올랐습니다. 이는 엄청난 도약입니다. 연구진은 이 방법이 이전 방식들보다 설정하기 훨씬 빠르다는 것을 발견했습니다. 다른 방식들이 한 가지 작업을 위한 최적의 경로를 찾는 데 거의 15시간이 걸린 반면, MACRO는 단 1.6시간 만에 이를 해냈습니다.

핵심 통찰은 로봇이 이미 답을 알고 있었다는 점입니다. 단지 자신의 내부적인 생각에 "귀를 기울이는" 더 나은 방법이 필요했을 뿐입니다. 불필요한 단계를 건너뛰거나 작업을 검토하기 위해 되돌아가는 것을 허용함으로써, 연구진은 로봇의 뇌 속 가중치를 단 하나도 바꾸지 않고도 숨겨진 잠재력을 끌어냈습니다. 이는 마치 로봇에게 새로운 사실을 가르친 것이 아니라, 단지 더 효율적으로 생각하는 법을 가르친 것과 같습니다. 이 연구는 많은 복잡한 작업에 있어 답은 이미 모델 안에 있었으며, 우리는 단지 그것을 찾기 위한 더 나은 지도(map)가 필요했을 뿐이라는 점을 시사합니다.

기술 요약: MACRO – 트랜스포머 레이어의 마르코프 체인 라우팅

문제 정의
표준 대규모 언어 모델(LLM)은 첫 번째 레이어부터 마지막 레이어까지 순차적으로 트랜스포머 블록을 실행하며, 경직된 계산 스케줄을 따릅/니다. 이러한 정적인 접근 방식은 모델의 기저 가중치를 수정하지 않고도 복잡한 작업에 대한 추론 정확도를 향러할 수 있는 동적 계산 경로의 잠재력을 간과합니다. 기존의 연구들은 주로 추론 가속화(예: 조기 종료, 구조적 레이어 드롭)를 위한 적응형 깊이를 탐구해 왔으나, 고정된 모델의 실행 경로를 능동적으로 재구성하여 성능을 높이는 것은 여전히 도전적인 영역으로 남아 있습니다. 기존의 동적 라우팅 방법들은 상당한 병목 현상에 직면해 있습니다. 일부는 데이터 생성을 위해 비용이 많이 드는 오프라인 몬테카를로 트리 탐색(MCTS)이 필요하고(예: Dr.LLM), 일부는 추론 시 정답(ground-truth) 레이블을 요구하며, 또 다른 방식은 계산적으로 불가능할 정도로 과도한 샘플당 검색 루프에 의존합니다.

방법론
저자들은 MACRO(Markov Chain Routing of Transformer Layers)를 제안합니다. 이는 고정된 LLM 아키텍처 위에서 작업별 실행 경로를 학습하는 프레임워크입니다. MACRO는 레이어 적용, 스킵(skip), 반복, 그리고 은닉 상태(hidden-state) 합산을 결정하는 문맥 의존적 마르코프 정책 $\pi_\theta(a_t | s_t)$ 로서 레이어 라우팅을 모델링합니다.

상태 및 행동 공간: 상태 $s_t$ 는 현재 레이어 인덱스( $\ell$ ), 남은 계산 예산 단계(초기/중기/후기), 유입된 레이어 변위( $\delta$ ), 그리고 연산 문맥(현재 은닉 상태가 일반 레이어에 의해 생성되었는지 또는 덧셈에 의해 생성되었는지 여부)을 포함하는 압축된 요약입니다. 행동 공간은 다음을 포함합니다:
1. 로컬 레이어 이동: 근접한 레이어 $\ell + \Delta$ 를 적용(스킵, 반복 또는 역방향 재방문 허용).
2. 더하기 및 적용(Add-and-Apply): 로컬 레이어를 적용하기 전, 현재 상태 $h_t$ 에 이전 은닉 상태 $h_{t-b}$ 를 특정 계수( $\gamma > 0$ )와 함께 더함.
3. 재결합(Rejoin): 학습된 접두사(prefix)를 종료하고 트랜스포머의 나머지 표준 접미사(suffix)를 실행.
  구조적 타당성 마스크(Feasibility masks)는 모든 샘플링된 프로그램이 레이어 범위 및 예산 제약 내에 머물도록 보장합니다.
학습 절차: MACRO는 분포 추정(estimation-of-distribution) 방식을 채택합니다. 표준 순차 경로가 가장 높은 확률을 갖는 순방향 편향된 사전 확률(prior)에서 시작하여, 프레임워크는 후보 라우팅 프로그램을 반복적으로 샘플링하고, 이를 학습 데이터의 하위 집합에서 평가하며, 가중 최대 가능도(weighted maximum likelihood)를 사용하여 마르코프 전이 행렬을 업데이트합니다. 성능이 높은 경로는 정책을 정교화하기 위해 지수적으로 가중치가 부여됩니다. 리플레이 버퍼(Replay buffer)는 이전 반복의 사례들에 대한 커버리지를 보존함으로써 안정적인 수렴을 보장합니다.
디코딩 및 선택: 확률적 샘플링이나 테스트 시점의 샘플당 검색에 의존하는 방법들과 달리, MACRO는 학습된 정책으로부터 가장 확률이 높은 유효한 라우팅 프로그램을 결정론적으로 디코딩하기 위해 Top-k Viterbi 알고리즘을 사용합니다. 구조적 타당성 마스크가 Viterbi 재귀 과정에 통합됩니다. 최종 경로는 홀드아웃 검증 세트(held-out validation set)에서 평가하여 가장 높은 정확도를 가진 것을 선택합니다.

주요 기여

매개변수 효율적 프레임워크: MACRO는 고정 및 양자화된 LLM을 위한 경량화된 문맥 의존적 마르코프 정책을 도입하며, 모델의 가중치를 업데이트할 필요가 없습니다.
정확한 디코딩 스킴: 본 논문은 구조적 타당성 마스크를 갖춘 정확한 Top-k Viterbi 디코딩 스킴을 제시합니다. 이는 샘플당 테스트 시점 검색, 보조 신경망 학습, 또는 정답 오라클(ground-truth oracle)의 필요성을 제거합니다.
실증적 우월성: 이 프레임워크는 다양한 추론 및 지식 벤치마크에서 비 라우팅(non-routed) 베이스라인 및 기존의 동적 라우팅 방법들을 일관되게 능가하는 성능을 보여줍니다.

결과
GSM8K, MATH500, MedQA, MMLU-Pro와 같은 벤치마크에서 여러 오픈 웨이트 LLM(Qwen3 변체, Mixtral, DeepSeek-R1-Distill 포함)을 대상으로 평가되었습니다:

정확도 향상: MACRO는 라우팅되지 않은 베이스라인 대비 평균 **+5.0%**의 정확도 향상을 달이트합니다. 이 이득은 작은 모델에서 가장 두드러집니다(예: Qwen3-1.7B에서 +12.68%).
SOTA와의 비교: MACRO는 선도적인 동적 라우팅 방법인 Dr.LLM보다 평균 정확도에서 +7.2% 더 높은 성능을 보입니다.
효율성: 경로 검색 프로세스가 훨씬 효율적이며, Dr.LLM과 비교했을 때 검색 시간을 9.4배 단축했습니다(벤치마크당 14.8시간에서 1.6시간으로).
강건성: 통계적 유의성 검정 결과, MACRO는 성능 저하 없이 모든 테스트된 모델에서 성능을 개선함을 확인했습니다.
메커니즘적 통찰: 로짓 렌즈(Logit-lens) 분석에 따르면, 라우팅은 모델의 내부 추론 능력을 변화시키는 것이 아니라, 이미 내부에 표현되어 있는 답이 출력 근처에서 억제되는 것을 방지하여 답을 더 잘 드러내는 방식으로 성능을 향상시킵니다.

의의 및 주장
본 논문은 MACRO가 고정된 LLM을 위한 동적 계산을 실용적으로 만드는 데 있어 중요한 진전임을 주장합니다. 라우팅을 마르코프 과정으로 공식화함으로써, 저자들은 이전 방법들(MCTS 기반 학습 등)의 계산 비용과 데이터 요구 사항 문제를 극복했습니다. 이 연구는 라우팅이 모델의 학습된 표현을 근본적으로 바꾸기보다는, 내부에 존재하는 답을 더 효과적으로 "끌어내는(elicit)" 메커니즘 역할을 한다고 논합니다. 저자들은 이 접근 방식을 입력 의존적 동적 라우팅으로 확장하여, LLM의 새로운 차원의 유연한 테스트 타임 스케일링(test-time scaling)을 가능하게 할 수 있다고 제언합니다. 이 방법은 특히 작은 모델에서의 성능 개선 능력과 양자화된 모델과의 호환성이 뛰어나, 자원이 제한된 환경에서의 폭넓은 적용 가능성을 시사합니다.

유사한 논문