🤖 machine learning

TEMPO: Scaling Test-time Training for Large Reasoning Models

이 논문은 테스트 시 학습 (TTT) 중 발생하는 보상 신호의 편향과 다양성 붕괴 문제를 해결하기 위해 정책 정제와 라벨 데이터 기반의 비평가 재보정을 교차 수행하는 'TEMPO' 프레임워크를 제안하여, 다양한 대규모 추론 모델의 성능과 다양성을 동시에 크게 향상시켰음을 보여줍니다.

원저자: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚀 TEMPO: 시험장에서 배우는 '똑똑한 AI'의 비밀

이 논문은 **"시험을 치르면서 동시에 더 똑똑해지는 AI"**를 만드는 새로운 방법인 TEMPO에 대해 설명합니다. 기존 AI 는 공부를 다 끝낸 후 시험을 보면 그 점수로만 만족하고 끝났지만, TEMPO 는 시험지를 풀면서 실시간으로 실력을 업그레이드합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 풀어보겠습니다.

1. 문제: 왜 기존 AI 는 시험장에서 멈추나요? (기존 방식의 한계)

기존의 '시험 때 훈련 (Test-time Training)' 방식은 혼자서 문제를 풀고 스스로 점수를 매기는 방식이었습니다.

비유: imagine imagine 혼자 공부하는 학생이 있다고 상상해 보세요.
- 이 학생은 문제를 풀고 "아, 내가 푼 답이 맞을 거야!"라고 스스로 믿습니다.
- 처음에는 잘하지만, 시간이 지나면 자신의 실수를 '정답'으로 착각하게 됩니다.
- "내가 이 방식이 최고야!"라고 고집을 부리면서, 다른 창의적인 풀이법을 무시하게 됩니다.
- 결과: 성적은 어느 순간 더 이상 오르지 않고 (Plateau), 사고방식은 단조로워져서 (Diversity Collapse) 새로운 문제를 풀지 못하게 됩니다.

이게 바로 기존 AI 들이 겪는 **'스스로를 속이는 함정'**입니다.

2. 해결책: TEMPO (시험 때 기대-최대화 정책 최적화)

저자들은 이 문제를 해결하기 위해 TEMPO라는 두 단계의 루프를 만들었습니다. 이를 **'현명한 멘토와 학생'**의 관계로 비유해 볼까요?

🔄 TEMPO 의 두 가지 단계 (E-Step & M-Step)

1 단계: E-Step (멘토의 재점검)

상황: 학생이 문제를 풀기 전에, 전문가 멘토가 미리 준비된 '정답지 (레이블 데이터)'를 보고 자신의 평가 기준을 다시 다듬습니다.
비유: "아, 내가 전에 '이런 식이 정답이야'라고 생각했는데, 정답지를 보니 그건 틀렸구나. 내 평가 기준을 다시 바로잡아야지!"
핵심: AI 가 스스로 평가하는 기준 (크리틱) 을 정답이 있는 데이터로 주기적으로 교정합니다. 이렇게 하면 AI 가 망상 (잘못된 확신) 에 빠지는 것을 막습니다.

2 단계: M-Step (학생의 문제 풀이)

상황: 이제 기준이 바로잡힌 멘토를 믿고, 학생은 **정답을 모르는 새로운 문제 (테스트 데이터)**를 풉니다.
비유: 멘토가 "이 문제는 이렇게 접근해 봐, 저렇게 접근해 봐"라고 다양한 방향을 제시해 줍니다. 학생은 이 피드백을 받아서 자신의 풀이 방식을 개선합니다.
핵심: AI 는 정답을 모르는 문제에서도 멘토의 도움을 받아 실시간으로 실력을 키웁니다.

이 **멘토의 기준 교정 (E)**과 **학생의 문제 풀이 (M)**를 반복하는 것이 TEMPO 의 핵심입니다.

3. TEMPO 가 왜 대단한가요? (실험 결과)

이 방법을 적용하자 놀라운 일이 일어났습니다.

성적의 폭발적 상승:
- 수학 올림피아드 (AIME) 같은 어려운 시험에서, 기존 AI 는 33% 정도에서 멈췄지만, TEMPO 를 쓴 AI 는 51% 까지, 14B 모델은 65% 까지 점수가 올랐습니다.
- 마치 중간고사 점수가 30 점대였던 학생이, 시험장에서 실시간으로 공부해서 기말고사 90 점대를 받은 것과 같습니다.
사고방식의 다양성 유지:
- 기존 방식은 "가장 많이 나온 답"만 고집하다가 사고가 멈췄지만, TEMPO 는 다양한 풀이법을 계속 시도합니다.
- 비유: 다른 친구들이 "A 가 정답이야"라고 외칠 때, TEMPO 는 "잠깐, B 나 C 도 가능성 있지 않나?"라고 생각하며 창의성을 잃지 않습니다.
어떤 문제든 잘 푼다:
- 수학뿐만 아니라 논리 퍼즐, 과학 문제 등 다양한 분야에서도 효과가 입증되었습니다.

4. 요약: TEMPO 의 핵심 교훈

이 논문이 우리에게 주는 메시지는 매우 간단합니다.

"스스로를 평가하는 기준 (멘토) 을 주기적으로 '정답지'로 확인하지 않으면, 아무리 많이 문제를 풀어도 실력은 더 이상 오르지 않는다."

기존 AI 들은 혼자서 "내가 최고야!"라고 외치며 멈췄지만, TEMPO 는 정답지를 보며 기준을 바로잡는 멘토를 곁에 두고, 새로운 문제를 풀 때마다 실시간으로 성장합니다.

이 기술이 적용되면, 앞으로 AI 는 시험을 치르는 순간마다 더 똑똑해져서, 우리가 상상하지 못했던 복잡한 문제들도 해결해 줄 수 있을 것입니다. 🌟

논문 개요

이 논문은 대형 추론 모델 (Large Reasoning Models, LRMs) 의 추론 능력을 테스트 시간 (Test-time) 에 지속적으로 확장하기 위한 새로운 프레임워크인 **TEMPO (Test-time Expectation-Maximization Policy Optimization)**를 제안합니다. 기존 테스트 시간 학습 (TTT) 방법론이 겪는 성능 정체 (Plateau) 와 출력 다양성 붕괴 (Diversity Collapse) 문제를 해결하기 위해, 기대값 - 최대화 (EM) 알고리즘을 기반으로 한 교대 최적화 전략을 도입했습니다.

1. 문제 정의 (Problem)

대형 추론 모델은 테스트 시 긴 추론 체인 (Reasoning Chains) 을 통해 복잡한 문제를 해결하지만, 학습이 완료된 후 파라미터가 고정되어 테스트 중 획득한 새로운 지식을 반영하지 못합니다. 이를 해결하기 위해 제안된 기존 테스트 시간 학습 (TTT) 방법들은 라벨이 없는 테스트 데이터에서 모델 파라미터를 업데이트하려 시도합니다.

그러나 기존 TTT 방법론 (예: TTRL, EMPO 등) 은 다음과 같은 근본적인 한계를 가집니다:

보상 신호의 편향 (Reward Drift): 외부 라벨 없이 모델이 스스로 생성한 출력 (자기 보상) 을 기반으로 학습합니다. 모델이 특정 추론 패턴에 과신하게 되면서, 보상 신호가 실제 정답과 점점 멀어집니다.
성능 정체 및 다양성 붕괴: 초기에는 성능이 향상되지만, 곧바로 정체기에 빠지며 (Plateau), 모델이 소수의 추론 패턴만 반복하게 되어 출력의 다양성이 무너지고 (Diversity Collapse), 결국 추론 품질이 저하됩니다.

2. 방법론 (Methodology)

저자들은 TTT 문제를 기대값 - 최대화 (Expectation-Maximization, EM) 알고리즘의 관점에서 재해석하고, 이를 해결하기 위해 TEMPO를 제안했습니다. TEMPO 는 라벨이 있는 데이터와 라벨이 없는 테스트 데이터를 교대로 활용하는 Actor-Critic 구조를 가집니다.

핵심 메커니즘: EM 알고리즘 기반 교대 학습

E-Step (Critic Recalibration, 기대값 단계):
- 목적: 라벨이 있는 데이터셋 ( $D_L$ ) 을 사용하여 **비평가 모델 (Critic)**을 주기적으로 재조정합니다.
- 역할: 생성된 응답의 정답 확률 (Posterior distribution) 을 추정합니다. 이는 라벨이 없는 테스트 데이터에서 "어떤 응답이 올바른지"에 대한 신뢰할 수 있는 기준 (Grounded Reward Signal) 을 제공합니다.
- 의미: 기존 방법들이 누락한 핵심 단계로, 보상 신호가 모델의 편향에 의해 왜곡되는 것을 방지합니다.
M-Step (Policy Refinement, 최대화 단계):
- 목적: E-Step 에서校准된 비평가 모델의 점수를 기반으로 **라벨이 없는 테스트 데이터 ( $D_u$ )**에서 정책 모델 (Actor) 을 업데이트합니다.
- 역할: 비평가로부터 얻은 품질 인식 점수 (Quality-aware scores) 를 보상 (Reward) 으로 사용하여 강화 학습 (Policy Gradient) 을 수행합니다.

수학적 배경

테스트 시간의 정답 여부는 관측되지 않는 잠재 변수 (Latent Variable) 로 간주됩니다.
TEMPO 는 증거 하한 (ELBO, Evidence Lower Bound) 을 최대화하는 방식으로 문제를 공식화합니다.
기존 자기 보상 (Self-rewarding) 방법들은 E-Step 을 생략하고 M-Step 만 수행하는 불완전한 변형으로 해석되며, 이로 인해 ELBO 가 느슨해지고 성능이 정체됩니다. TEMPO 는 E-Step 을 복원하여 ELBO 를 강화하고 지속적인 개선을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

TEMPO 프레임워크 제안: Actor-Critic 의 교대 최적화를 통해 테스트 시간 학습에서 지속적인 성능 향상을 달성하고, 기존 방법들의 다양성 붕괴와 성능 정체 문제를 해결했습니다.
EM 관점의 통합 분석: 기존 TTT 방법론들이 EM 알고리즘의 E-Step (후사분포 재조정) 을 누락한 불완전한 변형임을 이론적으로 규명했습니다. 이를 통해 주기적인 비평가 재교정이 확장성 (Scalability) 실패의 근본 원인임을 증명하고 해결책을 제시했습니다.
광범위한 실험 검증: 다양한 모델 (OLMO3, Qwen3) 과 추론 영역 (수학, 논리 퍼즐, STEM) 에서 TEMPO 의 우수성을 입증했습니다.

4. 실험 결과 (Results)

TEMPO 는 AIME 2024/2025 등 주요 수학 경시대회 벤치마크와 논리/STEM 과제를 포함한 다양한 환경에서 기존 SOTA 방법론 (TTRL, EMPO, RLVR) 을 압도했습니다.

성능 향상:
- OLMO3-7B: AIME 2024 정확도가 **33.0% → 51.1%**로 향상.
- Qwen3-14B: AIME 2024 정확도가 **42.3% → 65.8%**로 향상 (약 23.5%p 증가).
- 기존 RLVR 기반 학습이 수렴한 후에도 TEMPO 는 테스트 시간 계산을 추가로 투입하여 성능을 지속적으로 끌어올렸습니다.
다양성 유지 (Diversity Preservation):
- 기존 방법들은 평균 정확도는 높아지지만 pass@k (여러 시도 중 하나라도 정답일 확률) 가 급격히 떨어지는 다양성 붕괴 현상을 보였습니다.
- 반면 TEMPO 는 높은 pass@k 점수를 유지하며, 모델이 다양한 올바른 추론 경로를 탐색하도록 유도했습니다.
범용성 (Versatility):
- 수학뿐만 아니라 논리 퍼즐 (ZebraLogic), 일반 추론 (BigBenchHard, AGI Eval) 등 다양한 도메인에서도 효과적이었으며, 특히 초기 정책이 미성숙한 모델에서 더 큰 개선을 보여주었습니다.

5. 의의 및 결론 (Significance)

이론적 통찰: 테스트 시간 학습을 단순한 자기 학습이 아닌, EM 알고리즘의 완전한 구현으로 재정의함으로써, 왜 기존 방법들이 실패하는지에 대한 명확한 이론적 근거를 제공했습니다.
실용적 가치: 외부 라벨 데이터가 소량만 존재하더라도, 이를 주기적으로 활용하여 비평가 모델을 보정함으로써 무제한의 테스트 시간 계산을 통해 모델의 추론 능력을 확장할 수 있음을 증명했습니다.
미래 방향: 이 연구는 에이전트 (Agent) 작업 및 코드 생성 등 다른 영역으로의 확장과, 교대 최적화의 수렴 보장에 대한 이론적 연구를 위한 기초를 마련했습니다.

요약하자면, TEMPO는 "모델이 스스로를 평가할 때 발생하는 편향을 주기적인 외부 검증 (Critic Recalibration) 으로 보완한다"는 아이디어를 통해, 대형 추론 모델이 테스트 시간에도 계속 학습하고 진화할 수 있는 길을 열었습니다.