🤖 AI

Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution

이 논문은 테스트 시점의 실행을 피드백을 내재화하고 모델의 추론 전략을 진화시키기 위해 그룹 상대 정책 최적화(GRPO)를 통해 동적으로 업데이트되는 일시적 LoRA 어댑터를 활용하는 온라인 최적화 과정으로 취급함으로써 LLM의 추론 능력을 향상시키는 Policy of Thoughts (PoT) 프레임워크를 소개하며, 이를 통해 4B 모델이 복잡한 코딩 벤치마크에서 훨씬 더 큰 규모의 최첨단 모델들을 크게 능가할 수 있게 한다.

원저자: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

게시일 2026-07-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhengbo Jiao, Hongyu Xian, Qinglong Wang, Yunpu Ma, Zhebo Wang, Zifan Zhang, Dezhang Kong, Meng Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 까다로운 퍼즐, 예를 들어 복잡한 코딩 챌린지나 긴 사고의 사슬이 필요한 수학 문제를 풀고 있다고 상상해 보세요. 당신에게는 많은 사실을 알고 있지만 때때로 루프에 빠져 똑같은 실수를 반복하는 슈퍼 스마트한 비서(대규모 언어 모델)가 있습니다. 인공지능의 세계에서 이 비서는 보통 '동결된(frozen)' 뇌를 가지고 작동합니다. 즉, 일단 생각을 시작하면 중간에 자신의 근본적인 전략을 바꿀 수 없습니다. 만약 잘못된 길로 접어든다면, 운 좋게 정답을 찾거나 동시에 여러 경로를 시도해 볼 때까지 그 잘못된 길을 계속 걸어갈 뿐입니다. 이것은 이미 부딪힌 벽으로부터 배우기보다는, 벽에 부딪힐 때까지 모든 복도를 눈 가리고 뛰어다니며 미로를 탈출하려는 것과 같습니다.

오랫동안 이러한 어려운 문제를 해결하는 가장 좋은 방법은 컴퓨터에게 수백만 개의 추측을 시도할 수 있도록 더 많은 시간과 컴퓨팅 파워를 주는 것이었습니다. 하지만 이 논문은 더 똑똑한 방법을 제시합니다. 단순히 더 열심히 노력하는 대신, 컴퓨터가 시도하는 동안 학습해야 한다는 것입니다. 이것은 비디오 게임 캐릭터가 죽었을 때 단순히 다시 태어나서 다시 시도하는 것이 아니라, 방금 자신을 죽게 만든 특정 함정으로부터 실제로 배우고 다음 시도를 위해 전략을 즉시 조정하는 것과 같습니다. 이 연구의 연구자들은 다음과 같이 질문합니다. 만약 우리 AI가 이전의 추측이 실패했는지 성공했는지에 따라 자신의 추론 규칙을 실시간으로 업데이트하며 '순발력 있게 생각할' 수 있다면 어떻게 될까요? 이것은 단순히 스크립트를 따르는 로봇과, 매번 직면하는 새로운 도전마다 자신의 뇌를 즉각적으로 적응시키고 진화시키는 로봇의 차이입니다.

"사고의 정책(Policy of Thoughts)": AI가 플레이하며 학습하도록 가르치기

PoT(Policy of Thoughts)를 만나보세요. 이는 문제를 푸는 것을 단 한 번의 추측이 아니라, AI와 문제 사이의 생생하고 진화하는 대화로 취급하는 새로운 프레임워크입니다. 저자들(절강 대학교 및 LMU 뮌헨 등의 연구진)은 AI의 전략이 정답을 찾는 동안 고정되어 있는 기존 방식이 우리의 발목을 잡고 있다고 주장합니다. 그들은 AI가 테스트 도중에 자신의 실패로부터 학습하여 얻는 '두 번째 기회'를 통해, 실시간으로 스스로를 훈련하는 시스템을 제안합니다.

포퍼의 퍼즐: 추측, 테스트, 그리고 진화

핵심 아이디어는 과학이 "추측과 반박"을 통해 발전한다고 믿었던 유명한 철학자 칼 포퍼(Karl-Popper)에게서 영감을 받았습니다. 쉬운 말로 설명하자면, 이는 당신이 추측을 하고, 그것을 현실에 대조하여 테스트하며, 만약 실패한다면 왜 실패했는지 정확히 배워서 다음번에 더 나은 추측을 할 수 있도록 하는 것을 의미합니다.

PoT는 이 철학을 AI에 구현합니다. 이 순환 과정은 다음과 같습니다:

추측 (The Conjecture): AI는 문제를 보고 몇 가지 다른 가능한 해결책을 생성합니다 (마치 지도 위에 세 가지 다른 경로를 스케치하는 것과 같습니다).
반박 (The Refutation): 시스템은 실제 환경(예: 코드 컴파일러)에서 이러한 해결책들을 실행합니다. 만약 코드가 충돌하거나 틀린 답을 내놓는다면, 그것이 바로 "반박"입니다.
진화 (The Evolution): 이것이 마법 같은 부분입니다. 실패한 추측을 그냥 버리는 대신, PoT는 그 실패를 사용하여 AI의 내부 "정책"(사고 전략)을 업데이트합니다. 이는 AI가 생각하는 방식에 대해 이 특정 문제에 대해서만 아주 미세하고 즉각적인 조정을 가하는 것입니다.
반복 (The Repeat): AI는 새로 업데이트된 뇌를 가지고 다시 시도하며, 이제 방금 저지른 특정 실수를 피할 수 있는 더 나은 능력을 갖추게 됩니다.

"임시 뇌"의 기술

당신은 아마 이렇게 물을지도 모릅니다. "AI가 모든 문제로부터 배운다면, 이전에 알던 것을 잊어버리거나 혼란스러워하지 않을까요?" 저자들은 영리한 해결책을 가지고 있습니다. 그들은 LoRA(Low-Rank Adaptation)라고 불리는 기술을 사용하는데, 이는 AI에게 탈부착이 가능한 가벼운 "사고용 모자"를 씌워주는 것과 같습니다.

AI에게 방대한 지식의 영구적인 도서관(기본 모델)이 있다고 가정해 봅시다. 어려운 문제에 직면했을 때, AI는 특별하고 가벼운 "사고용 모자"(LoRA 어댑터)를 씁니다. 이 모자는 AI가 이 특정 문제를 위해 전략을 빠르게 배우고 적응할 수 있게 해줍니다. 일단 퍼즐이 풀리거나 시간이 다 되면, 모자는 벗겨져서 버려집니다. 영구적인 도서관은 손상되지 않고 혼란스럽지도 않은 상태로 유지됩니다. 즉, AI는 일반적인 지식을 망가뜨리지 않으면서도 모든 새로운 문제에 대해 적응의 달사가 될 수 있습니다.

결과: 작은 뇌, 큰 승리

연구진은 정밀한 단계별 논리가 요구되어 매우 어려운 것으로 알려진 코딩 챌린지에서 이 아이디어를 테스트했습니다. 그들은 상대적으로 작은 AI 모델(매개변수 40억 개)을 사용하고 여기에 PoT 프레임워크를 적용했습니다.

결과는 놀라웠습니다. 이 작은 모델은 PoT를 사용하여 LiveCodeBench V6라는 까다로운 벤치마크의 문제 중 **49.71%**를 해결했습니다. 이를 비교해 보자면 다음과 같습니다:

이 모델은 동일한 특정 벤치마크에서 **29.71%**를 기록한 거대한 상용 모델인 GPT-4o를 이겼습니다.
이 모델은 다른 대규모 모델들의 베이스라인 성능을 크게 상회하며, 동적 학습이 훨씬 더 큰 시스템의 정적 추론을 능가할 수 있음을 입증했습니다.
Gemini-2.5-Flash(전체 60.91%)나 Claude-Opus-4(전체 55.22%) 같은 모델들이 더 넓고 혼합된 벤치마크에서 더 높은 점수를 기록하긴 했지만, PoT가 강화된 4B 모델의 LiveCodeBench V6에서의 49.71%는 50배 이상 작은 모델이 거둔 엄청난 도약이며, 적응형 추론이 복잡하고 특정한 작업에서 거물들과 격차를 줄일 수 있음을 증명합니다.

가장 인상적인 점은, PoT가 강화된 모델이 경쟁하는 거대 모델들보다 50배 이상 작다는 것입니다. 이 모델은 더 큰 뇌를 가져서 이긴 것이 아니라, 자신이 가진 뇌를 사용하는 더 똑똑한 방법을 가졌기에 승리한 것입니다.

이것이 중요한 이유

이 논문은 AI 추론의 미래가 단순히 더 크고 더 큰 모델을 만드는 것에 있지 않다고 시사합니다. 그것은 모델에게 "순발력 있게 생각할" 수 있는 능력을 부여하는 것에 관한 것입니다. 테스트 과정을 훈련 세션으로 전환함으로써, AI는 실패한 경로에 에너지를 낭비하는 대신 그 에너지를 즉각적으로 전략을 개선하는 데 사용하기 시작합니다.

저자들은 명확한 피드백(예: 코드가 실행되거나 충돌하는 경우)이 있을 때 이 방법이 가장 잘 작동한다는 것을 발견했습니다. 피드백이 모호할 때는 이득이 적지만 여전히 긍정적입니다. 또한 이 접근 방식이 시작했던 모델뿐만 아니라 다양한 유형의 모델에서도 작동함을 보여주었습니다.

요약하자면, PoT는 어려운 문제를 해결하는 최선의 방법은 단순히 더 열심히 노력하는 것이 아니라, 더 빨리 배우는 것이라고 제안합니다. AI가 매번 직면하는 모든 도전에 대해 자신의 추론 전략을 스스로 진화시키도록 함으로써, 우리는 훨씬 더 작고 효율적인 컴퓨터로부터 초지능적인 결과를 얻을 수 있습니다. 이것은 "정답을 찾는 것"에서 "정답을 찾는 법을 배우는 것"으로의 전환입니다.

기술 요약: 사고의 정책 (Policy of Thoughts, PoT)

1. 문제 정의

대규모 언어 모델(LLM)은 복잡하고 긴 호흡의 추론 과제를 수행할 때 상당한 불안정성에 직면합니다. 현재의 최첨단 접근 방식들은 모델의 파라미터가 추론 과정 동안 정적으로 유지된다는 **고정된 정책 가정(frozen-policy assumption)**에 의존합니다. Chain-of-Thought(CoT)나 테스트 시간 스케일링(예: Best-of-N, Tree of Thoughts)과 같은 방법들은 솔루션 공간을 탐색하기 위해 추론 연산량을 늘리지만, 실행 피드백을 단순히 경로를 필터링하거나 재작성하기 위한 외부 신호로만 취급합니다. 이들은 실패를 추론 전략 자체를 개선하기 위해 내재화하지 못합니다. 결과적으로, 모델은 단 한 번의 초기 실수가 추론 체인을 돌이킬 수 없이 망가뜨리는 "기만적 경로(deceptive trajectories)"에 계산 자원을 낭비하며, 실시간으로 경로를 수정하는 메커니즘이 부족합니다.

기존의 테스트 시간 훈련(Test-Time Training, TTT) 방법들은 그래디언트 기반 업데이트를 탐구해 왔으나, 주로 교차 인스턴스 적응이나 장기적인 과학적 발견을 목표로 할 뿐, 특정 복잡한 문제를 해결하는 데 필요한 인스턴스별(per-instance) 추론 설정에는 초점을 맞추지 못했습니다.

2. 방법론: 사고의 정책 (Policy of Thoughts, PoT)

저자들은 **사고의 정책(PoT)**을 제안하며, 이는 테스트 시간 추론을 인스턴스 내부의 온라인 최적화 과정으로 재구성합니다. 칼 포퍼(Karl Popper)의 "추측과 반박(conjectures and refutations)"이라는 인식론적 원리에 영감을 받은 PoT는 모델이 탐색과 적응의 폐쇄 루프를 통해 자신의 추론 정책을 반복적으로 진화시킬 수 있도록 합니다.

핵심 아키텍처

PoT는 고정된 베이스 모델에 일시적인 저차원 적응(Low-Rank Adaptation, LoRA) 어댑터를 증강하여 작동합니다. 추론 과정은 $P1 \to TT \to EE \to P2$ 의 주기를 따릅니다:

탐색적 추측 ($TT$): 모델은 **몬테카를로 트리 탐색(MCTS)**을 사용하여 구조화된 탐색을 수행합니다. PUCT(Predictor Upper Confidence Bound) 목적 함수를 기반으로 노드를 확장함으로써 다양하고 후보적인 궤적(생각)들을 생성합니다.
실행 및 반박 ($EE$): 후보 솔루션들은 환경(예: 코드 실행기)에서 실행됩니다. 유닛 테스트 결과로부터 피드백을 얻으며, 이는 반박의 객관적인 척도로 기능합니다.
정책 내재화 ( $P2$ ): 실패한 시도들을 단순히 버리는 대신, PoT는 **그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 일시적인 LoRA 어댑터를 업데이트합니다.
- 일련의 궤적 그룹을 샘플링하고, 이들의 상대적 보상을 계산하여 어드밴티지(advantage) 신호를 추정합니다.
- GRPO 손실을 최소화하여 어댑터 파라미터를 업데이트함으로써, 실행 피드백을 사용하여 해당 인스턴스에 대해 모델을 실제로 "훈련"시킵니다.
- 이는 후속 탐색 단계에 대한 정책 사전 확률(policy prior)을 업데이트하여, 고품질 영역으로 탐색을 좁혀줍니다.
리셋: 문제가 해결되거나 예산이 소진되면, 일시적인 어댑터는 폐기되며 베이스 모델은 영향을 받지 않은 상태로 남습니다. 이는 파괴적 망각과 인스턴스 간 간섭을 방지합니다.

주요 기술 구성 요소

상태 공간(State Space): 문제 설명과 생성된 사고 및 실행 피드백의 이력으로 정의됩니다.
보상 함수(Reward Function): 유닛 테스트 실행에서 도출됩니다 (전체 통과 시 1.0, 부분 통과 시 부분 점수, 그 외 0).
적응 메커니즘: 사전 학습된 백본을 수정하지 않고 추론 중에 가중치를 효율적으로 업데이트하기 위해 LoRA ( $\Delta W = BA$ )를 사용합니다.
최적화: GRPO를 채택하여 그룹 내에서 보상을 정규화함으로써, 별도의 가치 네트워크(value network) 없이도 후보들 간의 상대적 성능 차이를 통해 모델이 학습할 수 있게 합니다.

3. 주요 기여

테스트 시간 훈련으로서의 정책 진화: 본 논문은 테스트 시간 추론을 온라인 최적화 과정으로 공식화하여, 정적인 궤적 선택에서 동적인 정책 적응으로 패러다임을 전환합니다. 이를 통해 LLM이 실행 피드백을 내재화하고 실시간으로 추론 전략을 재형성할 수 있게 합니다.
PoT 프레임워크: 구조화된 탐색(MCTS)과 파라미터 효율적인 내재화(GRPO + 일시적 LoRA)를 결합한 통합 시스템을 제공합니다. 인스턴스별 어댑터 설계는 모델이 미래의 작업에 간섭하지 않으면서 현재 문제의 특정 로직에 적응하도록 보장합니다.
우수한 실증적 성능: 광범-한 실험을 통해 PoT가 훨씬 적은 파라미터 수를 사용함에도 불구하고 기존의 탐색 기반 방법, 반복적 정교화 기법, 상용 대규모 모델들을 유의미하게 능가함을 입증했습니다.

4. 실험 결과

저자들은 다섯 가지 코드 추론 벤치마크(HumanEval, MBPP, LiveCodeBench v5 & v6, ICPC)에서 PoT를 평가했습니다.

소형 모델에서의 성능: PoT로 강화된 4B 파라미터 모델(Qwen3-4B-Instruct)은 **64.02%**의 전체 정확도를 달성했습니다.
- 이는 GPT-4o(49.35%), Claude-Opus-4(55.22%), Gemini-2.5-Flash(60.91%)를 능가합니다.
- 또한 강력한 테스트 시간 스케일링 베이스라인들(예: RethinkMCTS 57.08%, TTT-Discover 58.79%)을 상당한 차이로 앞섭니다.
- LiveCodeBench V6에서 이 4B 모델은 **49.71%**를 기록하며, 파라미터 수가 50배 이상 작음에도 불구하고 12개의 테스트 시간 스케일링 베이스라인 및 상용 모델들을 능가했습니다.
일반화: PoT는 다양한 모델 제품군(Phi-4, Qwen)과 규모(1.7B ~ 30B)에 걸쳐 일관된 이득을 보여주었습니다. 또한 "사고하는(thinking)" 모델들과 결합하여, LiveCodeBench V6에서 Qwen3-4B-Thinking의 성능을 55.20%에서 63.70%로 끌어올렸습니다.
절제 연구(Ablation Studies):
- 적응의 중요성: LoRA 업데이트를 제거(순수 MCTS 탐색)했을 때 성능이 49.71%에서 37.14%로 하락하여, 정책 진화가 성공의 핵심 동력임을 강조했습니다.
- 분기 계수(Branching Factor): 분기 계수 $k=3$ 이 탐색의 다양성과 계산 효율성 사이의 최적의 균형을 제공했습니다.
- 일시적 vs 지속적: 각 인스턴스 후에 어댑터를 폐기하는 것(인스턴스별 리셋)이 어댑터를 유지하는 것보다 5.41포인트 더 높은 성능을 보였으며, 이는 인스턴스 특유의 전략이 신뢰할 만하게 전이되지 않음을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 어려운 추론 문제에 대해 탐색 단독보다 테스트 시간 학습이 더 우월한 전략이라고 주장합니다. 추가적인 연산을 낭비되는 탐색이 아닌 직접적인 정책 개선으로 전환함으로써, PoT는 소형 모델이 거대하고 정적인 모델을 능가할 수 있게 합니다.

저자들은 PoT가 "고정된 정책" 가정으로부터의 근본적인 전환을 나타내며, 인스턴스별 일시적 적응이 추론 과제에 적합한 체제임을 입증했다고 주장합니다. 이 프레임워크는 "추측과 반박"의 순환을, 실패가 단순히 필터링되는 것이 아니라 과제가 지속되는 동안 모델의 내부 추론 사전 확률을 정교화하는 데 사용되는 계산 과정으로 효과적으로 변환합니다.

한계점: 저자들은 (실행 불가능한 도메인에서) 학습된 보상 모델에 의존하는 것이 주관성을 유발할 수 있음을 인정하며, 모델 기반 신호와 결정론적 환경 피드백 간의 효과 차이는 여전히 조사되어야 할 미개척 영역으로 남겨두었습니다. 그러나 코드와 같이 고유한 피드백이 존재하는 도메인에서는 이 방법이 견고하고 최첨단인 결과를 달성합니다.