💬 NLP

LatentRevise: Learning from Zero-Hit Reasoning

LatentRevise는 검증 가능한 보상을 가진 강화 학습에서의 샘플링 병목 현상을 해결하기 위해, 실패한 추론 접두사의 입력 임베딩을 정답을 향하도록 최적화함으로써 수학 벤치마크에서 모델 성능을 향상시키는 정보가 풍부한 자기 성찰적 궤적을 생성합니다.

원저자: Yiqiu Guo, Xueting Han, Qi Jia, Guangtao Zhai, Jing Bai

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiqiu Guo, Xueting Han, Qi Jia, Guangtao Zhai, Jing Bai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생에게 매우 까다로운 수학 문제를 푸는 법을 가르치고 있다고 상상해 보세요. 당신은 학생에게 문제를 제시하고, 학생은 그것을 풀려고 노력합니다. 하지만 학생이 몇 번을 시도해도(예를 들어 32번 동안), 매번 틀린 답을 내놓습니다.

AI 학습의 세계에서는 이를 "제로 히트(Zero-Hit)" 시나리오라고 부릅니다. AI가 완전히 실패한 상태입니다.

문제점: "막다른 길 (The Dead End)"

보통 AI가 이 정도로 처참하게 실패하면, 학습 시스템은 손을 들어버립니다. "32번의 시도 중 정답이 하나도 없으니, 여기서 얻을 수 있는 유용한 교훈은 없다. 이 문제는 그냥 무시하고 다음 문제로 넘어가자"라고 말이죠.

이 논문은 이것이 실수라고 주장합니다. 이러한 "막다른 길"은 사실 금광입니다. AI는 문제를 풀 수 있지만, 단지 현재의 제한된 시도 범위 내에서 올바른 경로를 아직 찾지 못했을 뿐입니다. 논문은 이를 "샘플링 프런티어(Sampling Frontier)"—즉, AI가 현재 도달할 수 있는 한계선—라고 부릅니다.

해결책: "LatentRevise" (마법 같은 편집)

저자들은 LatentRevise라는 방법을 소개합니다. AI에게 더 열심히 하라고 요구하거나, 정답을 보여줄 "슈퍼 선생님"을 고용하는 대신, LatentRevise는 AI가 글을 완성하기 전에 자신의 생각을 스스로 수정하도록 허용합니다.

작동 방식은 다음과 같은 간단한 비유를 통해 이해할 수 있습니다.

1. 실패한 초안

AI가 이야기(해결책)를 쓰기 시작합니다. 그러다 논리적 함정에 빠져 잘못된 결말을 쓰게 됩니다.

기존 방식: 초안 전체를 쓰레기통에 버립니다.
LatestRevise 방식: AI를 잠시 멈춥니다. 이야기의 앞부분(추론 접두사, reasoning prefix)은 유지하되, 현재 가고 있는 경로가 절벽으로 이어지고 있음을 깨닫습니다.

2. "유령" 편집 (The "Ghost" Edit)

AI에게 처음부터 다시 이야기를 쓰라고 하는 대신, LatentRevise는 AI의 "두뇌"(내부 수학 체계, 즉 잠재 공간/latent space) 속으로 들어가 생각의 아주 첫 부분인 몇 단어를 미세하게 조정합니다.

이것은 GPS와 같습니다. AI가 운전 중인데 길을 잘못 들었습니다.

표준 AI: 막다른 길에 부딪힐 때까지 계속 운전하다가, 다시 처음부터 시작합니다.
LatestRevise: GPS가 현재 경로가 실패할 것임을 알아차립니다. 단순히 운전자에게 "더 열심히 운전하라"고 말하는 것이 아니라, 자동차가 사고 없이 목적지에 자연스럽게 도달할 수 있도록 경로의 시작 좌표를 아주 미세하게 조정하여 경로를 살짝 틀어줍니다.

3. 편집의 세 가지 규칙

이 "유령 편집"이 AI를 횡설수설하는 기계로 만들지 않도록, 논문은 세 가지 특정 규칙(그레이디언트)을 사용합니다.

실수로부터 멀어지기: "방금 당신을 오답으로 이끌었던 그 경로로 가지 마세요."
진실을 향해 끌어당기기: "우리가 이미 알고 있는 정답을 향해 부드럽게 방향을 잡으세요."
자연스러움 유지하기: "새로운 경로가 일반적인 인간의 언어처럼 들리도록 하세요. 로봇의 소음처럼 만들지 마세요."

4. 안전장치 (The "Vocabulary Hull")

이것은 기술적인 디테일을 쉽게 설명한 핵심적인 부분입니다. AI의 내부 수학을 조정할 때, 실제 존재하는 단어에 대응하지 않는 "생각"(예: 존재하지 않는 색상)을 만들어낼 위험이 있습니다.

LatentRevise에는 안전 가드레일이 있습니다. 모든 미세한 편집이 AI가 이미 알고 있는 실제 단어의 "이웃" 범위 안에 머물도록 강제합니다. 방 안의 가구를 재배치한다고 상상해 보세요. 소파를 옮길 수는 있지만, 소파를 떠다니는 구름으로 바꿀 수는 없습니다. 반드시 실제 가구 형태를 유지해야 합니다. 이를 통해 AI의 새로운 생각이 여전히 이해 가능한 형태를 유지하도록 보장합니다.

결과: 쓰레기를 보물로 바꾸기

이 "편집"을 거친 후, AI는 이야기를 다시 써 내려갑니다. 이때, 시작되는 생각이 미세하게 조정되었기 때문에 AI는 다음과 같은 과정을 거칩니다:

다른 경로를 택합니다.
"잠깐, 다시 생각해 보자"라고 스스로 반성(self-reflection)하기도 합니다.
마침 finally 정답에 도달합니다.

논문은 이렇게 "회복된" 이야기들이 매우 가치 있다는 것을 보여줍니다. AI가 이 새롭게 구해낸 예시들로 학습되면, 이전에 100% 실패했던 어려운 수학 문제들도 훨씬 더 잘 풀 수 있게 됩니다.

왜 그냥 "더 많이 시도하는 것"보다 나은가?

"왜 AI에게 32번 대신 100번을 시도하게 하지 않나요?"라는 의문이 들 수 있습니다.

더 많이 시도하는 것은 비용이 많이 들고 느립니다. 마치 학생에게 정답이 나올 때까지 에세이를 100번 쓰라고 요구하는 것과 같습니다.
LatestRevise는 학생이 단 하나의 좋은 에세이를 쓸 수 있도록 첫 번째 초안을 고쳐주는 똑똑한 편집자와 같습니다. 적은 컴퓨팅 자원으로 더 나은 결과를 얻어냅니다.

요약하자면: LatestRevise는 실패가 끝이 아니라는 것을 AI에게 가르쳐줍니다. 자신의 초기 생각을 조용히 편집함으로써, AI는 이전에 불가능하다고 생각했던 문제에서도 숨겨진 올바른 경로를 찾아낼 수 있습니다.

기술 요약: LatentRevise: Zero-Hit 추론으로부터의 학습

1. 문제 정의: RLVR에서의 Zero-Hit Regime (제로 히트 레짐)

강화 학습 기반 검증 가능한 보상(Reinforcement Learning with Verifiable Rewards, RLVR)은 언어 모델의 추론 능력을 향상시키기 위한 표준적인 접근 방식으로 자리 잡았습니다. 그러나 이는 zero-hit regime이라 불리는 근본적인 병목 현상에 직면해 있습니다. 이 시나리오에서는 프롬프트가 제시되었을 때 현재의 정책(policy)이 실질적인 샘플링 예산 내에서 단 하나의 올바른 궤적(trajectory)도 생성하지 못하는 상황($pass@N = 0$)을 의미합니다.

GRPO(Group Relative Policy Optimization)와 같은 표준 RLVR 알고리즘은 그룹 상대적 이득(group-normalized advantages)을 사용하여 정책을 업데이트합니다. 그룹 내에서 샘플링된 모든 궤적이 실패할 경우, 이들은 모두 동일한 보상(통상적으로 0 또는 음수)을 받게 됩니다. 결과적으로 그룹 평균이 개별 보상과 같아지며, 정규화된 이득(normalized advantage)이 0으로 붕괴됩니다. 이는 건설적인 그래디언트 신호의 부재를 초-래하며, 결과적으로 이러한 "어려운" 프롬프트들을 학습 불가능한 노이즈로 간주하여 버리게 만듭니다.

기존의 해결책들은 다음과 같은 방식을 시도합니다:

샘플링 예산 증대: $N$ 이나 디코딩 온도를 높이는 방식이지만, 이는 계산 비용이 많이 들며 여전히 결과 중심적(intermediate guidance가 결여됨)입니다.
온-정책 증류(On-policy distillation): 교사 모델(teacher model)이나 특권 정보(privileged information)를 사용하여 토큰 수준의 타겟을 제공합니다. 그러나 이러한 방법들은 학생 모델이 이미 어려움을 겪고 있을 때 외부 가이드가 약하거나, 불일치하거나, 혹은 사용 불가능할 수 있다는 한계가 있습니다.

핵리 문제는 이러한 zero-hit 프롬프트들이 새로운 추론 행동이 가장 절실히 필요한 "샘플링 프런티어(sampling frontier)"에 위치함에도 불구하고, 표준 파이프라인은 긍정적인 신호가 없다는 이유로 이를 학습할 수 없다는 점입니다.

2. 방법론: LatentRevise

저자들은 외부 교사 모델이나 참조 궤적 없이도 실패한 롤아웃(rollout)으로부터 학습 신호를 복구하도록 설계된 1차 잠재 수정(first-order latent revision) 방법인 LatentRevise를 제안합니다. 실패한 궤적을 단순히 버리는 대신, LatentRevise는 이를 유익한 흔적으로 취급하며 연속적인 잠재 공간(continuous latent space)에서 추론 접두사(reasoning prefix)의 입력 임베딩을 최적화합니다.

핵심 파이프라인

입력: 실패한 롤아웃 $y_{fail} = [r; c]$ (여기서 $r$ 은 추론 접두사, $c$ 는 실패한 지속 부분)와 정답 $y_{GT}$ .
동결 및 최적화: 모델 파라미터 $\theta$ 는 동결됩니다. 추론 접두사의 입력 임베딩 $E_r$ 을 최적화하여 궤적을 실패 지점에서 벗어나 솔루션 쪽으로 이동시킵니다.
복합 목적 함수: 최적화는 다음 세 가지 항으로 구성된 총 손실 $L_{total}$ $L_{t o t a l}$ 을 최소화합니다:
- 잠재 탐색 손실 ( $L_{explore}$ ): 원래의 실패한 지속 부분 $c$ 를 재현할 확률을 최소화하는 척력 신호입니다. 이는 잠재 상태가 대안적인 경로를 탐색하도록 유도합니다.
- 잠재 가이드 손실 ( $L_{guide}$ ): 고정된 정답 템플릿을 조건으로 하여 정답 $y_{GT}$ 를 생성할 확률을 최대화하는 가이드 신호입니다. 이는 수정을 정답 쪽으로 고정(anchor)시 ст합니다.
- 언어 유창성 사전 확률 ( $L_{NLL}$ ): 원래의 추론 토큰 $r$ 에 대한 음의 로그 가능도(negative log-likelihood)를 유지하는 규제 항입니다. 이는 최적화된 잠재 값이 의미론적으로 일관성을 유지하고 적대적 노이즈로 흐르지 않도록 보장합니다.
매니폴드 제약 (Frank-Wolfe): 최적화된 임베딩이 해석 불가능한 특징 공간으로 표류하여 모델이 임의의 벡터에 답을 인코딩하는 방식으로 "속임수"를 쓰는 것을 방지하기 위해, 최적화는 모델의 어휘 임베딩의 볼록 껍질(convex hull) 내로 제한됩니다. 이는 Frank-Wolfe(조건부 경사) 알고리즘을 통해 달성됩니다. 각 단계에서 업데이트는 현재 임베딩과 손실의 선형 근사를 최소화하는 최적의 정점(vocabulary token)의 볼록 조합이 됩니다.
이산 복구(Discrete Recovery): 최적화된 소프트 접두사 $E^*_r$ 은 어휘 행렬에 대한 최근접 이웃 탐색을 통해 이산 토큰으로 투영됩니다. 이후 새로운 지속 부분이 자기회귀적으로 디코딩됩니다. 만약 결과 궤적이 검증기(verifier)를 통과하면, 이를 지도 학습 데이터로 보유하거나 RL 그룹에 주입합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

Zero-Hit 프런티어의 재정의: 저자들은 zero-hit 프롬프트를 학습 불가능한 이상치가 아니라, 복구 가능한 프런티어로 식별했습니다. 이들은 모델 자신의 잠재 공간을 사용하여 이러한 실패로부터 유효한 학습 신호를 알고리즘적으로 복구할 수 있음을 입증했습니다.
LatentRevise 알고리즘: 실패한 롤아웃을 성공적인 것으로 변환하는 새로운 1차 잠재 수정 프레임워크입니다. 결정적으로, 이 방법은 외부 교사 분포나 특권 궤적 없이, 정답과 모델 자신의 실패한 지속 부분만을 이용하여 밀도 높은 위치별(position-wise) 교정 신호를 생성합니다.
경험적 검증: 복구된 궤적은 높은 가치를 지닌 학습 데이터임이 입증되었습니다. 이는 수학적 추론 벤치마크에서 $pass@1 $과$ pass@k$를 모두 개선하며, 특히 표준 RL과 더 큰 샘플링 예산이 개선을 이끌어내지 못하는 시나리오에서 두드러집니다.

4. 실험 결과

이 방법은 Qwen2.5-1.5B-Instruct 및 Qwen3-8B-Base 모델을 사용하여 MATH500, AIME 24/25, AMC 23, OlympiadBench, Minerva Math를 포함한 벤치마크에서 DAPO-Math-14K를 통해 평가되었습니다.

Zero-Hit Regime (DAPO-Hard): 베이스 모델이 $pass@32 = 0$을 달성한 쿼리 서브셋(작은 모델의 경우 데이터셋의 약 46%)에서, 표준 GRPO는 붕괴된 이득으로 인해 미미한 개선만을 보였습니다. LatentRevise를 사용하여 SFT 데이터를 생성하거나 RL 그룹에 주입했을 때, 표준 GRPO(44.84%) 및 롤아웃 그룹을 두 배로 늘린 GRPO( $N=16$ $N = 16$ , 50.69%)보다 월등히 높은 성능을 보였습니다.
- Qwen2.5-1.5B의 경우, GRPO+Ours는 평균 $pass@32$ **53.51%**를 달축하였으며, 이는 표준 GRPO(44.84%) 및 롤아웃 그룹을 두 배로 늘린 GRPO( $N=16$ , 50.69%)를 상회하는 수치입니다.
- 주목할 점은, 이 방법이 정답을 조건으로 하는 교사에 의존하는 OPSD(On-Policy Self-Distillation)보다 우수한 성능을 보였다는 것이며, 이는 LatentRevise의 내부 잠재 최적화가 이 레짐에서 사후 교사 조건화(hindsight teacher conditioning)보다 더 효과적임을 시사합니다.
전체 데이터셋 (DAPO-Full): 쉬운 프롬프트와 어려운 프롬프트가 혼합된 전체 훈련 분포에 적용했을 때도, LatentRevle는 GRPO, DAPO 및 더 큰 롤아웃 베이스라인을 계속해서 앞질렀으며, 특히 높은 $k$ 값($pass@32$)에서 가장 큰 이득을 보였습니다.
효율성: LatentRevise는 단순히 롤아웃 그룹 크기를 두 배로 늘리는 것( $N=16$ )보다 낮은 계산 오버헤드를 발생시켰습니다. 표준 GRPO( $N=8$ ) 대비 훈련 시간은 약 24%, 메모리는 약 3%만 추가된 반면, 그룹 크기를 두 배로 늘리면 시간은 약 66%, 메모리는 약 14% 증가했습니다.
정성적 분석: 수정된 궤적은 길이의 증가와 명시적인 자기 성찰 마커(예: "잠깐, 다시 생각해 보자")를 보여주었으며, 이는 이 방법이 이산적 샘플링으로는 거의 도달할 수 없는 오류 수정 행동을 표면화한다는 것을 나타냅니다.

5. 의의 및 주장

본 논문은 LatentRevise가 추론 RL을 위한 보완적인 축을 제공한다고 주장합니다. 토큰 수준의 샘플링이 유한한 예산의 한계에 도달했을 때, 모델 자신의 잠재 공간에서의 1차 수정은 실패한 롤아웃을 검증된 감독 데이터로 변환할 수 있습니다.

저자들은 다음과 같이 단언합니다:

Zero-hit 프롬프트는 가치가 있다: 이들은 단순한 노이즈가 아니라 고가치의 훈련 프런티어를 나타냅니다. 일단 수정되면, 모델의 솔루션 커버리지를 확장하는 신호를 제공합니다.
내부 복구가 가능하다: 모델은 어휘 매니폴드 내에서 최적화가 이루어진다면, 더 강한 교사나 외부 참조 궤적 없이도 자신의 실패로부터 학습할 수 있습니다.
효율성: 실패한 롤아웃으로부터 신호를 복구하는 것은 브루트 포스(brute-force) 방식의 샘플링 확장보다 계산 효율적이며, 특히 모델 규모와 추론 체인이 길어질수록 더욱 그러합니다.

이 연구는 추론 작업이 어려워짐에 따라, 샘플링의 경계가 단순히 더 많이 샘플링하는 것뿐만 아니라, 이미 샘플링된 것을 수정함으로써 확장될 수 있음을 시사하며, 현재 정책의 "막다른 길(dead ends)"을 커리큘럼과 훈련 신호의 원천으로 바꿀 수 있음을 보여줍니다.