💻 computer science

Beyond Correctness: Learning Robust Reasoning via Transfer

이 논문은 모델이 단순히 최종 정답의 정확성에만 집중하는 대신, 별도의 모델을 가이드할 때도 효과적으로 유지되는 추론 단계를 생성하도록 학습함으로써 LLM 추론의 강건성과 샘플 효율성을 향상시키는 새로운 접근 방식인 전이 가능한 보상을 이용한 강화 학습(RLTR)을 소개한다.

원저자: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

게시일 2026-02-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hyunseok Lee, Soheil Abbasloo, Jihoon Tack, Jinwoo Shin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생에게 복잡한 수학 문제를 푸는 법을 가르치고 있다고 상상해 보세요.

과거의 방식 (RLVR): "정답을 맞혔니?"
현재 대부분의 AI 학습은 시험지의 최종 정답만을 확인하는 엄격한 선생님과 같습니다. 만약 학생이 엉망이고 혼란스럽거나, 운 좋게 맞힌 추측을 적었더라도 결과가 맞으면 선생님은 "A"를 줍니다. 반대로, 학생이 완벽하고 논리적인 설명을 적었지만 마지막에 아주 작은 산수 실수 하나를 했다면 선생님은 "F"를 줍니다.

이 논문은 이를 RLVR(검증 가능한 보상을 통한 강화 학습)이라고 부릅니다. 이는 정답을 맞히는 데는 뛰어나지만, 학생이 그곳에 어떻게 도달했는지는 상관하지 않습니다. 그 결과, 학생은 시스템을 "속이는 법"을 배우거나, 누군가에게 설명해 달라고 요청했을 때 무너져 버리는 취약한 논리에 의존하게 될 수 있습니다.

새로운 아이디어 (RLTR): "다른 사람이 네 풀이를 완성할 수 있니?"
이 논문의 저자인 현석 리(Hyunseok Lee)와 동료들은 다른 철학을 제안합니다. 그들은 진정한 추론은 계주 경기와 같다고 믿습니다. 좋은 러너(AI)는 단순히 결승선을 통과하는 것만으로는 부족합니다. 다음 주자가 비틀거리지 않고 쉽게 바통을 이어받아 계속 달릴 수 있도록 바통을 넘겨주어야 합니다.

그들은 이 새로운 방법을 RLTR(전이 가능한 보상을 통한 강화 학습)이라고 부릅니다.

작동 방식은 다음과 같은 간단한 비유를 통해 이해할 수 있습니다:

생성기 (첫 번째 주자): AI는 문제를 풀기 시작하며 자신의 생각(추론 과정)을 적습니다.
중단 (테이프 끊기): 시스템은 AI의 중간 단계에서 멈춥니다. AI가 작성한 추론의 첫 부분을 가져와서 잘라냅니다.
수신기 (두 번째 주자): 다른 AI(수신기)에게 이 잘려 나간 텍스트 조각이 전달됩니다. 이 AI는 첫 번째 AI가 쓴 내용을 읽고 솔루션을 완성해야 합니다.
보상:
- 만약 수신기가 성공적으로 문제를 끝내고 정답을 맞히면, 첫 번째 AI는 보너스 점수를 받습니다.
- 만약 수신기가 첫 번째 부분이 엉망이거나 비논리적이었기 때문에 혼란을 느끼거나, 막히거나, 틀린 답을 낸다면, 첫 번째 AI는 보너스를 받지 못합니다.

왜 이것이 더 나은가요?
이야기를 쓰는 것을 생각해 보세요.

RLVR은 이야기가 "끝"이라는 단어로 끝나는지에만 관심을 가집니다. 당신이 앞뒤가 맞지 않는 이야기를 쓰더라도, 마지막 단어가 "끝"이라면 승리합니다.
RLTR은 이야기의 전반부를 읽는 사람이라면 누구나 결말을 쉽게 예측할 수 있을 만큼 이야기가 명확하고 논리적인지에 관심을 가집와. 이는 AI가 "견고한" 추론, 즉 안정적이고 명확하며 재사용 가능한 논리를 쓰도록 강제합니다.

그들은 무엇을 발견했나요?
논문은 어려운 수학 및 과학 문제로 이를 테스트했습니다. 주요 요점은 다음과 같습니다:

더 일관적임: 동일한 문제를 64번 풀게 했을 때, "전이(Transfer)" 방식(RLTR)은 다수결로 정답을 결정할 때 정답을 맞히는 경우가 더 많았습니다. 기존 방식(RLVR)도 때때로 맞히기는 했지만, 그 추론 과정이 너무 불안정해서 여러 번의 시도가 서로 일치하지 않는 경우가 많았습니다.
더 빠른 학습: 새로운 방식은 더 빨리 학습했습니다. RLTR은 기존 방식과 동일한 성능 수준에 도able하는 데 약 2.5배 적은 훈련 단계만 필요했습니다. 이는 수업 내용이 더 명확하기 때문에 절반의 시간 만에 더 나은 교육을 받는 것과 같습니다.
더 어려운 문제에 효과적: 이 이점은 가장 어려운 수학 경시 대회(AIME 및 AMC 등)에서 더 크게 나타났습니다. 문제가 어려울수록, 단순히 정답 숫자를 맞히는 것보다 명확하고 전이 가능한 사고 과정을 갖는 것이 더 중요합니다.
수학에 국한되지 않음: 과학 질문에 대해서도 테스트를 진행했으며, 여기서도 작동했습니다. 이는 이 "명확한 사고" 기술이 많은 유형의 문제에 적용될 수 있음을 시사합니다.

요약하자면:
이 논문은 "정답을 맞히는 것"만으로는 충분하지 않다고 주장합니다. AI의 추론은 너무나 견고하고 명확해서, 만약 당신이 다른 AI에게 중간에 그 내용을 건네준다면, 두 번째 AI가 그 일을 완벽하게 끝마칠 수 있어야 합니다. AI가 "전이 가능하도록(transferable)" 훈련함으로써, 그들은 더 똑똑해지고, 더 일관되어지며, 훨씬 더 빠르게 학습하게 됩니다.

기술 요약: 정확성을 넘어: 전이를 통한 견고한 추론 학습 (Beyond Correctness: Learning Robust Reasoning via Transfer)

1. 문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 학습된 보상 모델 대신 최종 답변에 대한 규칙 기반 검증을 사용하여 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰으나, 결정적인 한계에 직착해 있습니다. 즉, 이 방식은 오직 최종 답변의 정확성만을 최적화합니다. 이러한 접근 방식은 **추론 과정 자체의 견고함(robustness)**을 보장하지 못합니다.

실제 환경에서, 다양한 샘플링 경로 또는 디코딩 변형에 따라 정답을 산출하는 양상이 일관되지 않고 산발적으로 나타나는 모델은, 안정적이고 재현 가능한 추론을 생성하는 모델보다 가치가 떨어집니다. 선행 연구에 따르면, RLVR은 샘플 수( $K$ )를 늘려도 다수결 투표 정확도(Maj@K)가 개선되지 않거나 오히려 저하될 수 있는 '취약한(brittle)' 추론 궤적을 초래할 수 있다고 지적합니다. 현재의 패러다임은 중간 추론 단계가 안정적이고, 해석 가능하며, 다른 모델에 의해 재사용될 수 있도록 유도하는 동기 부여 기제가 부족합니다.

2. 방법론: 전이 가능한 보상을 활용한 강화 학습 (RLTR)

저자들은 **추론 전이 가능성(reasoning transferability)**이라는 개념을 통해 견고한 추론을 구체화하는 RLTR 프레임워크를 제안합니다. 핵심 철학은 견고한 추론이란 그것을 생성한 특정 모델을 넘어 유용성을 유지해야 한다는 것입니다. 즉, 중단(truncation), 재해석(reinterpretation), 그리고 지속(continuation) 과정을 견뎌내야 합니다.

핵심 메커니즘

RLTR은 표준 RLVR 목적 함수에 **전이 보상(Transfer Reward)**을 추가하여 보강합니다. 학습 과정에는 두 가지 모델이 관여합니다:

생성 모델 ( $M_{gen}$ ): 전체 추론 궤적과 최종 답변을 생성하는 학습 가능한 모델.
수신 모델 ( $M_{rcv}$ ): 생성 모델의 중간 추론 품질을 평가하는 데 사용되는 별도의 고정된(frozen) 모델.

전이 보상 프로세스:

생성 모델이 추론 시퀀스 $y_{gen}$ 을 생성합니다.
무작위 비율 $\tau \in (0, 1]$ 에서 추론 궤적을 절단하여 접두사(prefix) $y_{gen}[:\ell]$ 를 만듭니다.
이 접두사가 고정된 수신 모델에 입력되며, 수신 모델은 추론을 완성하고 최종 답변을 생성하려고 시도합니다.
전이 보상 ( $R_{trans}$ )은 이진(binary) 값입니다: 수신 모델이 완성한 답변이 정답(ground truth)과 일치하면 1, 그렇지 않으면 0입니다.

목적 함수:
생성 모델에 대한 총 보상은 표준 답변 보상과 전이 보상의 가중 결합입니다:
$R_{RLTR}(y_{gen}, M_{rcv}) = R_{RLVR}(y_{gen}) + t \cdot R_{trans}(y_{gen}, M_{rcv})$
여기서 $R_{RLVR}$ 은 정답의 정확도와 형식(format) 보상을 포함하며, $t$ 는 전이 성분의 가중치입니다. 생성 모델은 이 결합된 보상을 최대화하도록 그룹 상대 정책 최적화(GRPO)를 통해 최적화됩니다.

3. 주요 기여

새로운 프레임워크: LLM이 서로 다른 모델 간에 전이 가능한 추론 궤적을 생성하도록 명시적으로 유도하는 최초의 RLVR 프레임워크인 RLTR을 도입했습니다.
프로세스 수준의 감독: 조밀한 단계별 주석(step-level annotations)과 학습된 검증기가 필요한 프로세스 보상 모델(PRM)과 달리, RLTR은 추가적인 주석 비용이나 보조 보상 모델 학습 없이 오직 정답 검증만을 사용하여 프로세스 수준의 감독을 달성합니다.
일관성 향상: 전이 가능성을 최적화하는 것이 샘플링 일관성(Maj@K)을 직접적으로 개선하여, 표준 RLVR에서 관찰되는 취약성 문제를 해결함을 입증했습니다.
샘플 효율성: RLTR은 훨씬 적은 학습 단계(MATH-500 기준 약 2.5배 적음)로도 RLVR과 대등하거나 더 우수한 성능을 달성합니다.

4. 실험 결과

저자들은 MATH-500, GSM8K, AMC23, AIME2024, GPQA를 포함한 다양한 수학 및 과학 추론 벤치마크에서 RLTR을 평가했습니다.

정확도 및 일관성: RLTR은 평균 정확도와 Maj@K 지표 모두에서 베이스 모델과 RLVR 학습 모델을 일관되게 능가합니다.
- MATH-500에서 RLTR은 Maj@64를 82.6%(RLVR)에서 84.2%로 높였으며, 평균 정확도 또한 71.0%에서 77.0%로 끌어올렸습니다.
- AMC23에서 RLTR은 Maj@64를 61.7%에서 67.5%로 개선했습니다.
- GPQA (과학적 추론)에서 RLTR은 평균 정확도를 33.0%에서 34.8%로, Maj@16을 36.8%에서 37.7%로 높여 도메인 불가지론적(domain-agnostic) 일반화 능력을 입증했습니다.
학습 역학(Training Dynamics):
- 속도: RLTR은 RLVR의 정확도 수준에 도달하는 데 약 2.5배 적은 학습 단계가 소요됩니다.
- 상관관계: 학습 과정 중 전이 가능성의 성장과 Maj@K 사이에는 강한 양의 상관관계가 존재합니다. 반면, RLVR 모델은 평균 정확도가 안정적임에도 불구하고 학습 후기 단계에서 전이 가능성과 Maj@K가 저하되는 경향을 보입니다.
절제 연구(Ablation Studies):
- 보상 비율: 전이 보상의 가중치( $t$ )를 높이면 High-K 일관성(Maj@K)이 크게 향상되어, 전이 가능성이 독자적이고 가치 있는 신호임을 확인시켜 줍니다.
- 수신 모델: 본 방법론은 더 작은 수신 모델(예: 1.5B 파라미터)을 사용하더라도 효과적이지만, 더 강력한 수신 모델이 더 나은 High-K 일관성을 제공합니다.
- 다양성: 특정 솔루션 패턴에 집중하여 다양성(Pass@K)을 감소시키는 RLVR과 달리, RLTR은 정확도를 높이면서도 Pass@K를 유지하거나 개선합니다.
계산 비용: RLTR은 수신 모델을 통해 추가적인 계산을 도입하지만, 전반적으로 더 효율적입니다. RLTR과 동일한 성능을 달{기 위해 RLVR은 약 2.3배 더 많은 계산량(FLOPs)이 필요합니다.

5. 의의 및 주장

본 논문은 추론 전이 가능성을 최적화하는 것이 더 견고한 LLM 추론으로 이어진다고 주장합니다. 추론을 중단과 재완성을 견뎌내야 하는 일종의 "의미 전달(meaning transfer)"로 취급함으로써, RLTR은 모델이 안정적이고, 해석 가능하며, 진정으로 일반화 가능한 추론 경로를 생성하도록 독려합니다.

저자들은 이 연구를 현재 RLVR 방식의 "결과 중심(outcome-only)" 평가 병목 현상에 대한 해결책으로 제시합니다. 그들은 견고한 추론이란 단순히 정답을 맞히는 것이 아니라, 타인이 신뢰할 수 있게 따라갈 수 있도록 설명 가능해야 함을 의미한다고 주장합니다. 이 접근 방식은 일관성과 재현성이 원시 정확도만큼이나 중요한 복잡한 도메인(과학적 발견 또는 코딩 등)에서 더 신뢰할 수 있는 AI 에이전트로 나아가는 길을 제시하며, 동시에 학습에 드는 계산 부담을 줄여줍니다.