CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR

이 논문은 최종 정답뿐만 아니라 추론 과정의 정확성도 고려하기 위해 대비 학습을 정책 최적화에 통합한 CLIPO 를 제안함으로써, 기존 RLVR 의 환각 및 답사 복사 문제를 완화하고 LLM 의 일반화 및 강건성을 향상시킨다고 설명합니다.

핵심

CLIPO: AI 가 '정답'만 외우는 게 아니라 '논리'를 배우게 하는 방법

이 논문은 최근 인공지능 (LLM) 이 수학이나 논리 문제를 풀 때, 정답만 맞추면 된다는 생각에 중간 과정을 엉망으로 만들어버리는 문제를 해결한 새로운 방법을 소개합니다.

이 방법을 쉽게 이해하기 위해 **'수학 시험'**과 **'여행'**에 비유해 설명해 드릴게요.

---

1. 기존 방법 (RLVR) 의 문제점: "정답만 맞으면 OK!"

지금까지 AI 를 가르치는 방식 (RLVR) 은 다음과 같았습니다.

상황: AI 가 수학 문제를 풀게 합니다.
결과: AI 가 최종 답을 맞췄다면 "정답! (점수 +1)", 틀렸다면 "오답 (점수 0)"이라고만 알려줍니다.

🚨 문제점:
AI 는 "어떻게 풀었든 상관없이, 최종 답만 맞으면 점수를 받네?"라고 생각합니다.
그래서 AI 는 다음과 같은 나쁜 습관을 들일 수 있습니다.

• 할루시네이션 (망상): 논리적으로 말이 안 되는 과정을 거쳐서, 운 좋게 정답만 맞춰버립니다.
• 답지 베끼기: 중간에 헷갈려도, 나중에 정답을 맞춰버리면 점수를 받으니 과정을 무시합니다.

비유:

마치 여행을 갔는데, "목적지에 도착했으면 OK"라고만 가르치는 것과 같습니다.
AI 는 길을 잃고 헤매다가, 우연히 목적지에 도착하면 "나는 훌륭한 여행자야!"라고 생각하게 됩니다. 하지만 실제로는 길을 잘못 들었기 때문에, 다음에 비슷한 길을 가면 다시 길을 잃을 확률이 매우 높습니다.

---

2. 새로운 방법 (CLIPO): "정답을 맞춘 '올바른' 방법들끼리 친구가 되게 하라"

이 논문 (CLIPO) 은 AI 에게 **"정답을 맞춘 여러 가지 방법들 사이에는 공통된 '올바른 논리'가 숨어있다"**는 사실을 가르칩니다.

핵심 아이디어:

"정답을 맞춘 A, B, C 세 가지 방법이 있다고 치자. 이 세 가지 방법은 중간 과정은 조금씩 다르지만, 핵심적인 '논리 흐름'은 비슷할 거야. 우리는 이 공통된 흐름을 찾아내서 AI 가 그 흐름을 따르도록 가르치자."

🌟 CLIPO 의 작동 원리 (비유):

1. 여행 가이드의 역할:
   AI 가 문제를 풀 때, 여러 가지 시나리오 (여행 경로) 를 만들어냅니다.
2. 성공한 여행자들의 모임:
   목적지에 성공적으로 도착한 (정답을 맞춘) 여행자들만 모입니다.
3. 공통점 찾기 (Contrastive Learning):
   "자, 여러분이 성공한 이유를 비교해 봅시다. A 는 산을 올랐고, B 는 강을 건넜지만, 둘 다 '방향 감각'을 잃지 않았고 '나침반'을 잘 사용했네요!"
   CLIPO 는 이 **'성공한 방법들 사이의 공통된 논리 (나침반)'**를 찾아내어 AI 에게 강조합니다.
4. 실패한 방법들은 멀리 치워라:
   정답을 맞췄지만, 논리가 엉망이거나 운으로 맞춘 경우는 '성공한 그룹'과 거리를 두게 합니다.

결과:
AI 는 단순히 "정답을 맞추는 것"이 아니라, **"정답을 맞출 수 있는 올바른 논리 구조"**를 배우게 됩니다. 그래서 새로운 문제가 나오거나, 문제가 조금 변형되어도 (예: 숫자만 바뀌거나, 조건이 살짝 달라짐) 잘 대처할 수 있게 됩니다.

---

3. 왜 이것이 중요한가요?

기존 방식은 AI 가 **"정답을 외우는 암기형 학생"**이 되게 만들었습니다. 하지만 CLIPO 는 AI 가 **"논리를 이해하는 사고형 학생"**이 되게 합니다.

• 강점 1: 흔들림이 없습니다. (Robustness)
  문제가 조금만 변해도 (예: "100 원"을 "1000 원"으로 바꿈) AI 가 당황하지 않고 논리를 적용해 해결합니다.
• 강점 2: 환각 (Hallucination) 을 줄입니다.
  AI 가 "아무 말이나 지어내서 정답을 맞출까?"라는 유혹을 받지 않습니다. 논리가 맞아야 점수를 받기 때문입니다.
• 강점 3: 다양한 문제에 적용됩니다.
  수학뿐만 아니라 코딩, 복잡한 계획 수립 등 논리가 필요한 모든 분야에서 AI 의 능력을 향상시킵니다.

---

4. 한 줄 요약

기존 AI: "정답만 맞으면 점수 줘! 과정은 몰라." (운 좋게 맞출 수 있음)
CLIPO: "정답을 맞춘 올바른 방법들이 가진 공통된 논리를 찾아내서, 그 논리를 따라가면 더 확실하게 정답을 맞출 수 있게 가르쳐!" (실력 향상)

이 방법은 AI 가 단순히 정답을 기억하는 것을 넘어, 진짜로 '생각하는 법'을 배우게 하는 중요한 전환점이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

배경:
최근 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 검증 가능한 보상 (Verifiable Rewards) 을 활용한 강화학습 (RLVR) 이 주류 패러다임으로 자리 잡았습니다. RLVR 은 인간 피드백 (RLHF) 에 비해 비용이 적게 들고 일관된 피드백을 제공한다는 장점이 있습니다.

한계점:
기존 RLVR 방법론 (예: GRPO, PPO 등) 은 최종 정답 (Outcome) 만을 기준으로 보상 (성공/실패) 을 부여합니다. 이는 다음과 같은 심각한 문제를 야기합니다.

• 중간 추론 단계의 오류 무시: 논리적으로 틀린 중간 단계를 거쳤더라도 최종 답이 맞으면 보상을 받습니다.
• 할루시네이션 및 답 복사 (Answer Copying): 모델은 논리적 과정이 아닌, 정답을 암기하거나 우연히 맞는 답을 찾아내는 방식을 학습할 수 있습니다.
• 일반화 능력 저하: 학습된 데이터와 다른 분포 (Distribution Shift) 나 복잡한 변형 문제에서 모델의 성능이 급격히 떨어집니다.

핵심 질문:
"중간 추론 단계의 질을 고려하지 않는 이진 (Binary) 보상 체계의 한계를 극복하고, 성공적인 추론 경로들 사이의 공통된 논리 구조를 학습하여 일반화 능력을 향상시킬 수 있는 방법은 무엇인가?"

---

2. 방법론 (Methodology: CLIPO)

저자들은 CLIPO (Contrastive Learning in Policy Optimization) 라는 새로운 프레임워크를 제안합니다. 이는 RLVR 프로세스에 대조학습 (Contrastive Learning) 메커니즘을 통합하여, 성공적인 추론 경로들 간의 불변 구조 (Invariant Structure) 를 학습하도록 유도합니다.

핵심 아이디어

• 성공 경로의 중첩 (Overlap of Successful Paths): 여러 번의 성공적인 추론 (Rollout) 은 서로 다른 표현을 하더라도 동일한 논리적 핵심 (Invariant Logic) 을 공유합니다. 반면, 실패나 할루시네이션은 무작위적인 노이즈로 작용합니다.
• 대조적 정규화: 성공적인 경로들 간의 유사성을 최대화하고, 실패한 경로들과는 거리를 두어 모델이 논리적 핵심을 추출하도록 합니다.

구체적 아키텍처 및 과정

1. 임베딩 공간 매핑:

   • 정책 모델 (Policy Model) 의 마지막 은닉 상태 (Hidden State) 에서 가벼운 대조 헤드 (Contrastive Head) 를 통해 추론 궤적 (Trajectory) 을 임베딩 공간으로 매핑합니다.
   • 각 응답에 대해 평균 풀링 (Mean Pooling) 을 수행하여 문장 수준의 표현을 얻습니다.

2. 그룹 내 대조 손실 (Intra-group Contrastive Loss):

   • 동일한 프롬프트에 대해 샘플링된 $G$ 개의 롤아웃 그룹 내에서, 정답을 맞춘 응답들을 양 (Positive) 쌍으로, 틀린 응답들을 음 (Negative) 으로 간주합니다.
   • InfoNCE 손실을 사용하여 양 (성공) 쌍 간의 거리는 줄이고, 음 (실패) 쌍과의 거리는 늘립니다.
   • 수식적으로, 성공적인 응답 $\bar{y}$ 와 $y$ 간의 상호 정보 (Mutual Information) 를 최대화하는 방향으로 학습합니다.

3. 보상 신호 재구성 (Reward Reshaping):

   • 기존 RLVR 의 희소하고 이진적인 보상 ($r$) 에 대조학습에서 얻은 밀집된 (Dense) 보조 보상 ($r_{CL}$) 을 추가합니다.
   • 최종 보상: $r' = r + r_{CL}$
   • 이 보조 보상은 정답이 맞더라도, 다른 성공적인 경로들과 논리적으로 더 유사한 (일관된) 추론을 한 경우 더 높은 보상을 받도록 하여 모델이 더 강건한 추론 전략을 학습하게 합니다.

---

3. 주요 기여 (Key Contributions)

1. RLVR 의 일반화 한계 극복: 최종 결과만 보는 기존 RLVR 의 단점을 보완하여, 중간 추론 단계의 논리적 일관성을 학습하는 새로운 패러다임을 제시했습니다.
2. CLIPO 프레임워크 제안: 정책 최적화 (Policy Optimization) 과정에 대조학습을 통합하여, 외부 프로세스 보상 모델 (PRM) 이나 추가적인 인간 주석이 필요 없이도 모델이 스스로 논리적 구조를 학습하도록 했습니다.
3. 강건성과 일반화 입증: 다양한 수학 추론 벤치마크 (GSM8K, MATH, AIME 등) 와 분포 외 (Out-of-Distribution) 데이터, 변형된 문제 (Perturbed tasks) 에서 기존 RLVR 기반 방법론 (GRPO, GSPO, DAPO 등) 보다 일관된 성능 향상을 보였습니다.
4. 오픈소스 및 재현성: 코드와 학습 레시피를 공개하여 커뮤니티의 추가 연구를 촉진했습니다.

---

4. 실험 결과 (Results)

저자들은 두 가지 주요 실험 트랙 (GSM8K 기반 일반 추론, MATH 기반 고난도 수학 추론) 에서 CLIPO 를 검증했습니다.

• 성능 향상:
  • Track I (GSM8K): GRPO+CLIPO 는 모든 베이스라인을 능가하며 평균 점수 63.26 을 기록했습니다. 특히 분포 이동이 있는 GSM8K-P1, P2 에서 각각 +1.48, +3.36 포인트의 큰 향상을 보였습니다.
  • Track II (Competition-Level Math): DAPO+CLIPO 가 평균 44.05 점으로 최고 성적을 기록했습니다. Math-Perturb(문제 변형) 및 고난도 대회 문제 (AMC, AIME) 에서도 일관된 개선 (+1.20 ~ +1.81) 을 보였습니다.
• 강건성 (Robustness):
  • CLIPO 는 단순한 정답 맞추기를 넘어, 논리적 일관성을 학습했음을 보여줍니다. 변형된 문제나 심볼릭 추론 작업에서 기존 모델들이 급격히 성능이 떨어지는 반면, CLIPO 는 높은 성능을 유지했습니다.
• Ablation Study (분석 실험):
  • 대조 헤드 고정 (Fixed Head): 헤드를 학습하지 않고 고정했을 때 성능이 하락하여, 헤드가 추론 궤적의 질을 구분하는 의미 있는 임베딩을 학습한다는 것이 입증되었습니다.
  • 그룹 크기 (Group Size): 롤아웃 수 (Group Size) 가 증가할수록 (8 -> 16 -> 32) 대조 학습의 신호가 풍부해져 성능이 향상되었습니다.
  • 온도 파라미터 ($\tau$): 낮은 온도 (0.02) 가 더 나은 성능을 보였으며, 이는 모델이 '하드 네거티브'를 더 잘 구분하게 함을 의미합니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: RLVR 이 단순히 '정답'을 찾는 것을 넘어, '올바른 추론 과정'을 학습하도록 유도하는 관계적 구조 (Relational Structure) 기반 학습 신호를 제시했습니다.
• 확장성: CLIPO 는 수학 추론뿐만 아니라 코드 생성, 에이전트 계획 등 구조화된 도메인 전반에 적용 가능한 범용적인 방법론입니다.
• 효율성: 고비용의 인간 주석이나 복잡한 프로세스 보상 모델을 구축할 필요 없이, 기존 RLVR 파이프라인에 대조학습 헤드를 추가하는 것만으로 모델의 일반화 능력과 신뢰성을 획기적으로 높일 수 있음을 입증했습니다.

결론적으로, CLIPO 는 성공적인 추론 경로들 사이의 공통된 논리적 본질을 추출함으로써, LLM 이 할루시네이션을 줄이고 더 강건하며 일반화 가능한 추론 능력을 갖추도록 하는 중요한 진전을 이룩했습니다.