CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR

この論文は、最終的な正解だけでなく中間推論ステップの正しさも考慮する対照学習を組み込んだ CLIPO を提案し、LLM の推論におけるハルシネーションや一般化性の欠如といった RLVR の課題を解決し、頑健な政策最適化を実現する手法を提示しています。

要約

CLIPO：AI の「推理力」を鍛える新しい魔法の教科書

こんにちは！今日は、アリババのチームが開発した**「CLIPO（クリポ）」**という、AI（特に大規模言語モデル）の「考える力」を劇的に向上させる新しい技術について、難しい専門用語を使わずに、わかりやすく解説します。

Imagine（想像してみてください）：
AI が数学の問題を解いている様子を、**「生徒がテストを受ける」**ことに例えてみましょう。

1. 従来の方法（RLVR）の「落とし穴」

これまでの AI 学習方法（RLVR と呼ばれるもの）は、こんな感じでした。

• 先生（AI）の課題： 複雑な数学の問題を解くこと。
• 採点方法： 答えが合っていれば「正解（1 点）」、間違っていれば「不正解（0 点）」という**「結果だけ」**で評価する。
• 問題点：
  • もし生徒が「途中の計算は全部間違っていたけど、たまたま答えが合っていた」としたら、先生は**「素晴らしい！正解だ！」**と褒めてしまいます。
  • 逆に、「途中は完璧だったけど、最後の計算ミスで答えがズレたら」、**「ダメだ！」**と叱ってしまいます。

この「結果だけを見る」採点方法だと、AI は**「途中の論理は適当でも、答えさえ合えば OK」と学習してしまいます。これを「答えを丸暗記する」や「ハルシネーション（もっともらしい嘘をつく）」と呼びます。AI は「なぜ正解なのか」という本質的な思考プロセス**を身につけられず、少し問題が変わるとすぐに失敗してしまうのです。

2. CLIPO の「魔法の教科書」

CLIPO は、この「結果だけを見る」限界を打破する新しいアプローチです。その核心は**「対照学習（コントラスト学習）」**という考え方です。

これを**「優秀な生徒たちの共通点を見つける」**という活動に例えてみましょう。

CLIPO の仕組み：3 つのステップ

1. グループワークをする
   AI に同じ問題を 16 回解かせて、16 通りの「解答プロセス（思考の道筋）」を作らせます。

   • いくつかは「正解」にたどり着きます。
   • いくつかは「不正解」になります。

2. 「正解グループ」の共通点を探す（ここが重要！）
   従来の方法なら「正解」か「不正解」かだけで終わりますが、CLIPO は**「正解にたどり着いた 16 通りの思考プロセス」をすべて集めて、よく見比べます。**

   • 「あ、この 3 つの正解の生徒は、みんな『A のステップ』と『B のステップ』を同じように使っているな！」
   • 「でも、この正解の生徒は『C のステップ』で変なことをしているな。これはたまたま合っただけだ」

   CLIPO は、**「正解にたどり着いた思考プロセス同士を、似ている（仲良く）させる」ように AI を訓練します。逆に、「間違っている思考プロセスとは、遠ざける」**ようにします。

3. 「思考の共通パターン」を学習する
   これにより、AI は「答えが合っているかどうか」だけでなく、**「正解に至るための『正しい思考の道筋』そのもの」**を学習するようになります。

   • 例え答えが少しズレていても、「正しい思考プロセス」を踏んでいれば、AI は「あ、これは正解に近いな」と判断できるようになります。
   • 逆に、答えがたまたま合っていたとしても、「思考プロセスがおかしい」なら「これはダメだ」と判断できるようになります。

3. なぜこれがすごいのか？（日常の例え）

• 従来の AI： 「正解の答え」を丸暗記しているだけ。
  • 例：「1+1=2」と覚えている。でも「1+1+1=？」と聞かれると、答えを覚えていないのでパニックになる。
• CLIPO を使った AI： 「足算のルール」を理解している。
  • 例：「1+1=2」だけでなく、「なぜ 2 になるのか」という**「足す」という行為の共通ルール**を理解している。だから、初めて見る複雑な問題や、少しひねった問題（応用問題）でも、論理的に正しく答えられるようになります。

4. 実験結果：どんな効果が？

この CLIPO を使った AI は、以下のような驚くべき成果を上げました。

• 応用問題に強い： 教科書の問題と少し違う「ひねった問題」や、記号を使った難しい問題でも、従来の AI よりもはるかに正解率が高い。
• 嘘をつかなくなった： 「答えが合えば OK」という甘えがなくなり、論理的に正しい思考プロセスを踏むようになったため、でたらめな答え（ハルシネーション）が減った。
• どんな AI でも使える： 現在使われているさまざまな AI モデルに、この「魔法の教科書（CLIPO）」を適用するだけで、誰でも推理力がアップする。

まとめ

CLIPO は、AI に**「答え合わせ」だけでなく、「思考の共通パターン」を学ばせる**技術です。

• 以前の AI： 「正解の答え」を覚えるだけ。
• CLIPO の AI： 「正解に至るための『正しい思考の道』」を体得する。

これにより、AI は単なる「答えの検索機」から、本当に**「論理的に考えることができる賢いパートナー」**へと進化しようとしています。まるで、生徒が「テストの点数」だけでなく、「勉強の正しいやり方」をマスターしたようなものですね！

技術概要

以下は、論文「CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR」の技術的な要約です。

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の推論能力を向上させるための手法として、検証可能な報酬を用いた強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）が主流となっています。GRPO（Group Relative Policy Optimization）などの手法は、最終的な答えが正しければ報酬を与え、間違っていれば与えないという「結果ベースのバイナリ報酬」を採用しています。

しかし、このアプローチには以下の重大な欠点があります。

• 中間推論ステップの無視: 最終答えが正しくても、その過程で論理的な飛躍や「ハルシネーション（幻覚）」が含まれている場合でも報酬が与えられてしまいます。
• 過学習と一般化の欠如: モデルは論理的な正しさを学ぶのではなく、正解の答えを暗記したり、結果に一致するスパイシーな（偽りの）推論経路を学習したりする傾向があります。これにより、分布外（Out-of-Distribution）のタスクや複雑な変形問題に対する頑健性が低下します。
• プロセス報酬モデル（PRM）の限界: 中間ステップの正誤を評価する PRM は有効ですが、高品質なプロセス報酬データの収集に多大な人手コストがかかり、スケーラビリティに課題があります。

2. 提案手法：CLIPO (Methodology)

著者らは、CLIPO (Contrastive Learning in Policy Optimization) という新しいフレームワークを提案しました。これは、RLVR プロセスに対比学習（Contrastive Learning）のメカニズムを組み込むことで、成功した推論経路間の「不変的な構造」を学習させ、誤った経路を抑制することを目的としています。

核心的なアイデア

• 成功経路の類似性最大化: 正解を得た複数のロールアウト（推論経路）は、表面的な表現は異なっても、背後には共通の論理的構造（不変性）を持っているはずです。CLIPO は、これらの成功経路間の埋め込み空間での類似性を最大化します。
• 失敗経路との分離: 正解経路と不正解経路（またはハルシネーションを含む経路）の距離を最大化し、ノイズとなる推論ステップを除去します。
• 密な報酬信号の生成: 従来のスパースな（0 または 1 の）最終報酬に加え、対比損失（Contrastive Loss）を「密な補助報酬」として利用します。これにより、正解同士の中での「より論理的に整合性の高い経路」を区別し、方策更新を誘導できます。

技術的実装

1. 対比ヘッド（Contrastive Head）: LLM のバックボーンの最終隠れ状態に軽量な対比ヘッド（通常は線形層）を追加し、推論経路全体の意味的埋め込み（Semantic Embedding）を生成します。
2. グループ内対比学習: 1 つのプロンプトに対して生成された $G$ 個のロールアウト群 $\{y_1, ..., y_G\}$ 内で、正解の経路を「正のペア（Positive）」、不正解の経路を「負のサンプル（Negative）」として扱います。
3. InfoNCE 損失の適用: 正解経路同士の類似度を最大化し、他の経路との距離を最大化する InfoNCE 損失を計算します。
   • 正解経路 $y_i$ に対して、同じグループ内の他の正解経路 $\bar{y}$ を正のペアとし、残りの経路を負のサンプルとみなします。
4. 報酬の統合: 最終的な報酬 $r'_i$ は、元の検証可能な報酬 $r_i$ と、対比損失から導出された対比報酬 $r^{CL}_i$ の和として定義されます。
   $$r'_i = r_i + r^{CL}_i$$
   これにより、単に「正解」であるだけでなく、「正解の経路群の中で論理的に整合性が高い（他の正解と似ている）」経路がより高い報酬を得るようになります。

3. 主な貢献 (Key Contributions)

• RLVR の一般化: 結果ベースのバイナリ報酬に依存する RLVR を、対比学習によって拡張し、中間推論ステップの質を暗黙的に評価する枠組みを構築しました。
• プロセス注釈不要: 人手によるプロセス報酬データ（PRM）を必要とせず、既存の最終答えの検証器のみで、高品質な推論構造を学習させることができます。
• 頑健な一般化: 分布シフトや摂動（Perturbation）に対するモデルの頑健性を大幅に向上させ、ハルシネーションや答えの丸写しを抑制します。
• 既存手法との互換性: GRPO、GSPO、DAPO、GMPO などの既存のグループベース方策最適化アルゴリズムとシームレスに統合可能であり、汎用性が高いです。

4. 実験結果 (Results)

GSM8K（小学生レベルの数学問題）と MATH（競技レベルの数学問題）の 2 つのトラックで評価を行いました。

• Track I (GSM8K & General Reasoning):
  • GRPO + CLIPO は、GSM8K の変形タスク（GSM8K-P1, P2, Symbolic）において、ベースライン（GRPO）を大幅に上回る性能を示しました（例：GSM8K-P2 で +3.36 ポイントの改善）。
  • 数学以外の一般推論タスク（CommonsenseQA, TruthfulQA など）でも性能が向上し、推論能力の向上が言語能力の低下を招かないことを示しました。
• Track II (Competition-Level Reasoning):
  • MATH 7.5k での学習後、AMC、AIME などの難易度の高いベンチマークで評価。
  • DAPO + CLIPO が最も高い平均スコアを達成し、摂動データ（Math-Perturb）や分布外タスクにおいて特に顕著な改善が見られました。
• アブレーション研究:
  • 対比ヘッドの学習: ヘッドを固定（学習させない）場合、性能が低下し、対比ヘッドが適応的に埋め込み空間を構築することが重要であることを示しました。
  • グループサイズ: ロールアウト数（グループサイズ）を増やすほど対比信号が豊かになり、性能が向上しました（32 個が 16 個より優位）。
  • 温度パラメータ: 低い温度（$\tau$）設定が、正のペアの類似性をより鋭く学習させ、性能向上に寄与しました。

5. 意義と結論 (Significance)

CLIPO は、強化学習における「報酬の設計」に新たな視点をもたらしました。

• 構造的な学習: 単なる正解/不正解の二値判断ではなく、成功した解の「集合的な構造（Overlap）」を学習させることで、モデルが本質的な推論ロジックを抽出することを可能にしました。
• スケーラビリティ: 人手コストのかかるプロセス報酬モデルに頼らず、既存の検証器と対比学習の組み合わせだけで、より頑健で汎用的な推論モデルを構築できることを実証しました。
• 将来への展望: このアプローチは数学推論だけでなく、コード生成やエージェント計画など、構造化されたドメイン全般に応用可能であり、より信頼性の高い AI 推論の実現に向けた重要なパラダイムシフトとなります。

要約すれば、CLIPO は「正解の答え」だけでなく、「正解に至る多様な経路が共有する論理的な共通点」を対比学習によって抽出し、それを報酬信号として利用することで、LLM の推論能力と一般化性能を飛躍的に向上させる画期的な手法です。