論文サマリー：Improving Lean4 Autoformalization via Cycle Consistency Fine-tuning

この論文は、自然言語の数学的記述を Lean4 などの形式証明言語に自動翻訳する「オートフォーマライゼーション（Autoformalization）」の精度向上を目的とした研究です。著者は、Qwen3.5-2B モデルに対して LoRA を用いた微調整を行い、特に「サイクル整合性（Cycle Consistency）」を報酬信号とした強化学習（RL）が、従来の教師あり微調整（SFT）よりも大幅に性能を向上させることを示しました。

以下に、問題設定、手法、主な貢献、結果、および意義について詳細にまとめます。

1. 問題設定

数学の形式化には、自然言語（NL）で書かれた定理や証明を、コンパイラが検証可能な Lean4 形式に変換するプロセスが必要です。近年の大規模言語モデル（LLM）は推論能力が向上していますが、オートフォーマライゼーションにおいては、構文的には正しくコンパイルされるが、数学的な意味を正しく捉えていないコードを生成する傾向が依然として課題となっています。

本研究では、この問題をシーケンス・ツー・シーケンス（Seq2Seq）問題として捉え、以下のループを用いて意味の保存性を評価・最適化します：
$$\text{自然言語 (NL)} \xrightarrow{f} \text{Lean4} \xrightarrow{g} \text{自然言語 (NL')}$$
ここで、$f$ は NL から Lean4 への変換モデル、$g$ はその逆変換（Back-translator）モデルです。生成された NL' が元の NL と意味的に一致する度合いを「サイクル整合性スコア」として定義し、これをモデル学習の指針とします。

2. 手法とアプローチ

2.1 モデル構成とデータ

• ベースモデル: Qwen3.5-2B（20 億パラメータ）。
• 微調整手法: LoRA（Low-Rank Adaptation）を使用。FFN（Feed-Forward Network）層のみに適応パラメータを付与し、約 940 万パラメータのみを学習可能にすることで、単一 GPU での学習を可能にしました。
• データセット:
  • FineLeanCorpus (FLC): 50 万組以上の NL/Lean4 ペア。難易度 1〜10 でラベル付けされており、トレーニングに使用。
  • PutnamBench: 660 問の難問（ポータム数学コンテスト）。評価用として保持（トレーニングデータからの除去済み）。
  • 前処理: 重複除去、コンパイルエラーの除去、PutnamBench との類似度によるデータ汚染（Decontamination）の除去を実施。

2.2 学習フェーズ

本研究では 3 つのトレーニング戦略を比較・検討しました。

1. 教師あり微調整（SFT）:

   • カリキュラム学習あり: 難易度 1 から 10 へ順に学習。
   • カリキュラム学習なし: データをシャッフルして学習。
   • 両方ともクロスエントロピー損失を最小化して学習。

2. 強化学習（RL）による微調整:

   • アルゴリズム: GRPO（Group Relative Policy Optimization）。
   • 報酬関数: サイクル整合性スコア。
     $$r(\hat{l}, s) = \cos(e(s), e(g(f(s))))$$
     ここで、$e(\cdot)$ は all-MiniLM-L6-v2 による文埋め込みです。生成された Lean4 を逆変換した NL' と、元の NL の間のコサイン類似度を報酬とします。
   • 特徴: 形式検証（コンパイラ実行）の遅延コストを回避しつつ、意味的な整合性を直接最適化します。

3. 主な貢献

1. LoRA を用いた効率的な微調整パイプラインの確立:
   Qwen3.5-2B に対して LoRA を適用し、PutnamBench からのデータ汚染を厳密に排除したトレーニングパイプラインを構築しました。
2. カリキュラム学習の無効性の実証:
   本研究のモデル規模（2B）とデータセットサイズにおいて、難易度順の学習（カリキュラム学習）は、シャッフル学習と比較して統計的に有意な性能向上をもたらさないことを示しました。
3. サイクル整合性に基づく GRPO による大幅な性能向上:
   従来の SFT ベースラインに対し、サイクル整合性を報酬とした GRPO による強化学習が、意味的な忠実度（サイクル整合性スコア）を大幅に改善することを示しました。

4. 実験結果

評価指標は、**平均サイクル整合性スコア（$\bar{C}$）と、言語モデルとしての基本能力を維持しているかを示すクロスエントロピー損失（CE Loss）**です。

• 性能向上: RL 手法は、FLC 保持データで 0.156、PutnamBench で 0.139 のスコア向上を達成しました（統計的に極めて有意）。
• 効率性: 90 億パラメータモデル（9B）の SFT 学習と比較しても、2B モデルの RL 学習の方が FLC において高いスコアを記録しました。
• 損失の増加: RL による性能向上は、クロスエントロピー損失がわずか 0.011 nats 増加するのみで達成されており、モデルの基本的な言語能力への悪影響は最小限でした。
• カリキュラム学習: SFT におけるカリキュラム学習とシャッフル学習の間には、統計的に有意な差は見られませんでした。

5. 考察と分析

• 難易度とドメイン: RL の改善効果は難易度が低い問題ほど顕著でしたが、すべての難易度レベルで SFT を上回りました。また、離散数学や代数的な問題（数論、組み合わせなど）では連続的な問題（解析学など）よりも高いスコアを示しました。これは、代数的問題が Lean4 の型シグネチャと整合しやすく、逆変換が曖昧になりにくいことによるものです。
• 報酬ハッキングの懸念: FLC データセットでは、RL モデルが 0.8 以上の高スコアを持つ分布の尾部を形成しましたが、これはデータセット内の構造的な繰り返しパターンを利用している可能性や、逆変換モデルが元の文をそのまま出力してしまう（Reward Hacking）ケースが含まれている可能性があります。しかし、分布多様性の高い PutnamBench でも同様の改善が見られたため、RL の効果は実用的であると結論付けられています。
• 9B モデルの挙動: 9B モデルを SFT した場合、形式言語（Lean4）を生成する代わりに自然言語での推論プロセスを出力してしまう傾向が見られ、フォーマット制御の難しさが示唆されました。

6. 結論と意義

本研究は、サイクル整合性を報酬信号とした強化学習（GRPO）が、オートフォーマライゼーションの品質向上に極めて有効であることを実証しました。

• 技術的意義: 形式検証器（コンパイラ）の実行コストを避けつつ、意味的な整合性を直接最適化する新しい RL 手法の妥当性を示しました。
• 実用性: 小規模モデル（2B）でも、適切な RL 戦略を採用することで、大規模モデル（9B）の SFT 学習を上回る、あるいは同等の性能を達成できる可能性を示唆しています。
• 今後の展望: 今後は、サイクル整合性（ソフトな報酬）に加えて、Lean4 コンパイラからのフィードバック（ハードな報酬）を組み合わせることで、より堅牢な形式化が可能になると予想されます。また、より強力な意味等価性チェックの導入や、大規模モデルへの RL スケールアップが次のステップとして挙げられています。

この研究は、AI 支援数学研究において、形式化のボトルネックを解消し、より信頼性の高い証明支援システムの構築に向けた重要な一歩と言えます。