技術要約：ソルバーの残差を通じた幾何学的法則の内在化

問題定義

大規模言語モデル（LLM）は、幾何学的、物理的、または論理的な法則への厳密な遵守を必要とする領域において、「精度ハルシネーション（precision hallucination）」を示す。モデルは構文的に一貫し、意味的に妥当な出力を生成できる一方で、正確な計量的制約（例：垂直性、接線、特定の長さ）を満たすことには頻繁に失敗する。既存のアプローチの多くは、推論を外部の記号的または数値的なソルバーに委ねており、LLMを自然言語からソルバー専用のドメイン固有言語（DSL）への「翻訳機」へと格下げさせている。この委譲により、モデルが空間論理を内在化することを妨げ、ソルバーの定義済み語彙に含まれない未知の制約に直面した際に脆弱になる。

対処される具体的な課題は、**幾何学的制約解決（Geometric Constraint Solving: GCS）**である。これは、自由形式の自然言語による記述を、数十の相互作用する制約を同時に満たす正確な計量的座標（点の位置、円の半径）を出力する精密なPythonプログラムへと翻訳するタスクである。スカラー値の回答や定理の証明に焦点を当てた従来のベンチマークとは異なり、このタスクは、すべての関係的制約が厳格な許容誤差（$\|r\|_2^2 < 10^{-3}$）内で満たされる、完全に構築された幾何学的構成の生成を要求する。

メソドロジー

PyGeoXフレームワーク

著者らは、宣言的な意図と微分可能な最適化の架け橋となるように設計された、プログラム可能な幾何学的DSLおよびエンジンであるPyGeoXを導入する。

• アーキテクチャ: PyGeoXは「宣言的 $\to$ 記号的 $\to$ 微分可能」というパイプラインとして機能する。高レベルの幾何学的記述を受け取り、それを（SymPyを用いて）記号的な制約方程式へとコンパイルし、単一の微分可能な誤差関数 $E(u)$ へと集約する。
• 機能: このエンジンは、複雑な代数的制約（例：「五角形の周囲長は円の面積に等しい」）や、従来の演繹エンジンではサポートされていないことが多い不等式制約を含む、35種類のオブジェクト型と38種類の関係性をサポートしている。
• 学習における役割: PyGeoXは厳格にオフポリシーで使用される。これは、プロシージャルに学習データを生成し、強化学習（RL）の報酬評価中に制約ごとの残差を計算するために使用される。推論時にLLMがPyGeoXライブラリにアクセスすることはないため、モデルはAPIの構文ではなく、幾何学的法則を学習することを強制される。

報酬設計：アウトライヤー・グラディエント・マスキングとSAR

本論文の核心的な貢献は、検証可能な報酬を用いた標準的な強化学習（RLVR）における失敗モードである**アウトライヤー・グラディエント・マスキング（Outlier Gradient Masking）**の特定である。

• 問題点: 標準的なグローバルノルム報酬（例：$R = \exp(-\|r\|_2^2)$）は、すべての制約残差を単一のスカラーへと集約する。高次元の制約空間においては、一つの深刻に違反した制約（アウトライヤー）がグローバルノルムをほぼゼロへと押し下げ、他の満たされた制約に対する報酬信号を崩壊させてしまう。この「全か無か（all-or-nothing）」のスケーリングは方策勾配を無効化し、モデルが部分的な進捗から学習することを妨げる。

• 解決策 (SAR): 著者らは、**飽和加算報酬（Saturating Additive Rewards: SAR）**を提案する。残差をグローバルに集約する代わりに、SARは各制約に対して独立した有界なカーネルの和へと分解する：
  $$R_{SAR}(r) = \sum_{i=1}^{C} \phi(r_i)$$
  ここで、$\phi$ は単調減少するカーネル（例：ボルツマン分布 $\phi(r) = e^{-r/T}$）である。これにより、ある制約が違反されている場合でも、満たされた制約に関する進捗が非ゼロの勾配信号を維持することが保証される。

• 複合報酬: 「報酬プラトー（部分的な充足によって高い報酬が得られるものの、厳密な解に到達できない現象）」および「幾何学的退化（すべての点を一つの座標に潰してしまうような自明な解）」に対処するため、最終的な報酬関数は以下を組み合わせる：

  1. 高密度シェイピング (SAR): 部分的な進捗に対して連続的な勾配を提供する。
  2. スパース・ボーナス: すべての制約が満たされたとき（$\|r\|_2^2 < 10^{-3}$）にのみ活性化されるバイナリ報酬。
  3. 退化ペナルティ: 自明な構成（例：一致する点）に対して報酬を差し引く。

学習プロトコル

フレームワークは、ベースモデルとしてQwen3-8Bを使用して評価された。

• データ: プロシージャルなパイプラインを用いて、Easy、Medium、Hardのティアに層別化された約10万個の検証済み学習問題を生成した。
• アプローチ: 重み付き損失（正規化された報酬を使用）を用いた教師あり微調整（SFT）と、グループ相対方策最適化（GRPO）を用いた強化学習（RL）を比較した。
• ベースライン: 標準的なグローバルノルム報酬（MSEベース）、スパース・バイナリ報酬、および提案された複合SAR+S+Dと比較を行った。

主要な結果

ベンチマークにおける性能

著者らは、PyGeoX-Bench（300個の層別問題）およびPyGeoX-Wild（中学校の幾何学ベンチマークから適応された86個の分布外問題）を用いてモデルを評価した。

• SARの優位性: 複合的なSAR+S+D報酬は、標準的なスパースおよびグローバルノルム報酬を大幅に上回った。「Hard」ティアにおいて、SAR+S+Dは解決率（SR）0.41（RL）および0.32（SFT）を達成したが、MSE+S+Dはそれぞれ0.18および0.04であった。
• グラディエント・マスキングの検証: 3,893個の部分的に正しい解の経験的分析により、MSEベースの報酬の60%がほぼゼロに崩壊し、オプティマイザにとって区別不能になっていることが示された。対照的に、SAR報酬の97%は情報を持つ範囲 $[0.1, 0.9]$ 内に収まり、解の間の相対的な差を保持していた。
• トークン効率: SAR+S+Dで訓練されたモデルは、スパースなベースラインと比較して、問題を解決するために必要なトークン数が約22.8%少なかった。これは、より直接的な推論経路を示唆している。
• 競争力: 結果として得られた8Bモデル（HardティアでのSR 0.41）は、評価された4つの最先端のクローズドソース・システム（DeepSeek-V3.2を含む）のうち3つを、大幅に小型であるにもかかわらず、Hardティアにおいて上回った。

内在化の証拠

本論文は、以下の3つの証拠に基づき、モデルが学習データを記憶したのではなく、幾何学的法則を内在化したと主張している。

1. 構成的トレース: 成功したトレースの約90%は、ブラックボックス的な最適化呼び出しではなく、ステップ・バイ・ステップの構成的導出（定規とコンパスのような手法）に従っていた。
2. OOD転移: モデルは、人間が作成した散文や未知の制約の組み合わせを含むPyGeoX-Wildにおいて、高い性能を維持した。
3. 組合せ爆発による不可能性: Hard問題の解空間は$10^{17}$を超える構成が存在し、学習セットを圧倒しているため、記憶による解決は統計的に不可能である。

意義と主張

本論文は、幾何学的制約解決を「翻訳器」のパラダイムを超え、エンドツーエンドのLLMアライメントタスクとして定式化した最初のフレームワークであると主張している。その主な意義は以下の通りである：

1. 報酬設計: 「アウトライヤー・グラディエント・マスキング」問題を特定し解決したこと。多次元の制約を持つタスクにおいて、高密度な制約ごとの残差信号が不可欠であることを示した。
2. インフラストラクチャ: 不等式制約や複雑な代数的関係をサポートする微分可能な幾何学エンジンPyGeoX、および厳格な評価のためのPyGeoX-BenchとPyGeoX-Wildを公開したこと。
3. 汎用性: SARのアプローチは、物理シミュレーション、シーンレイアウト、ロボット操作など、ソルバーが多次元の残差ベクトルを返すあらゆるRLVRの設定に適用可能であると著者らは断じている。

著者らは、現在の結果が2Dの静的な幾何学に限定されており、この手法には強力な数学およびコード能力を持つベースモデルが必要である（小さなモデルは収束に失敗した）という点に触れ、範囲について謙虚な姿勢を保っている。彼らは一般的なエンジニアリング設計を解決したと主張しているのではなく、精度が極めて重要な領域において、LLMが幾何学的法則を内在化するための実行可能な経路を確立したのである。