💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

本論文は、誤りの生じやすい自然言語による根拠の代わりに、実行によって検証されたPythonプログラムを用いることで、大規模言語モデルからコンパクトな生徒モデルへと信頼性の高い数値推論を転移させる、ゴールドガイド型のプログラム的蒸留フレームワークを提案しており、TAT-QA金融推論ベンチマークにおいて最先端の性能を達成している。

原著者： Yun Dong, Erica Zhao, Elana Chen

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yun Dong, Erica Zhao, Elana Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、半分が物語形式のヒントで、もう半分が乱雑なスプレッドシートの中に隠された、巨大でトリッキーなパズルを解こうとしているところだと想像してください。これが、金融に関する質問に答えようとするコンピュータの日常です。長い間、科学者たちは、数学のテストで手順を書き出す生徒のように、コンピュータに自然な英語で手順を書き出させることで、コンピュータに「思考」する方法を教えてきました。これは「思考の連鎖（Chain-of-Thought）」と呼ばれます。しかし、ここに落とし穴があります。コンピュータは、文章を書きながら頭の中で計算を行おうとすると、非常に苦手なのです。彼らはしばしば注意が散漫になり、数字を混ぜこぜにし、あるいは、もっともらしく聞こえるけれど間違っている答えをでっち上げることがあります。それは、優秀なストーリーテラーに人間のような計算機になるよう頼むようなものです。彼らは通常、数学の部分で失敗します。

これを解決するために、研究者たちはコンピュータに文章ではなく、コードを書くことを教え始めました。コードは、コンピュータが混乱することなく完璧に実行できる、厳格なレシピのようなものです。しかし、新しい問題が生じました。小さな、高速なコンピュータに、これらの完璧なレシピを書く方法をどうやって教えればよいのでしょうか？もし、唯一の教師である巨大で低速なコンピュータが、依然として間違いを犯すことがあるとしたら？教師が悪習のあるレシピを教えたら、生徒は間違った方法を学んでしまいます。この論文は、まさにその問題に取り組んでいます。問いはこうです。「完璧なレシピのみから学習させ、さらに教師が間違えた部分を修正する手助けをすることで、小さなコンピュータを数学の達人に育て上げることはできるだろうか？」

黄金のレシピ本

ジョージア工科大学とスタンフォード大学の研究チームは、「ゴールド・ガイド・プログラマティック・ディスティレーション（Gold-Guided Programmatic Distillation）」と呼ばれる、巧妙な2ステップの計画を考案しました。これは、マスターシェフ（「教師」である巨大な720億パラメータのモデル）が、若い弟子（「生徒」である小さな70億パラメータのモデル）に、複雑な金融料理の作り方を教えていると考えてください。

ステップ1：厳格なフィルター
通常、教師が生徒に何かを教えるとき、単に「これが私のやり方だ」と言うだけです。しかし、この世界では、教師は間違いを犯す可能性があります。そこで、研究者たちは魔法の「ゴールド・ガイド」を追加しました。教師がレシピ（Pythonプログラム）を書く前に、正解の解答鍵が密かに提示されます。そして、教師はその解答と正確に一致するレシピを書こうと試みます。

ここにある魔法のトリックがあります。チームは単に教師の言葉を鵜呑みにしたわけではありません。彼らは、教師が書いたすべてのレシピを、厳格な「味見」（コードを実行するコンピュータプログラム）に通しました。もしレシピにタイポがあったり、クラッシュしたり、あるいは正確な数値と一致しなかったりした場合は、すべてゴミ箱に捨てられました。完璧に機能し、かつゴールドの解答と一致したレシピだけが、特別な「黄金のレシピ本」に保存されました。小さな生徒は、これら完璧なレシピのみを使って訓練されました。これにより、生徒が悪習を学ぶことがなくなったのです。

ステップ2：カムバック・ツアー
では、巨大な教師でさえも動作するレシピを書けなかった、より難しい問題についてはどうなるのでしょうか？その場合、教師はただ諦めてしまい、未解決のまま残されてしまいます。研究者たちは、それらを放置したくありませんでした。そこで彼らは「リカバリー・ステージ（回復段階）」を導入しました。

彼らは教師が失敗した質問を取り上げ、生徒に再挑戦させました。生徒は同じ質問に対して、5つの異なるレシピの候補を生成します。前述と同様に、これら5つすべてを味見（テスト）に通しました。もし生徒のレシピのうちどれか一つでも完璧に機能すれば、それを保存しました。これは、生徒が教師が解けなかった問題を解く方法を「自習」できることを意味しており、実質的に、自分自身の成功から学ぶことができるのです。その後、彼らはこの新しく発見された完璧なレシピを用いて、生徒を再び訓練しました。

結果：小さくとも強力

チームは、表とテキストが混在する有名な金融パズルセットであるTAT-QAを用いてテストを行いました。彼らは、この特別な訓練を受けた小さな生徒を、巨大な教師、古いコンピュータモデル、および他のスマートなAIシステムと比較しました。

結果は驚くべきものでした。この特別な訓練を受けた小さな生徒は、「Exact Match（完全一致）」という指標で87.00を、そして「F1」という指標（答えがどれくらい近いかを見るもの）で87.18を記録しました。

比較のために言えば：

巨大な720億パラメータの教師は、「ゴールド・ガイド」のヒントがあっても、78.46しかスコアを出せませんでした。
以前の最高性能のAIシステム（TAT-LLM）は、82.67でした。
未訓練の小さな生徒は、46.33という低い数値からスタートしました。

小さな生徒は追いついただけでなく、実際に巨大な教師や最高の既存システムを打ち負かしました。研究者たちは、生徒が特に難しい部分、つまり表と物語の両方から見つけ出した数字を使った数学において、非常に優れた能力を発揮したことを見出しました。

なぜこれが重要なのか

この論文は、巨大なモデルのような膨大な計算能力を必要とせずに、より小さく高速なコンピュータを数学において信頼できるものにするための、この手法が強力な方法であることを示唆しています。すべての間違いを排除し、生徒が自らのリカバリーによる成功から学べるようにすることで、彼らはスマートかつ精密なシステムを作り上げたのです。

しかし、著者らは、この問題が100%解決されたわけではないことも注意深く述べています。最高の生徒であっても、エラーは依然として存在します。例えば、答えは合っているが単位（「百万」と「十億」など）が間違っていたり、あるいは答え自体が完全に間違っていたりすることがあります。しかし、以前と比較すると、エラーの数は数百件からわずか100件強へと劇的に減少しました。

研究者たちは、この「ゴールド・ガイド」型のアプローチが有望な道筋であると結論づけています。将来、システムが自律的に、単純な検索を行うべきか、あるいは複雑なコードのレシピを使用すべきかを判断できるようになる可能性があると彼らは示唆しています。今のところ、彼らは、小さくよく訓練されたロボットが、数字を計算することにおいて、巨大で洗練されていないものよりも賢くなり得ることを証明したのです。

技術要約：金融推論のためのゴールドガイド型プログラマティック蒸留（Gold-Guided Programmatic Distillation）

問題提起

表形式データとテキストデータのハイブリッドデータを用いた金融分野の質問回答（QA）は、複数のソースから情報を統合し、かつ精密な数値計算を行うという二重の課題を抱えています。大規模言語モデル（LLM）は、思考の連鎖（Chain-of-Thought: CoT）プロンプティングを通じて中間的な推論ステップを生成できますが、その自然言語による根拠（Rationale）は算術的なハルシネーション（幻覚）を起こしやすい傾向があります。この信頼性の低さにより、自由形式のテキストは、推論能力をより小さなモデルに蒸留するための監督ソースとしては効果的ではありません。Program-of-Thought（PoT）のアプローチは、外部インタープリタに計算を委ねることで算術エラーを軽減しますが、これらの信頼できる推論トレースを、大規模な教師モデルからコンパクトな生徒モデルへと転送することは依然として困難です。特に、中間的なトレースが不完全な場合や、教師モデルが複雑な例題を解けなかった場合にはなおさらです。

手法

著者らは、実行検証可能なPythonプログラムを用いて、大規模な教師モデルからコンパクトな生徒モデルへ信頼性の高い数値推論を転送するためのフレームワークである**ゴールドガイド型プログラマティック蒸馏（Gold-Guided Programmatic Distillation）**を提案しています。このフレームワークは、主に以下の2つのフェーズで動作します。

1. 教師駆動型蒸留（フェーズ1）

ゴールドガイド型合成（Gold-Guided Synthesis）: 大規模な教師モデル（Qwen2.5-72B-Instruct）が、金融QAタスクを解決するための実行可能なPythonプログラムを合成します。極めて重要な点は、正確な多段階計算を保証するために、プロンプトに**ゴールド派生（正解の推論ステップ）**を注入して教師を導くことです。
実行検証（Execution Verification）: 生成されたプログラムは、サンドボックス化されたPythonインタープリタ内で実行されます。エラーなくコンパイルされ、かつ正確な数値解（正しいスケールを含む）を出力するプログラムのみが保持されます。
生徒の学習（Student Training）: コンパクトな生徒モデル（Qwen2.5-7B-Instruct）は、このフィルタリングされた高品質なデータセットを用いて、Low-Rank Adaptation（LoRA）による教師あり微調整（SFT）を通じて学習します。生徒モデルは、ゴールド派生にアクセスすることなく、コンテキストとクエリのみを条件としてプログラムを生成することを学習します。

2. 反復的なリカバリと自己改善（フェーズ2）

失敗への再訪（Revisiting Failures）: 教師が解けなかった例題は、失敗セット（ $D_{wrong}$ ）に配置されます。
生徒によるサンプリング（Student Sampling）: フェーズ1の生徒モデルが、これらの困難な例題に対して、より高いデコーディング温度を用いて複数の候補プログラムをサンプリングします。
リカバリ・フィルタリング（Recovery Filtering）: 候補は、上述の実行ベースの検証プロセスを通じてフィルタリングされます。正しく実行され、かつゴールドの回答を導き出すプログラムは、リカバリセット（ $D_{rec}$ ）に追加されます。
精緻化（Refinement）: 生徒モデルは、拡張されたデータセット（ $D_{Total} = D_T \cup D_{rec}$ ）を用いて第2ラウンドのLoRA微調整を行い、教師の元のカバー範囲を超えた、実行検証済みの自己生成トレースから学習します。

推論

推論時、訓練された生徒モデルは与えられたクエリに対して実行可能なプログラムを生成します。Pythonインタープリタがこのコードを実行して最終的な数値解を生成するため、算術処理はモデルの内部ロジックではなく、決定論的に行われます。

主な貢献

ゴールドガイド型プログラマティック蒸留: 正解の派生を利用して教師側のプログラム合成を導き、実行検証済みの高品質なプログラムのみを蒸留に使用する、新しいフレームワークを提供します。
反復的リカバリメカニズム: 再棄却サンプリング微調整（RFT）およびSTaRの拡張であり、生徒モデルが教師が解けなかった例題を回収し、組み込むことを可能にすることで、監督信号を拡大します。
実行検証による監督: 不確実な自然言語による根拠を、実行可能なコードという監督信号に置き換えることで、金融推論における算術エラーの問題に直接対処します。

実験結果

本フレームメントは、ハイブリッドな表形式およびテキスト形式の金融推論のためのベンチマークであるTAT-QAデータセットを用いて評価されました。

パフォーマンス: 最も優れた性能を示した生徒モデル（Attention+MLP LoRA適応を用いたQwen2.5-7B）は、テストセットにおいて87.00 Exact Match (EM)および87.18 F1を達成しました。
比較: この結果は、以下を大幅に上回っています：
- 派生ヒントを用いた72B教師モデル（78.46 EM）。
- 最も強力な従来のLLMベースのベースラインであるTAT-LLM（82.67 EM）。
- TAGOPのようなタスク特化型ベースライン（47.05 EM）。
- 未調整の7B生徒モデル（46.33 EM）。
構成要素の影響:
- 教師の品質: 教師にゴールド派生を提供することで、教師自身の性能は69.55から78.46 EMへと向上し、蒸留データの品質を直接的に改善しました。
- LoRA構成: Attention層だけでなくMLP投影層も適応させる手法が、Attentionのみの適応よりも一貫して優れた性能を示しました。
- フェーズ2のリカバリ: 反復的リカバリ段階により、Attention+MLPモデルのテストEMは、第1ラウンドの84.72から第2ラウンドの87.00へと向上し、教師が失敗した例題を回収する価値が示されました。
エラー分析: 本フレームワークは、ベースラインと比較して、回答予測、スケール予測、および結合失敗におけるエラーを大幅に減少させました。特に、混合された表形式およびテキスト形式のエビデンスに基づく推論を必要とするタスクにおいて、最も顕著な改善が見られました。

意義と主張

本論文は、実行検証済みのプログラマティック蒸留が、より小さなモデルに信頼性の高い数値推論を行わせるための、効果的かつ拡張可能なフレームワークを提供すると主張しています。算術の負担を決定論的なコード実行へと移し、ゴールド派生を用いて監督データをフィルタリングすることで、コンパクトなモデルが複雑な金融QAタスクにおいて、より大規模な教師モデルを凌駕できることを実証しています。

著者らは、本手法が高い改善をもたらす一方で、すべてのエラータイプ（回答予測、スケール、および結合失敗）を完全に解決するものではないことを謙虚に述べており、また、評価はプログラム生成に適したTAT-QAのフィルタリングされたサブセットに限定されていることも指摘しています。今後の課題として、プログラミング的推論を必要とするクエリと単純な抽出を必要とするクエリを区別するためのタスク認識型ルーティングメカニズムの探索や、FinQAやConvFinQAといったより広範な金融ベンチマークでの評価が挙げられています。