技術概要：FinRAG-12B

問題定義

銀行業界における大規模言語モデル（LLM）の導入は、事実の正確性、規制遵守、検証可能な根拠に関する厳格な要件によって阻害されています。市販のモデルは、幻覚（ハルシネーション）、過度な同調行動（シコファニー）、および金利や機関の方針といった動的でドメイン固有のデータとの整合性の欠如に悩まされることが多いです。検索拡張生成（RAG）システムにおいて、モデルは検索されたコンテキストを無視したり、無関係な箇所に依存したり、情報が利用できない場合に回答を捏造したりする可能性があります。これは重大な規制リスクおよび財務リスクをもたらします。さらに、既存の解決策は、証拠が不十分な場合に回答するか拒否するかというトレードオフを適切にバランスさせることに失敗しており、安全でない幻覚または過度な拒否（過剰な慎重さ）のいずれかに陥っています。

手法

著者らは、銀行 RAG 向けに最適化された 120 億パラメータの LLM であるFinRAG-12Bを提案します。これはGemma 3 12B-ITベースモデルを基盤として構築されています。このアプローチは、回答の品質、引用の根拠、および較正された拒否を同時に最適化する、統合されたデータ効率型のトレーニングフレームワークを中心としています。

1. データキュレーションパイプライン

トレーニングコーパスは、規模よりも品質を優先する**98,648 サンプル（143M トークン）**で構成されています。パイプラインは以下の通りです：

• RAG-v1（オープンソース）： 高品質な監督を保証するために JudgeLM を介してフィルタリングされた 43,581 サンプル。
• 合成 SEC 質問応答： SEC 提出書類（10-K、10-Q）から 5 段階のパイプラインを用いて生成された 16,773 サンプル。これには、文書のセグメント化、4 つの難易度レベルでの質問生成、実際のユーザークエリ分布（スタイル、長さ、形式）に一致するように言い換え、引用スタイルの出力を強制し、検索ノイズをシミュレートするためにダミー箇条書きを注入することが含まれます。
• CommonCrawl 金融サブセット： 実際のユーザークエリ（非 PII）および関連箇条書きから導き出された 20,499 サンプル。プライバシー遵守を確保するためにランダムフォレスト分類器を介してフィルタリングされます。
• 拒否較正データ： 検索されたコンテキストがトピック的に関連しているが不十分な、22%（混合比）に相当する 17,795 件のプロプライエタリな例。ターゲット出力は明示的な「わかりません」であり、モデルが幻覚を起こすのではなく、回答を控えるように訓練します。

2. トレーニング戦略

モデルは2 段階のカリキュラム学習アプローチを採用します：

• 段階 1（ドメイン適応）： 再現可能なデータを用いて根拠ある生成と引用の整合性の基礎能力を確立するために、60,354 サンプル（RAG-v1 + 合成 SEC）で保守的な学習率（$1 \times 10^{-6}$）を用いてトレーニングします。
• 段階 2（タスク特化）： より高い学習率（$5 \times 10^{-6}$）で 38,294 サンプル（CommonCrawl + 専有銀行データ）を用いて継続トレーニングを行います。この段階では、現実世界のクエリ分布を導入し、拒否行動を較正します。
• 位置バイアスの軽減： モデルがコンテキストの最初または終わりに不均衡に注目する傾向に対抗するため、著者らは離散右台形調和減衰分布の混合を用いて、関連箇条書きをダミー箇条書きの間でランダムに配置します。
• 拒否較正： システマティックなスウィープにより、22% の回答不可能な例の比率が、回答不能なクエリでの過剰な拒否を避けつつ、根拠のない回答を最小化する最適なトレードオフをもたらすことが判明しました。

3. モデル構成とサービング

• ファインチューニング： すべてのアテンション層と MLP 層（$r=64, \alpha=256$）に対して LoRA（低ランク適応）を使用します。
• 量子化： SmoothQuant を使用してモデルをW4A16（4 ビット重み、16 ビット活性化）に量子化し、パフォーマンスの低下を最小限に抑えながら単一 GPU 展開を可能にするために、フットプリントを 24GB から 8.4GB に削減します。

主要な貢献

1. データ効率型パイプライン： LLM をジャッジとして使用するフィルタリング、スタイル条件付き合成生成、プライバシーに準拠した実データ抽出を組み合わせた多段階パイプラインにより、わずか 143M トークンで高品質かつ根拠のあるトレーニングデータセットを構築します。
2. 較正された拒否メカニズム： 制御されたネガティブサンプリング（22% の回答不可能な例）に基づく戦略により、幻覚を大幅に削減しつつ、汎用モデルで一般的な過剰な拒否を防ぎます。
3. エンドツーエンドの生産フレームワーク： データキュレーション、カリキュラム学習、量子化されたサービングにわたる検証済みの手法であり、40 以上の金融機関で展開されています。

結果

評価は、専有の銀行テストセット（258 例）と公開ベンチマークであるFinanceBenchで行われました。

• 回答品質と根拠： FinRAG-12B はJudgeLM スコア 6.21を達成し、GPT-4.1（5.72）およびベースの Gemma 3 モデル（5.70）を上回りました。また、引用品質を73.1（GPT-4.1 は 70.8）に改善し、より選択的で関連性の高い引用根拠を示しました。
• 拒否較正： モデルは回答不可能なクエリに対して12.0% の回答控え率を達成しました。これは、ベースモデルの安全でない 4.3%（回答控え不足）および GPT-4.1 の 20.2%（過剰な回答控え）と比較して大幅な改善です。
• 汎化能力： FinanceBench において、FinRAG-12B は最高 F1 スコア（0.284）を達成し、97.3% の引用率でベースモデルおよび GPT-4.1 を上回りました。
• アブレーション研究： すべてのデータソースを同時に共同トレーニングすると、パフォーマンスが低下しました（JudgeLM 3.28、46.5% の過剰な回答控え）。引用の慣習を学習することと拒否を較正することの間の矛盾を解決するには、2 段階のカリキュラムが不可欠でした。
• レイテンシとコスト： FinRAG-12B は、GPT-4.1 より3〜5 倍高速に動作し（完了までの総時間 0.57 秒対 1.83 秒）、単一の RTX 6000 Ada GPU 上で展開された場合、クエリあたりのコストが20〜50 倍低くなります。
• 生産への影響： 米国の大手信用組合でのライブ展開において、FinRAG-12B はクエリ解決率を7.1 ポイント向上させました（77.4% から 84.5%、$p < 0.001$）。ユーザー満足度は 59.5% から 62.9% に向上しましたが、これは主に回答ごとの品質のわずかな改善ではなく、より高い解決率によって引き起こされました。

重要性

本論文は、FinRAG-12B が、規制された分野で信頼性の高い LLM を構築する際に、モデルの規模よりもデータの品質、根拠、およびトレーニング手法がより重要であることを実証していると主張しています。データ効率型パイプラインと較正された拒否を統合することで、このシステムは、大規模な商用 API のレイテンシやコスト負担なしに、高い精度と安全性を達成します。この研究は、生産環境の RAG システムにおいて、解決率の向上がユーザー満足度の主要な推進要因であり、統一されたフレームワークが高リスクの金融環境における回答、引用、および回答控えの間のトレードオフを成功裡に navigates できることを浮き彫りにしています。