FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages

技術的サマリー：インド言語向けのマルチモーダル金融推論および質問応答に向けた FIND

問題定義
多言語コンテキスト、特にインドにおける金融意思決定は、テキスト、表、チャートなど多様なモダリティに基づいた正確な数値推論を必要とする。しかし、既存のベンチマークはこの高リスクな課題をほとんど看過しており、英語に焦点が当てられ、インド言語、マルチモーダル金融データ、制御された推論の複雑さの網羅性が欠如している。現在のビジョン・ランゲージモデル（VLM）は、ハイブリッド推論において苦戦しており、数値の正確性における誤り、マルチモーダル・グラウンディングの一貫性の欠如、視覚的金融シグナルの未活用によるテキスト的手がかりへの過度な依存などの問題を示している。さらに、FinQA や TAT-QA などの既存データセットは英語中心であり、浅い算術処理や表からの抽出に限定される傾向があり、地域言語における現実的な金融シナリオに必要な複雑でドメインを考慮した推論を評価できていない。

手法
これらのギャップに対処するため、著者は大規模な多言語ベンチマーク「FinVQA」と、信頼性の高いマルチモーダル金融推論向けに設計されたフレームワーク「FIND」を導入する。

• FinVQA データセットのキュレーション:

  • ソース: データは、国立教育研究訓練協議会（NCERT）の教科書（9 年生から 12 年生）や ICMAI–CMA の専門資料など、権威あるインドの教育ソースから収集された。
  • 規模と範囲: データセットは、14 の金融ドメイン（例：応用会計、金融数学、課税）にまたがる 18,900 サンプルで構成され、6 つの言語（英語、ヒンディー語、ベンガル語、マラーティー語、グジャラート語、タミル語）を網羅している。
  • 構造: サンプルは 3 つの難易度レベル（易、中、難）と 4 つの質問形式（多肢選択、穴埋め、表マッチング、真偽問題）に整理されている。
  • 多言語適応: 英語のインスタンスは GPT-4O を用いて 5 つのインド言語に翻訳され、文埋め込みのコサイン類似性による検証とネイティブスピーカーによる精査を経て調整された。マルチモーダルサンプルについては、画像からテキストを抽出するために OCR（PaddleOCR）が使用され、その後翻訳され、元のバウンディングボックスに特定のインド言語フォントを使用して再描画され、レイアウトが保持された。
  • アノテーション: 6 人のアノテーター（4 人のジュニア、2 人のシニアドメイン専門家）が関与するパイプラインにより品質が確保された。シニア専門家がシードサンプルにアノテーションを行い、アノテーター間一致率（Fleiss' Kappa）は 0.78 に達した。

• FIND フレームワーク:
  著者は、推論を評価し改善するための 3 段階の実験パイプラインを提案する。

  1. ゼロショット推論: タスク固有の適応なしに事前学習済み VLM を評価し、ベースラインを確立する。
  2. 制約付きデコーディング: VLLM を使用して推論時の制約を実装し、出力を有効な回答オプショントークン（例：A/B/C/D）に制限する。これにより、内部推論を維持しつつ、フォーマットの不安定性や冗長性を軽減する。言語固有のトークン制約が適用される（例：英語/ヒンディー語は単一トークン、ベンガル語/タミル語は最大 3 トークン）。
  3. 教師あり微調整（SFT）: 回答のみの教師信号を用いてデータセット上で VLM を微調整する。パラメータ効率を確保するため、著者はランク $r=8$ の低ランク適応（LoRA）を採用し、自己注意層とクロス注意層におけるクエリ、キー、値の射影のみを更新する。モデルは入力に条件付けられて正しい回答シーケンスを生成するように訓練される。

主要な貢献

1. FinVQA ベンチマーク: インド言語コンテキストにおける金融視覚質問応答のための、14 のドメインと 6 つの言語にまたがる 18,900 サンプルを特徴とする、初の大規模多言語ベンチマークの導入。
2. FIND フレームワーク: 構造化デコーディングと教師あり微調整を統合し、数値の忠実性、マルチモーダルアライメント、構造化された意思決定を強化する、制約を考慮したフレームワーク。
3. 包括的な評価: 3B から 32B までのさまざまなパラメータスケールと、ゼロショット、制約付きデコーディング、SFT といったトレーニングレジームにわたる最先端 VLM（Qwen2.5-VL、Qwen3-VL、Gemma-3）の厳密な評価。

実験結果

• 性能の階層: モデルの性能は、スケールとトレーニングレジームによって強く支配される。大規模モデル（例：Qwen3-VL-32B、Gemma-3-27B）は、小規模な対応モデルを大幅に上回る。
• SFT の影響: 教師あり微調整は性能に最も強い影響を与え、ゼロショットベースラインに対して、特にインド言語において大幅な改善をもたらす。例えば、SFT は Qwen3-VL-4B のマラーティー語の精度を、ゼロショットの 26.2% から 47.8% に向上させた。
• 制約付きデコーディングの役割: 制約付きデコーディングは構造的妥当性を助けるが、SFT に比べると改善は modest である。ただし、SFT と制約付きデコーディングを組み合わせることで、最も堅牢な結果が得られる。
• 言語の傾向: ヒンディー語とベンガル語は一般的に最も高い精度を達成し、これはより良いリソースの可用性を反映している。タミル語は類型論的な距離と文字の複雑さにより最も困難であるが、SFT によって依然として一貫した改善が見られる。
• 人間による評価: 人間の評価により、低計算スケールでもフォーマット準拠は達成可能であるが、高忠実度の金融推論（ドメイン理解、問題解釈、数学的正確性）は厳密に容量に依存することが明らかになった。大規模モデル（27B–32B）はほぼ天井に近い性能（0.9–1.0 のスコア）に達するが、小規模モデル（3B–4B）は論理的整合性と視覚的グラウンディングで苦戦する。
• 誤り分析: 小規模モデルは視覚的グラウンディングと論理的整合性で頻繁に失敗する。中間モデル（7B–12B）は解析が改善されるが、脆い数学的実行に苦しむ。大規模モデル（27B–32B）のみが、視覚的・数学的タスクの堅牢なエンドツーエンド実行を示す。

意義と主張
本論文は、多言語環境における信頼性の高い高リスクな金融推論には、大規模モデルの容量、ドメイン固有データとの教師ありアライメント、厳格な出力制約の組み合わせが必要であると主張する。著者は、FIND と FinVQA がマルチモーダル金融推論のための厳密な評価パラダイムを確立し、現在のモデルがしばしば「正しさを伴わない流暢さ」を示していることを強調している。制約を考慮したデコーディングはフォーマット準拠を改善するが、推論の正確性を保証するものではなく、人間の監督の必要性と、処方的な金融意思決定における現在のモデルの限界を浮き彫りにしていると強調している。この研究は、インド言語話者向けの金融リテラシーツールにおけるギャップを埋めるための基礎的な一歩であるが、著者はサンプルの多様性（翻訳ソースに由来）と、リソース制約によるクローズドソースベースラインの除外に関する限界を認めている。