Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages

この論文は、インドの主要言語における多言語視覚言語モデルの推論能力を初めて包括的に評価し、英語からの精度低下やドラヴィダ語派へのさらなる格差、そして英語中心の推論連鎖が他の言語では機能しないという課題を明らかにしたものである。

要約

この論文は、**「AI が英語以外の言葉（特にインドの言語）で『考える』ことができるのか？」**という重要な問いに答えた、とても興味深い調査報告書です。

まるで、**「英語で育った天才的な生徒が、突然、全く違う言語の教科書で数学や理科のテストを受けさせられたら、どれくらい点数を落とすか？」**を調べる実験のようなものです。

以下に、専門用語を排し、身近な例えを使って分かりやすく解説します。

---

🕵️‍♂️ 実験の概要：英語の「超能力」は通用するか？

研究者は、最新の AI（視覚と言語を同時に理解するモデル）8 種類に、**「図やグラフを見ながら、数学や理科の問題を解いてください」**というテストを受けさせました。

• テスト内容: 980 問の難問（数学、科学、空間認識など）。
• 言語: 英語（得意な言語）と、インドの主要な 6 つの言語（ヒンディー語、タミル語、テルグ語、ベンガル語、カンナダ語、マラーティー語）。
• 条件: 問題は同じ画像を使いつつ、質問文だけ言語を変えて出題しました。

📉 結果：大きな「言語の壁」

結論から言うと、AI は英語で解くときは天才的ですが、インドの言語になると、急に「バカ」になったのです。

• 点数の落ち込み: 英語からインドの言語に変わると、正解率が10%〜25% 近くも低下しました。
  • 例え: 英語では 80 点取れる生徒が、タミル語やカンナダ語のテストでは 50 点台に急落するイメージです。
• 言語による差: すべてが同じくらい難しくなったわけではありません。
  • インド・アーリア語族（ヒンディー語など）は少しだけマシ。
  • ドラヴィダ語族（タミル語、テルグ語、カンナダ語など）はさらに苦戦しました。
  • 例え: 英語圏の生徒が、日本語の教科書ならまだ理解できるけど、タイ語やベトナム語の教科書だと全く意味が分からない、という状況に近いかもしれません。

🤔 意外な発見：「考え方を話す」のは逆効果？

AI には「ステップバイステップで考え方を説明してから答えを出して（Chain-of-Thought）」という指示を出したところ、面白い結果が出ました。

• 英語の場合: 考え方を説明させると、少しだけ賢くなりました。
• インドの言語の場合: 逆に大失敗しました！ 特にベンガル語やカンナダ語では、考え方を説明させると正解率が14% も下がりました。
  • 例え: 「足し算の答えを教えてください」と聞かれたら正解を出せるのに、「足し算の過程を説明してから答えを教えてください」と言うと、AI は混乱して「えーと…1+1 は…あ、待って、言語が変だ…」とつまずいて、間違った答えを出してしまうのです。
  • 理由: AI の「考える回路」は英語でできていて、他の言語ではその回路がうまく動かないため、無理に説明させると「おかしな文章」を並べてしまい、最終的な答えも狂わせてしまいます。

📚 画像を見てもダメ？

「画像を見れば、言葉がわからなくても解けるのでは？」という疑問があります。
実験では、画像を消して「言葉だけ」で解かせたところ、英語でもインドの言語でも点数は下がりました。

• 英語: 画像を消すと 15% くらい点数が下がった。
• インドの言語: 画像を消しても、英語ほど点数は下がらなかった（もともと言葉がわからなくて画像をあまり活用できていなかったため）。
• 結論: AI は言葉がわからないと、画像のヒントも活かせないことがわかりました。

🏗️ なぜこうなるの？（原因の分析）

1. 英語の「思考回路」が固定されている:
   多くの AI は、英語で「考える」ように訓練されています。インドの言語で質問されても、内部では無意識に英語に翻訳して考え、答えを言語変換して出そうとしています。しかし、この変換がうまくいかず、間違った答えになってしまいます。

   • 例え: 英語で「リンゴ」を「アップル」と考え、それを「りんご」と言おうとするとき、ついつい「アップル」と言っちゃったり、意味が通じなくなったりする状態です。

2. 単に「言葉を知っている」だけではダメ:
   23 言語を学んでいるはずの AI（Aya-Vision-8B）でも、ドラヴィダ語族の言語では大失敗しました。

   • 教訓: 「言葉のリストを覚える（事前学習）」ことと、「その言葉で論理的に考える（推論）」ことは、全く別のスキルなのです。

🎓 私たちへのメッセージ

この研究は、**「教育現場で AI を使うときは注意が必要だ」**と警告しています。

インドには、英語ではなく地域の言語で学校に通う子供たちが 2 億人以上います。もし、英語でしか正しく考えられない AI を塾やテストの採点に使ったら、英語を話さない子供たちは不当に不利な扱いを受けることになります。

• 今後の課題: AI をもっと賢くするには、単に「多くの言語を覚えさせる」だけでなく、**「それぞれの言語で論理的に考える訓練」**をさせる必要があります。

まとめ

この論文は、「AI は英語の天才だが、他の言語ではまだ未熟な子供」であることを浮き彫りにしました。
特に、「考え方を説明させる（CoT）」のは、英語以外では逆効果になるという驚きの発見もあり、AI を使うときは言語に合わせた慎重な使い方が必要だと教えてくれています。

AI が世界中の誰にでも公平に役立つようになるには、まだ「言語の壁」を越えるための大きな進化が必要なのです。

技術概要

以下は、提示された論文「Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages（多言語 VLM は均等に推論するか？インド言語におけるクロスリンガル視覚推論監査）」の技術的サマリーです。

1. 問題定義 (Problem)

インドの学校では、ヒンディー語、タミル語、テルグ語、ベンガル語、カンナダ語、マラーティー語などの地域言語で教育が行われています。EdTech プラットフォームが視覚言語モデル（VLM）をチュータリングや評価に統合し始めていますが、既存の評価ベンチマークは英語中心であり、数学、科学、空間推論といった高度な推論タスクがインドの言語でどの程度機能するかは未検証でした。
特に、多言語事前学習モデルが「言語の理解」だけでなく、視覚情報と組み合わせた「推論能力」を非英語圏の言語（特にドラヴィダ語族）にどの程度転移できるかという課題が明確になっていませんでした。

2. 手法 (Methodology)

著者は、インドの 6 言語（ヒンディー、タミル、テルグ、ベンガル、カンナダ、マラーティー）を対象とした初のクロスリンガル視覚推論監査を実施しました。

• データセット構築:
  • 既存の英語ベンチマーク「MathVista（400 問）」「ScienceQA（400 問）」「MMMU（180 問）」から合計 980 問の視覚推論問題を抽出。
  • 画像は固定し、質問テキストのみを「IndicTrans2」を用いて 6 言語に翻訳。
  • 翻訳品質の検証として、各言語 50 サンプルを Gemini 2.0 Flash で再翻訳し、翻訳者間一致率（0.79–0.84）を確認。
• 評価対象モデル:
  • 8 つの VLM を評価：GPT-4o, Gemma 3-27B, Llama-4-Maverick, Qwen3-VL-30B, Qwen2.5-VL-32B, Qwen2.5-VL-7B, InternVL2.5-8B, Aya-Vision-8B。
  • 7B オープンソースモデル（Qwen2.5-VL-7B）を用いたアブレーション実験：
    1. 画像除去: テキストのみでの推論。
    2. Chain-of-Thought (CoT): 対象言語で「ステップバイステップで考えよ」と指示を追加。
• 評価プロトコル:
  • 全モデルで 68,600 件の推論記録を生成。
  • 正解率の算出には、選択式（A-D）の抽出と数値問題（±5% 許容）の正規化を実施。
  • 統計的有意性検定（McNemar 検定）および 95% ブートストラップ信頼区間を使用。

3. 主要な貢献 (Key Contributions)

1. 初のクロスリンガル視覚推論ベンチマークの公開: 980 問の翻訳データセット、モデル出力、評価コードをオープンソース化。
2. 言語ファミリー間の推論格差の定量化: インド・アーリア語族とドラヴィダ語族の間で、モデル性能に明確な格差があることを実証。
3. Chain-of-Thought (CoT) の逆効果の発見: 英語では有効な CoT プロンプトが、多くのインド言語（特にベンガル語、カンナダ語）では精度を著しく低下させることを明らかにした。
4. スケーリングと事前学習の限界: モデルサイズ拡大や多言語事前学習（Aya-Vision-8B など）だけでは、視覚推論能力の言語間転移は不十分であることを示唆。

4. 結果 (Results)

• 精度の低下:
  • 英語からインド言語への切り替えにより、全モデルで9.8〜25 パーセントポイント (pp) の精度低下が発生。
  • 最高性能モデル（GPT-4o）でも 11.3 pp の低下、オープンソースモデルでは 15〜25 pp の低下が見られた。
• 言語ファミリー効果:
  • ドラヴィダ語族（タミル、テルグ、カンナダ）は、インド・アーリア語族（ヒンディー、ベンガル、マラーティー）よりもすべてのモデルで困難。
  • 格差はモデルにより異なり、Aya-Vision-8B ではドラヴィダ語族で 28.5 pp 低下し、インド・アーリア語族との差が 13.2 pp に達した。
• Chain-of-Thought (CoT) の影響:
  • 英語では CoT が精度を維持するが、ベンガル語（-14.4 pp）、カンナダ語（-11.4 pp）では精度を大幅に低下させた。
  • 原因は、モデルが対象言語で論理的な推論連鎖を維持できず、中間ステップが破綻するため。
• 画像情報の利用度:
  • 画像を除去すると英語では 15.5 pp 低下するが、インド言語では 4.9〜9.7 pp しか低下しない。これは、テキスト理解が弱い言語では、モデルが画像情報を十分に活用できていないことを示唆。
• スケーリング効果:
  • Qwen2.5-VL 系列で 7B から 32B に拡大すると、インド言語での精度が 4.3 pp 向上するが、英語では 1.0 pp 低下。言語カバレッジは広がるが、推論転移の根本的な解決には至らなかった。
• モデル別特筆点:
  • Gemma 3-27B: 英語からの平均低下が 9.8 pp と最小。ドラヴィダ語族との格差もほぼゼロ（0.1 pp）。ScienceQA ではインド言語の方が英語より精度が高かった。
  • Llama-4-Maverick: 非英語回答内で 32% の英語トークンが混入（英語で推論し、表面のみ翻訳）。しかし、クロスリンガル整合性は 80.8% と高く、推論自体は正しい場合が多い。

5. 意義と結論 (Significance & Conclusion)

• 教育への影響: インドの国家教育政策（NEP 2020）は初等教育での母語指導を推奨しているが、現在の VLM は地域言語での STEM 推論において 10〜25% 以上の精度低下を示す。このまま EdTech に導入すると、非英語圏の学生がシステム的に不利になるリスクがある。
• 技術的示唆:
  • 単なる「多言語事前学習」や「スケーリング」では、視覚推論能力の言語間転移は保証されない。
  • 言語固有の推論連鎖（Reasoning Chains）を強化するための、STEM 特化型の多言語ファインチューニングが必要である。
  • CoT プロンプトは、対象言語での推論能力が確立されていない場合、逆効果となるため慎重な適用が必要。
• 結論: 本監査は、VLM がインドの教育環境に展開される前に、多言語推論評価が必須であることを示している。特にドラヴィダ語族への対応は、既存の多言語モデルでも大きな課題が残されている。

この研究は、多言語 VLM の「見える」能力（視覚）と「考える」能力（推論）が、言語によって非対称に機能していることを実証的に明らかにした点で画期的です。