Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

本論文は、マルチモーダル大規模言語モデル（MLLM）が異なるモダリティ間のスキルを組み合わせる際に大きなギャップが存在し、プロンプトやファインチューニングによる改善策でも完全には解消されていないことを示しています。

要約

この論文は、**「最新の AI（マルチモーダル大規模言語モデル）は、実は『目』と『脳』を上手に連携させていない」**という、少し意外な発見を報告しています。

まるで、**「目は良いのに、頭が追いついていない」**状態の天才少年のようなものです。

以下に、難しい専門用語を避け、身近な例え話を使ってこの研究の内容を解説します。

---

1. 研究の核心：AI は「足」と「手」を別々に使っている？

この研究チームは、最新の AI に**「目（画像認識）」と「脳（言語推理）」**という 2 つのスキルを組み合わせるテストを行いました。

• AI の得意なこと：
  • 目： 画像の中の文字を読む（OCR）、物体を見つける。
  • 脳： 計算をする、論理的な推理をする。
• 今回の課題：
  • 「画像の中の文字を読んで、その内容を計算して答えを出せ」
  • 「画像の中のカードを見て、ルールに従って点数を足せ」

これらは人間にとっては「見て、考えて、答える」という一連の自然な動作ですが、AI にとっては**「目」のスキルと「脳」のスキルを、スムーズに繋ぎ合わせる**ことが難しいことが分かりました。

2. 実験：直接やるか、分けてやるか？

研究者たちは、AI に 2 通りの方法で問題を解かせました。

1. 直接実行（Direct）：
   • 「画像を見ながら、そのまま答えを出して」と頼む。
   • 結果： AI は**「目」と「脳」を同時に使おうとして混乱し、失敗することが多かった**のです。まるで、料理中にレシピを読みながら包丁を振るって、食材を切り間違えるような状態です。
2. 段階的実行（Cascaded）：
   • まず「画像から文字だけ抜き出して」と頼み、その結果をコピーして「この文字を計算して」と頼む。
   • 結果： 作業を**「目」と「脳」に分けて手作業でつなげると、AI の正解率は劇的に向上しました**。

【発見】
AI は、自分で「目」の情報を「脳」に渡すのが下手なのです。人間なら「見て、考えて、書く」が自然にできますが、AI は「見て、（情報を忘れるか間違えて）、考えて、書く」をしてしまうのです。この**「スキルをつなぐ隙間」を、論文では「スキル構成のギャップ」**と呼んでいます。

3. なぜこうなるの？（原因の考察）

AI は、画像を見る訓練と、文章を論理的に考える訓練を別々に受けています。

• 例え話：
  • 画像認識の訓練は「写真屋」の訓練。
  • 論理推理の訓練は「数学者」の訓練。
  • 両方を学んだ AI は、「写真屋」と「数学者」が同じ部屋にいて、会話ができているわけではない状態なのです。写真屋が数学者に「この写真の数字は 7 だよ」と伝えたつもりでも、数学者はそれを「7」として正しく受け取れず、別の数字（例えば 1 や 9）として解釈して計算を始めてしまうのです。

4. 解決策を試してみたが…

研究者たちは、このギャップを埋めるために 2 つの対策を試みました。

• 対策 1：「思考の連鎖（Chain-of-Thought）」という呪文
  • 「まず画像の文字を読み取って、次にその文字を計算して」と、AI に手順を詳しく指示する方法です。
  • 結果： 効果はありましたが、「魔法の呪文」を毎回手で作る必要があり、万能ではありませんでした。
• 対策 2：特別なトレーニング（ファインチューニング）
  • 「画像を見て、直接答えを出す」練習を AI に追加でさせました。
  • 結果： 特定の課題では劇的に良くなりましたが、新しい課題に移るとまた失敗することが多く、完全に解決しきれませんでした。

5. 結論：まだ道半ば

この論文が伝えているメッセージはシンプルです。

「今の AI は、個々のスキル（見る力、考える力）は素晴らしいが、それらを組み合わせて複雑なタスクをこなす『連携プレー』が、まだ人間ほど上手ではない」

まるで、「足が速いランナー」と「頭の良い将棋棋士」を無理やり合体させたロボットが、**「将棋を指しながらマラソンをする」**ようなものです。それぞれは得意ですが、同時にやるとバランスを崩して転んでしまいます。

まとめ

この研究は、AI が「すごい」と言われる一方で、**「実は単純な組み合わせでも、頭と目がバラバラに動いている」**という弱点を白日の下に晒しました。

今後の AI 開発では、単に「見る力」や「考える力」を高めるだけでなく、**「目から脳へ情報をスムーズに流す回路」**をどう強化するかが、次の大きな課題になるでしょう。

---

一言で言うと：
「今の AI は、『見て』と『考えて』を同時にやるのが苦手です。人間のように自然に連携させるには、まだ改良が必要です。」

技術概要

論文「Multimodal LLMs Do Not Compose Skills Optimally Across Modalities」の技術的サマリー

この論文は、マルチモーダル大規模言語モデル（MLLM）が、異なるモダリティ（視覚と言語）にまたがって学習したスキルを、新しいタスクを解決するために最適に組み合わせる能力が不足していることを示した研究です。著者らは、人間にとって自明なタスクであっても、MLLM が視覚スキルと言語スキルを統合して処理する際に大きなギャップが存在することを発見し、その緩和策を調査しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

近年、MLLM は複雑なタスクを解決する能力を高めていますが、モデルが内部でどのようにスキルを組み合わせるかは不明確です。特に、「スキル構成（Skill Composition）」、つまり以前に学習した複数のスキルを組み合わせる能力に焦点を当てています。

本研究の核心的な問いは以下の通りです：

• MLLM は、異なるモダリティ（視覚とテキスト）にまたがって学習したスキルを、効果的に組み合わせることができるか？

多くの MLLM は、事前学習された言語モデルをベースに、視覚タスクで微調整（Fine-tuning）を行うことで構築されています。しかし、視覚スキル（例：OCR、物体検出）と言語スキル（例：推論、計算）を単一のタスク内で自然に統合できるかは、十分に理解されていませんでした。

2. 手法と評価設計 (Methodology)

著者らは、視覚スキルと言語スキルを直列に組み合わせることで解決可能な 3 つのタスクを設計し、MLLM の能力を評価しました。

評価タスク

1. レンダリングされたテキストへの推論 (Task 1): 画像としてレンダリングされた数学問題や一般知識問題を読み取り（OCR）、テキストベースの推論を行う。
   • スキル: OCR（視覚） + 推論（言語）
2. 物体の個数カウント (Task 2): 画像内の特定の物体を検出し、その数を数える。
   • スキル: 物体検出（視覚） + 文字列カウント（言語）
3. カードゲームのプレイ (Task 3): 画像内のトランプカードを識別し、特定の条件（色、スート、数値）に基づいてソートまたは合計を計算する。
   • スキル: 画像認識（視覚） + 数値推論（言語）

評価プロトコル

モデルの能力を測定するため、以下の 2 つの推論設定を比較しました。

1. 直接推論 (Direct Inference): 画像と質問を一度にモデルに入力し、タスクを直接解かせる（モデルの自然な挙動）。
2. カスケード推論 (Cascaded Inference): 手動でスキル構成を強制する 2 段階アプローチ。
   • 第 1 段階：モデルに視覚スキル（例：OCR 結果の抽出、物体検出）のみを実行させる。
   • 第 2 段階：第 1 段階の出力をテキスト入力としてモデルに渡し、言語スキル（推論）を実行させる。

**「クロスモーダルスキル構成ギャップ」**を定義し、これを「カスケード推論の精度」と「直接推論の精度」の差として測定しました。このギャップが大きいほど、モデルがスキルを自発的に統合できていないことを示します。

対象モデル

LLaVA 1.6, Llama 3.2, Molmo, Qwen2.5-VL など、トレーニングデータや設計が公開されているオープンソースの MLLM 複数種を評価対象としました（ブラックボックスモデルは除外）。

3. 主要な貢献と結果 (Key Contributions & Results)

主要な発見

• 広範なスキル構成ギャップの存在: 評価されたほぼすべての MLLM で、直接推論よりもカスケード推論の方が大幅に高い精度を示しました。これは、モデルが視覚と言語のスキルを自発的に組み合わせる際に重大な失敗を犯していることを意味します。
  • 例：LLaVA 1.6-Vicuna-13B は Task 1 で約 22 ポイントのギャップを示しました。
  • 例：Qwen2.5-VL-72B などは比較的小さなギャップ（0.39 ポイント）でしたが、それでも完全ではありませんでした。
• トレーニング履歴の影響: 特定のタスク（例：画像内の数式処理）に明示的にトレーニングされたモデル（Molmo や Qwen2.5-VL）は、ギャップが小さい傾向がありました。これは、スキル構成が「新しい組み合わせ」ではなく「既知のトレーニングデータ」に依存している可能性を示唆しています。
• OCR エラーの影響: Task 1 において、Oracle（正解のテキストを入力）とカスケード推論の差は小さく、直接推論との差は大きかったため、OCR の誤認識が最終精度の低下の主要因であることが明らかになりました。

緩和策の評価

著者らはこのギャップを埋めるための 2 つの戦略を調査しました。

1. 構成固有の Chain-of-Thought (CoT) プロンプティング:
   • 視覚スキルと言語スキルをどの順序で適用すべきかを明示的に指示するプロンプトを使用。
   • 結果: 直接推論よりは改善されましたが、カスケード推論には届きませんでした。また、タスクごとにプロンプトを設計する必要があり、スケーラビリティに課題がありました。
2. クロスモーダルタスクへの微調整 (Fine-tuning):
   • 視覚入力に対して、テキスト入力と同じ推論能力を発揮させるよう微調整を行いました。
   • 結果: 微調整はトレーニングデータ内での性能向上に寄与し、ある程度の汎化も見られましたが、依然としてカスケード推論の性能には届かず、ギャップは完全には解消されませんでした。

4. 意義と結論 (Significance & Conclusion)

• MLLM の限界の可視化: 人間にとっては自明な「視覚情報の抽出＋論理的推論」という組み合わせであっても、現在の MLLM はそれを最適に行えていないことが実証されました。これは、モデルが単にモダリティを結合しているだけでなく、内部表現レベルでのスキル統合が不十分であることを示しています。
• 今後の研究方向: 単なる性能向上だけでなく、なぜモデルがスキルを組み合わせるのに失敗するのか（アーキテクチャ上の制約、トレーニングデータの偏りなど）を解明し、より堅牢なスキル構成を可能にする新しいトレーニング手法やアーキテクチャの必要性が提起されました。
• 実用的なインパクト: 複雑なマルチモーダルタスクを信頼して実行するためには、現在の「直接推論」のみに依存するアプローチには限界があり、システム設計においては外部のツールチェーン（カスケード処理）や、より高度なトレーニング戦略が必要であるという示唆を与えています。

総じて、この論文はマルチモーダル AI の「知性」が、単なるモダリティの足し算ではなく、スキル間の有機的な統合によって成り立っているべきであるが、現状ではその統合が不完全であることを浮き彫りにした重要な研究です。