💻 computer science

CASHEW: Stabilizing Multimodal Reasoning via Iterative Trajectory Aggregation

本論文は、推論時フレームワークであるCASHEWと、Group Sequence Policy Optimizationを用いて学習された学習型バリアントであるCASHEW-RLを紹介しており、これらは候補となる軌跡を反復的に集約し、視覚的検証を通じてハルシネーションをフィルタリングすることでマルチモーダル推論を安定させ、13の画像およびビデオ理解ベンチマークにおいて大幅な性能向上を実現している。

原著者： Chaoyu Li, Deeparghya Dutta Barua, Fei Tao, Pooyan Fazli

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chaoyu Li, Deeparghya Dutta Barua, Fei Tao, Pooyan Fazli

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に難しいパズルを解こうとしているところだと想像してください。例えば、絵画の動画の中で、コップの水が一体何をしているのかを正確に突き止めようとするようなケースです。標準的なAI（視覚言語モデル）に一度だけ尋ねると、AIは「おそらく、アーティストがそこに筆をしまっているのではないか？」と推測するかもしれません。自信満々ですが、間違っています。もう一度尋ねると、「おそらく、筆を休ませるためのものか？」と答えるかもしれません。それでもまだ推測の域を出ず、答えは変わり続けています。これが、この論文が**不安定な推論（unstable reasoning）**と呼んでいる問題です。

アリゾナ州立大学とNewsBreakの研究者たちは、これを解決するために、CASHEW（および、よりスマートなバージョンであるCASHEW-RL）という解決策を生み出しました。その仕組みを、簡単な比喩を使って説明します。

1. 問題点：「孤独な思考者」

現在のAIモデルは、暗い部屋の中で一人でパズルを解こうとしている人のようです。彼らは自分の足に躓いたり（ミスをしたり）、全体像を明確に把握できていないために、間違った方向に歩き続けたりすることがあります。彼らはしばしば「ハルシネーション（幻覚）」を起こします。つまり、コップが掃除用であるのに、収納用だと言ってしまうように、そこに存在しない事実を捏造してしまうのです。

2. 解決策：「勉強会」（CASHEW）

AIを一人で考えさせるのではなく、CASHEWはAIを**「勉強会」**へと変貌させます。

プロセス： AIは質問を受け取ったとき、単に一つの答えを出すのではありません。さまざまな「思考の経路（軌跡）」の集まりを生成します。8人の学生が部屋にいて、それぞれが自分自身の力でパズルを解こうとしている場面を想像してください。
現実の確認（視覚的検証）： これが秘伝のレシピです。グループが答えに合意する前に、「審判」（視覚的検証ツール）が、実際の画像や動画と照らし合わせて彼らの作業をチェックします。もしある学生が「コップは収納用だ」と言えば、審判は動画を見て、「いや、収納棚は見当たらない。アーティストが筆を洗うために浸しているのが見える」と指摘します。
統合： AIはその後、8人の学生たちのアイデアの中から最良の部分を取り出し、審判のメモを使って嘘（ハルシネーション）を排除し、それらを組み合わせて、一つの超正確で、証拠に基づいた回答を作り上げます。

これは、乱雑なブレインストーミングを、精査された事実に基づくレポートへと作り変える作業に似ています。

3. アップグレード：「内面化されたエキスパート」（CASHEW-RL）

最初のバージョン（CASHEW）は素晴らしいものですが、質問に答えるたびにコンピューターに「勉強会」のプロセスを実行させる必要があるため、時間がかかることがあります。

研究者たちはまた、CASHEW-RLも作成しました。これは、その勉強会を、AI自身が「グループリーダー」になるように教え込むことだと考えてください。

彼らは、以下のような特別な報酬システム（ビデオゲームのスコアのようなもの）を用いてAIを訓練しました。
1. 正解を得ること。
2. 正しい視覚的証拠（コップを指し示すなど）を引用すること。
3. 簡単な質問に時間を浪費しないこと（効率性）。
この訓練の後、AIは「グループでの思考」や「事実確認」を、自分自身の脳の中で、より速く、より効率的に行う方法を学習しました。

何が分かったのか？

この論文は、画像と動画に関する13の異なるベンチマークを用いてテストを行いました。その結果は、まるでAIの推論に対する魔法の杖を見つけたかのようでした。

精度の劇的な向上： ScienceQAと呼ばれる科学クイズにおいて、AIのスコアは26.2パーセントポイント上昇しました。EgoSchemaと呼ばれるビデオ推論テストでは、9.1パーセントポイント上昇しました。
ハルシネーションの減少： AIは事実を捏造することをやめました。画像の中で実際に目に見えるものに固執するようになりました。
競合他社を圧倒： AIに同じ質問を8回繰り返して最も多い答えを選ぶといった、他の推論修正手法と比較した際、CASHEWはあらゆる場面で勝利しました。

まとめ

この論文は、AIに**「グループで考える」こと、「視覚的な証拠と照らし合わせて自らの仕事をチェックする」こと、そして「間違いから学ぶ」**ことを強制することで、AIをより信頼できるものにできると主張しています。これにより、AIは自信満々に推測することをやめ、注意深く、証拠に基づいた推論の道へと進むことができるのです。

技術要約：CASHEW – 反復的な軌跡集約によるマルチモーダル推論の安定化

1. 問題提起

視覚言語モデル（VLM）は、マルチモーダルな理解および推論タスクにおいて大きな成功を収めてきました。しかし、その多段階の推論プロセスは依然として脆弱で不安定です。主な課題は以下の通りです：

不安定性： 同一の入力に対して繰り返しサンプリングを行うと、しばしば分岐した推論軌跡や一貫性のない最終予測が生成されます。
ハルシネーション（幻覚）： モデルは視覚的なハルシネーションを起こしやすく、推論ステップが実際の視覚的証拠に基づかない場合があります。
現在のテスト時スケーリングの限界： 既存のアプローチは多くの場合「サンプリングして選択する（sample-and-select）」パラダイムに従っており、拒絶された軌跡から得られる部分的な洞察を破棄してしまいます。さらに、明示的なグラウンディング（根拠付け）なしに単に推論の長さやサンプリング数を増やすことは、初期の知覚エラーを修正するのではなく、むしろ増幅させる可能性があり、「より長く考える」ことはできても「より良く考える」ことには繋がりません。

2. 手法

本論文では、これらの限界に対処するために、2つの補完的なアプローチである CASHEW（推論時フレームワーク）と CASHEW-RL（学習型バリアント）を提案します。

CASHEW: 反復集約フレームワーク

CASHEWは、候補となる軌跡の集団を反復的に合成・洗練していく進化プロセスとして推論を扱います。これは以下の4つのステージで動作します：

集団の初期化： ベースとなるVLMが、 $N$ 個の候補推論軌跡からなる初期集団を生成します。
サブセット・サンプリング： 各イテレーションにおいて、多様性を導入し、単一の推論モードへの崩壊を防ぐために、参照候補としてピア（同僚）軌跡のランダムなサブセットをサンプリングします。
視覚的検証： 集約の前に、軽量な視覚的テキスト・グラウンディング・モジュール（Grounding DINOを用いて実装）が、オブジェクトレベルおよび属性レベルの主張を視覚入力に対して検証します。グラウンディングされた証拠のみが、後続のステップを導くために保持されます。
グラウンデッド集約： サンプリングされた軌跡と検証済みの視覚的証拠を合成し、更新された高品質な推論軌跡を生成します。このプロセスは $T$ 回のイテレーションを繰り返し、最終的な統合された軌跡へと至ります。

CASHEW-RL: GSPOによる学習型集約

CASHEW-RLは、2段階のポストトレーニングプロセスを通じて、集約行動を単一のモデル内に内面化します。

教師あり微調整 (SFT)： モデルは、推論の痕跡（<thought>）、検証された視覚的キーのセット（<visual_keys>）、および最終回答（<answer>）の3つのコンポーネントを含む構造化された集約フォーマットで学習されます。これにより、参照ポリシー（ $\pi_{ref}$ ）を確立し、モデルに証拠の明示と出力フォーマットを教えます。
GSPOによる強化学習 (RL)： モデルは、以下の3つの目的のバランスを取る複合報酬関数を用いて最適化されます：
- 回答の正確性 ( $R_{acc}$ ): 正解との完全一致。
- 証拠選択の質 ( $R_{key}$ ): 関連する視覚的キーを選択することを促しつつ、無差別な増殖を避けるためのバランスの取れた適合率・再現率の定式化。
- 難易度を考慮した長さのペナルティ ( $R_{len}$ ): 高い解決率が観察される容易なタスクでは過度な冗長さを抑制し、困難なタスクでは柔軟性を許容する適応型ペナルティ。

学習には、オフラインの教師生成軌跡とオンポリシーの軌跡を組み合わせたカリキュラム方式を採用しており、分布の変化を抑え堅牢性を向上させるために、自己生成データの割合を段階的に増やしていきます。

3. 主な貢献

CASHEW: 候補となる軌跡を反復的に集約し、明示的な視覚的検証を行うことで、ハルシネーションを効果的にフィルタリングし、推論を証拠に根拠付けることで、マルチモーダル推論を安定化させるプラグアンドプレイ型の推論時フレームワーク。
CASHEW-RL: GSPOと複合報酬を通じて軌跡の集約を内面化し、適応的な推論努力の制御を伴う、堅牢で視覚的にグラウンデッドな集約を可能にする学習型バリアント。
実証的検証： 多様なモデルバックボーンとモダリティにわたる広範な実験による性能向上の実証。

4. 実験結果

これらの手法は、画像理解、ビデオ理解、およびビデオ推論をカバーする13のベンチマークで評価されました。

性能向上:
- 画像ベンチマーク: CASHEW-RLは顕著な改善を示しました。例えば、ScienceQA（Qwen3-VL-4B）で +26.2パーセントポイント、EgoSchema（InternVL3.5-8B）で +9.1パーセントポイント の向上を達成しました。
- ビデオベンチマーク: Video-MME、LongVideoBench、MVBenchにおいて一貫した向上が観察されました。例えば、CASHEW-RLはInternVL3.5-8BにおいてEgoSchemaのスコアを9.1ポイント向上させました。
SOTAとの比較: CASHEWは、すべての指標において既存のテスト時スケーリング・ベースライン（Self-Consistency, Self-Selector, Self-Synthesizer）を上回りました。特にMMEベンチマークにおいて、最強のベースラインであるSelf-Synthesizerに対し、知覚スコアで +48.2、認知スコアで +82.6 ポイント上回りました。
アブレーション研究: 視覚的グラウンディング・モジュール（Grounding DINO）を除去しても、ベースとなるVLMよりは改善が見られました。これは、反復的な集約が性能向上の主要な要因であり、視覚的グラウンディングが信頼性をさらに高めていることを示しています。
効率性: CASHEW-RLは、より少ない集約イテレーションで深い構成のCASHEWと同等の性能を達成しており、集約効率の向上を示唆しています。

5. 意義と主張

本論文は、CASHEWおよびCASHEW-RLが、マルチモーダル推論の不安定性に対する堅牢な解決策を提供すると主張しています。「サンプリングして選択する」パラダイムから「反復的な集約」パラダイムへと移行することで、推論の合意が視覚的証拠に固定されることを保証します。著者らは、彼らのアプローチがモデルに単に「より長く考える」のではなく「共に考える（think together）」ことを可能にし、ハルシネーションを効果的に軽減し、一貫性を向上させると強調しています。視覚的検証とGSPOによる適応的な推論努力の統合により、モデルは正解であるだけでなく、最小限かつ十分な視覚的証拠に基づいた回答を生成できるようになります。

6. 限界

著者らは、現在の研究では制御された比較を可能にするために固定された集約予算を使用しており、これがリソース制約のあるアプリケーション（容易な例には広範な集約を必要としない場合など）においては最適ではない可能性があることを認めています。CASHEW-RLは集約行動を内面化することでこれに部分的に対処していますが、適応的な予算配分に関する体系的な研究は今後の課題として特定されています。