Uni-cot: Towards Unified Chain-of-Thought Reasoning Across Text and Vision

この論文は、視覚状態の遷移を統合的にモデル化し、マクロレベルの計画とミクロレベルの実行という二段階の推論パラダイムを導入することで、計算コストを抑えながら視覚と言語にまたがる一貫性のある推論を実現する「Uni-CoT」を提案し、複数のベンチマークで最先端の性能を達成したことを報告しています。

要約

この論文「Uni-CoT」は、AI が**「目（画像）」と「口（言葉）」を同時に使いながら、複雑な問題を解決する新しい方法**を提案したものです。

従来の AI は、難しい問題を解くときに「考える（思考の連鎖）」ことは得意でしたが、それは主に「言葉」だけで行われていました。しかし、画像を操作したり、絵を描いたりするタスクでは、言葉だけで考えるのは不十分です。

この論文の核心を、**「大規模な建設プロジェクト」**に例えて、わかりやすく説明しましょう。

---

🏗️ 従来の AI の問題点：「一人の職人が全てを背負う」

昔の AI（マルチモーダルモデル）は、**「何でも屋の一人職人」**のようなものでした。
例えば、「ジグソーパズルを完成させて、その答えを説明して」という注文が入ると、この職人は以下のように動いていました。

1. 画像を見て、パズルのピースを動かす。
2. 結果を見て、「あ、違うな」と考えて、また画像を動かす。
3. 言葉を並べて「正解はこれです」と言う。

【問題点】
この「一人職人」方式には大きな欠点がありました。

• 重すぎる： 画像は言葉よりもデータ量が膨大です。職人が「考える」たびに、大量の画像データを記憶し続けなければならず、脳（計算リソース）がパンクしてしまい、非常に遅く、高コストでした。
• 迷子になりやすい： 長い工程を一度に記憶しようとすると、途中で「あれ、今どこまでやったっけ？」と混乱し、失敗しやすかったです。

---

🚀 Uni-CoT の解決策：「優秀な建築会社」

Uni-CoT は、この「一人職人」方式を捨て、**「建築会社」**のような組織体制に変えました。この会社には、2 つの重要な役割がいます。

1. 社長（マクロ・プランナー）：全体を指揮する

まず、**「社長」**が登場します。社長は具体的な作業（ピースを動かすなど）はしません。

• 役割： 注文（プロンプト）を見て、「まずは A 地区の地図を作る」「次に B 地区を切り取る」「最後に完成図を描く」といった**「大まかな計画」**を立てます。
• メリット： 社長は細かい作業を見ずに全体像だけを見るので、頭がスッキリし、計画が立てやすいです。

2. 現場の職人（マイクロ・オペレーター）：一つずつ完璧にやる

次に、**「現場の職人」**が社長から指示を受け取ります。

• 役割： 「A 地区の地図を作る」という**「一つの小さなタスク」**だけを集中して行います。
• 特徴（自己反省）： 職人は作業が終わると、すぐに**「自己反省」**を行います。「うーん、この色、違うかも？」「形が歪んでいるな」と考え、すぐに修正します。
• メリット： 職人は「今、何をしているか」だけを見ているので、過去の長い記憶に縛られず、非常に素早く、正確に作業できます。

---

🧩 なぜこれがすごいのか？（3 つのポイント）

① 「記憶の重さ」が劇的に減った

一人の職人が 100 歩先の記憶を保持するのではなく、社長が計画を立て、職人が「今ここ」だけを集中して動くので、脳の負担（計算コスト）が激減しました。

• 例え： 100 階建てのビルを、一人の人間が階段を登りながら全部記憶するのではなく、エレベーター（社長）で階層ごとに移動し、その階の作業員（職人）がその階だけを担当するイメージです。

② 「失敗してもすぐに修正」できる

職人の「自己反省」機能のおかげで、間違えたらすぐに直せます。

• 例え： 絵を描いている途中で「あ、鼻が大きいな」と気づいたら、その場で消しゴムで消して描き直すことができます。昔の AI は「最初から全部描き直す」必要がありましたが、Uni-CoT は「今描いている部分だけ」を修正するだけで済みます。

③ 「言葉」と「絵」が仲良く連携する

このシステムは、言葉で計画を立て、絵で作業をするという**「言葉と絵のチームワーク」**を完璧にしています。

• 例え： 料理で言えば、「社長」が「まずは野菜を切る（計画）」と指示し、「職人」が包丁で野菜を切り（実行）、切った後に「あ、薄すぎたな」と反省して（自己反省）、再度切り直す……という一連の流れが、AI 内部でスムーズに行われます。

---

🌟 具体的に何ができるようになった？

この新しい「建築会社」方式（Uni-CoT）を使うと、AI は以下のような難しいことができるようになりました。

• ジグソーパズルの解決： バラバラの画像を正しい順番に並べ替え、なぜその順番なのかを論理的に説明する。
• 複雑な絵の生成： 「ピカソの青の時代のスタイルで、貧しい男を描いて」という抽象的な注文を、まず「顔の特徴をシンプルに」「背景を暗く」といったステップに分けて、徐々に完成させる。
• 地図から風景を作る： 等高線（2 次元の線）の地図を見て、それを 3 次元の山岳風景に変換する。

🎯 まとめ

Uni-CoT は、AI に**「一度に全てを覚えようとする」のをやめさせ、「大きな計画を立てる人」と「一つずつ丁寧に作業して反省する人」に分ける**ことで、AI が画像と言葉を組み合わせて、人間のように論理的に考えることを可能にした画期的な技術です。

これにより、AI はより複雑で、クリエイティブなタスクを、安く、速く、正確にこなせるようになったのです。

技術概要

Uni-CoT: テキストとビジョンにまたがる統合的な推論チェーン（Chain-of-Thought）への取り組み

本論文は、ICLR 2026 にて発表された「Uni-CoT（Unified Chain-of-Thought）」という新しいフレームワークに関する研究です。大規模言語モデル（LLM）の推論能力を多モーダル（テキストと画像）領域に拡張する際の課題を解決し、複雑な視覚的推論タスクにおいて最先端（SOTA）の性能を実現することを目的としています。

以下に、論文の技術的概要を問題定義、手法、主要な貢献、実験結果、意義の観点から詳細にまとめます。

---

1. 問題定義と背景

現状の課題:
Chain-of-Thought（CoT）推論は、複雑な問題を段階的な解決策に分解することで LLM の性能を向上させることが証明されています。しかし、これを多モーダル（テキストと画像の両方を含む）設定に拡張することには大きな障壁があります。

• 視覚的状態遷移のモデリング不足: 既存のアプローチは、テキスト推論に焦点を当てすぎており、ナビゲーションやパズル解決などにおいて「視覚的な状態の変化（マップの更新、パッチの入れ替えなど）」を推論プロセスに明示的に組み込むことができていません。
• 計算コストの爆発: 従来の単一モデルによる逐次生成では、各推論ステップでテキストと画像の両方を生成・理解する必要があり、トークン数が膨大になります。これにより、アテンション機構の計算量がステップ数に対して二次関数的（$O(T^2)$）に増加し、トレーニングおよび推論が非現実的なコストになります。
• トレーニングの不安定性: 長いシーケンスとテキスト・画像が混在する生成は、最適化を困難にし、収束を妨げます。

2. 提案手法：Uni-CoT

Uni-CoT は、構造化された視覚的遷移と一貫性のあるテキスト推論を統合するフレームワークです。基盤モデルとして、画像理解と生成の両方をサポートする統一モデル「BAGEL」を使用しています。

2.1 階層的な推論アーキテクチャ（マクロ・マイクロ CoT）

人間の認知プロセス（複雑な問題を階層的に組織化する）に着想を得て、推論プロセスを 2 段階に分解することで計算複雑性を削減します。

1. マクロレベル CoT（計画と要約）:

   • 役割: 高レベルの戦略を立案し、タスクを管理可能なサブタスクに分解します。
   • 仕組み: 入力タスクを $M$ 個のサブゴールに分解し、それらの結果を統合して最終答えを導き出します。
   • アテンションマスク: 計画と要約の段階では、低レベルの実行詳細（マイクロレベルの痕跡）を隠蔽し、入力・計画・中間結果・最終結果のみを参照できるように制限します。

2. マイクロレベル CoT（サブタスク実行と自己反省）:

   • 役割: 割り当てられた各サブタスクを独立して実行し、局所的な推論を行います。
   • 仕組み: マルコフ決定過程（MDP）として定式化されます。モデルは初期試行を行い、その後「自己反省（Self-Reflection）」メカニズムを通じて出力を評価・修正します。
   • 制約: 各状態遷移は、直前の状態と現在の指示のみに依存するように制限されます（履歴全体を参照しない）。これにより、計算コストを線形（$O(T)$）に抑えます。

2.2 計算複雑性の削減

• 従来のアプローチ: 全履歴を参照するため、複雑性は $O(T^2)$。
• Uni-CoT のアプローチ:
  • マクロ分解により、長いチェーンを $M$ 個の短いサブチェーンに分割：$O(T^2/M)$。
  • マイクロレベルで MDP 形式（局所依存）を採用：$O(M \cdot T/M) = O(T)$。
  • これにより、多モーダル推論の複雑性を二次関数的からほぼ線形に削減し、スケーラビリティを達成しました。

2.3 学習パラダイム

トレーニングを 2 つのレベルに分解し、安定した最適化を実現します。

• マクロレベル学習: 計画と最終合成のためのテキスト・画像生成を共同損失（Cross-Entropy + MSE）で学習。
• マイクロレベル学習: サブタスク実行と自己反省プロセスを学習。MDP 形式に基づき、以下の 4 つの補助タスクを導入して学習を促進します。
  1. テキスト行動生成（編集指示の生成）
  2. 画像行動生成（画像の修正）
  3. 次状態予測（修正後の画像分析）
  4. 報酬推定（出力品質の評価）

3. 主要な貢献

1. 統合的な多モーダル推論フレームワークの提案: テキストと画像の遷移を単一モデル内で一貫して扱える「Uni-CoT」を提案。
2. 計算効率の劇的な改善: 階層的な設計と MDP 形式の自己反省メカニズムにより、多モーダル CoT の推論コストを二次関数的から線形に削減。
3. 安定したトレーニング手法: 補助タスクと階層的な学習戦略により、長い多モーダルシーケンスにおけるトレーニング不安定性を解決。
4. 最先端性能の実証: 画像生成、画像理解、画像編集の各種ベンチマークで SOTA を達成。

4. 実験結果

Uni-CoT は、8 枚の NVIDIA A100 GPU 上で 1 週間程度のトレーニングで効率的に学習され、以下のベンチマークで優れた性能を示しました。

• 画像生成（GenEval, WISE）:
  • GenEval: 単一・複数オブジェクト、色、位置関係などの基本タスクでベースモデル（Bagel）を上回る性能。
  • WISE: 推論駆動の画像生成タスクにおいて、オープンソースモデルだけでなく、GPT-4o などのクローズドソースモデルとも競合する、あるいは上回る性能（全体スコア 0.75）を達成。自己反省メカニズムが初期誤りを修正する効果を示しました。
• 画像理解（MME, MMMU, MathVista, Jigsaw-R1）:
  • 一般的な多モーダルベンチマークではベースモデルを維持しつつ、Jigsaw-R1（ジグソーパズル解決タスク）において、オープンソースモデルを大幅に凌駕する性能（Overall 47.60 vs 40.73）を示しました。これは、構造化された視覚推論能力の優位性を示しています。
• 画像編集（GEdit-Bench, KRIS, RISE）:
  • 複雑な推論指示に基づく画像編集タスクでも、Gemini 2.0 や GPT-4o と同等かそれ以上の性能を発揮しました。
• 複雑性分析:
  • 推論ステップ数が増加するにつれて、従来の手法（Uni-CoT Raw）は計算コストが急増するのに対し、Uni-CoT は線形にスケールし、10 ステップの推論ではトークン相互作用数が約 11 倍削減されました。

5. 意義と将来展望

意義:
Uni-CoT は、多モーダル AI における「推論の複雑性」という根本的な課題を、アーキテクチャレベル（階層化）とアルゴリズムレベル（MDP 化）の両面から解決しました。これにより、単に性能を向上させるだけでなく、複雑な視覚的推論タスクを実用的な計算コストで実行可能にする基盤を提供しました。

将来展望:

• 実世界への適用: 現在の実験は主に合成データや特定のベンチマークに基づいています。より複雑な実世界シナリオ（物理的相互作用、厳密なテキスト - 画像整合性）への拡張が今後の課題です。
• データ収集の拡大: ロボティクス、科学実験、映画などのリアルなデータから、視覚的状態遷移とテキスト推論のペアを大規模に収集するパイプラインの構築が提案されています。

総じて、Uni-CoT は、テキストと視覚を統合した高度な推論システムを実現するための重要なステップであり、将来の多モーダル AI 開発におけるスケーラブルな基盤となる可能性があります。