💻 computer science

Beyond Thinking: Imagining in 360 $^\circ$ for Humanoid Visual Search

本論文は、確率的なイマジネーターとアクターにヒューマノイド視覚探索を分離し、単一ステップで意味的空間事前分布を推論する新たな枠組み「360°イマジネーション」を提案するものであり、これにより高価な軌道レベルの注釈付けを不要としつつ、複雑な 360°環境における探索効率と成功率を大幅に向上させる。

原著者： Jingdong Zhang, Yizhou Wang, Zhengzhong Tu, Xin Li, Wenping Wang, Xiaohang Zhan

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingdong Zhang, Yizhou Wang, Zhengzhong Tu, Xin Li, Wenping Wang, Xiaohang Zhan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で暗い倉庫の中で、紛失した鍵のセットのような特定のアイテムを見つけようとしていると想像してください。あなたの前には、小さな円形の光しか見えません。

従来の方法：「考えすぎ屋」
従来の手法は、ロボットに一度にすべてを処理させる単一の脳を与えることでこの問題を解決しようとしました。それは、小さな円形の光を見て、見たものをすべて記憶し、暗い隅に何があるか推測し、次にどこに向かうか決定しなければなりませんでした。

問題点： これは、複雑な数学の問題を解きながら同時に迷路を navigate するよう人に頼むようなものです。混乱し、遅い推測を行い、しばしばその場をぐるぐる回ってしまいます。なぜなら、「思考」に忙殺されて「部屋全体を想像する」ことができないからです。また、あらゆる可能性のあるシナリオに対して、ロボットの思考プロセスのすべてのステップを人間が書き起こす必要があり、これは非常にコストがかかり、作成に時間がかかります。

新しい方法：「360 度の想像」
この論文は、より賢明なチームアプローチを提案しています。過労に陥った単一の脳ではなく、仕事を「想像者（The Imaginator）」と「実行者（The Actor）」という 2 つの専門役割に分割します。

1. 想像者（The Imaginator）（「心の地図作成者」）

想像者を、超能力を持つ地図作成者と想像してください。その唯一の役割は、部屋の中央に立ち、「わかった、ここにはドアがある。部屋の一般的な構造に基づけば、左側にはおそらく廊下があり、背後には階段があるはずだ。まだ見えていないけれど」と言うことです。

仕組み： 特定の場所を一つ推測するのではなく、可能性のリストを作成します。「鍵は階段の近くにある可能性が 60%、ドアのそばにある可能性が 30%、棚の上にある可能性が 10% だ」と言います。
魔法： 部屋全体を見る必要はありません。空間がどのように構築されているかという「常識」（例：階段は通常階につながり、ドアは他の部屋につながっている）を利用します。人間がすべてのステップを教えることなく、これらの推測を瞬時かつ安価に生成します。

2. 実行者（The Actor）（「探検家」）

実行者はロボットの体と目です。それは想像者から推測のリストを受け取ります。

プロセス： 盲目に歩き回るのではなく、実行者は想像者のリストを見ます。「ふむ、想像者は鍵が階段の近くにある可能性が高いと考えているようだ。まずはそこに向かおう。」
結果： 実行者は効率的に移動し、最も可能性の高い場所を最初に確認します。推測と矛盾するもの（例：階段ではなく壁しかないなど）が見つかれば、計画を更新し、リストの次の項目を確認します。

これが画期的な理由

速度と効率性： 「推測」と「移動」を分離することで、ロボットはぐるぐる回るのをやめます。最も可能性の高い場所へ真っ直ぐ向かいます。この論文のテストでは、この手法により、ロボットは非常に散らかっていたり複雑だったりする環境でも、以前よりもはるかに速く、かつ高い頻度で物体を見つけることができました。
「無料」のトレーニングデータ： 最大の画期的な点は、想像者をどのように訓練したかです。想像者は、部屋のわずかな断片に基づいて部屋の配置を推測するだけでよいため、研究者はコンピューターを使って自動的に192 万のトレーニング例を生成することができました。ロボットがどのように探索すべきかについての数百万の物語を人間が書き起こす必要はありませんでした。コンピューターに配置の推測を繰り返し練習させるだけで済みました。
あらゆる脳と連携可能： このシステムは「プラグ＆プレイ」型のアップグレードのようです。標準的なロボットの脳（小さくて安価なものさえも）を取り、この「想像者」モジュールを差し込むだけで、探索能力が劇的に向上します。

結論

この論文は、広大で 360 度の世界で何かを見つけるためには、単に「思考」を強化するだけでは不十分だと主張しています。まず、空間全体を想像する必要があります。システムの一部分が見えない世界の心の地図を作成し、もう一つの部分がその地図に基づいて行動することで、ロボットははるかに効率的で自信に満ちた探検家となります。

技術概要：360 度での想像によるヒューマノイド視覚探索

問題定義

ヒューマノイド視覚探索（HVS）は、具身エージェントが特定の物体（ヒューマノイド物体探索、HOS）や移動可能な経路（ヒューマノイド経路探索、HPS）を特定するために、没入型の 360 度パノラマ環境を能動的に探索することを要求する。受動的な知覚とは異なり、HVS はエージェントが隠蔽された情報を明らかにするために「頭部」（カメラ）を再方向付けなければならない、閉ループの知覚 - 行動サイクルを必要とする。

現在の最先端のアプローチ、例えば Thinking in 360°（Yu et al., 2025）は、累積的な思考の連鎖（CoT）推論を用いるマルチモーダル大規模言語モデル（MLLM）によって駆動される単一のタスクとして HVS を扱う。これらの手法は、以下の 3 つの主要なボトルネックに悩まされている：

認知的過負荷： 複雑な 3 次元空間理解と行動計画を単一のモデルで結合することは、現在の MLLM にとって甚大な推論負担を生み出す。
暗黙の推測： 空間的関係を明示的にモデル化しないため、エージェントは未視認領域の配置を暗黙的に推測せざるを得ず、受動的または不正確な探索につながる。
データの拡張性： これらの単一構造のエージェントを訓練するには、高品質で高価なマルチターン CoT 軌道注釈が必要であり、大規模なキュレーションが困難で、多様かつ野外のシナリオへの一般化を妨げる。

手法：分離されたアーキテクチャ

本論文は、探索プロセスを確率的な**Imaginator（想像者）と実行担当のActor（実行者）という 2 つの専門コンポーネントに分離するフレームワークImagining in 360°**を提案する。

1. Imaginator（確率的空間事前分布生成器）

Imaginator は、累積的な推論チェーンを維持するのではなく、単一ステップで観測済みおよび未観測領域の両方の意味的レイアウトを予測することにより、360 度環境を明示的にモデル化するように設計されている。

タスク： 限られた狭視野（NFoV）観測と自然言語指示を与えられた場合、Imaginator は構造化されたブロックを出力する：
- [Observed]： 現在または過去に視認されたランドマーク。
- [Imagined]： 未視認領域に存在する可能性のある物体の確率的予測（例：「階段：(-45, -10)」）。
確率的サンプリング： 単一の決定論的な推測ではなく、Imaginator は温度サンプリングを介して複数の空間仮説を生成する。これにより、隠蔽された環境に内在する不確実性を捉える。
出力： 空間事前分布を表す提案のランク付けリスト（例：「Suggest Check (φ, µ)」）。

2. Actor（実行エージェント）

Actor は物理的な探索を担当し、市販の MLLM または微調整された探索モデルのいずれかとなり得る。

統合： Actor は、現在の NFoV 観測、過去の記憶、および Imaginator によって生成された空間的提案を受け取る。
推論： これらの事前分布によって強化され、Actor は視覚的記憶に対して提案されたレイアウトの妥当性を評価し、推論チェーンを生成する。
行動： Actor は次の行動を出力する。これは新しい座標への回転（Rot）または最終目標ビューの提出（Sub）のいずれかである。

3. 拡張可能なデータエンジン

重要な革新は、手動の軌道注釈なしに訓練データを生成できる能力である。

疑似ラベリング： 著者らは強力な教師モデル（Qwen3-VL-235B）を利用して、完全な 360 度パノラマにラベルを付与する。
合成軌道： これらの完全に注釈付けられたパノラマから、各インスタンスあたり 1〜8 の NFoV 観測のみを明らかにし、50% のターゲットを視界外に保ったまま、合成的に軌道をサンプリングする。
規模： この自動化パイプラインは、約 20,000 の多様なシーンにわたり、約192 万の高品質な単一ステップ空間推論サンプルを生成し、軌道レベルの CoT キュレーションのコストを回避する。

4. 推論パイプライン

推論中、Imaginator はステップごとに $K$ 個の候補座標を生成する：

最も確信度の高い予測のための 1 つの貪欲なアンカー（ $T=0$ ）。
多様な仮説を捉えるための $K-1$ 個の確率的サンプル（ $T>0$ ）。
これらの絶対座標は、Actor に対する相対的な回転行動に変換される。温度減衰スケジュールが探索ステップ全体に適用され、視覚的証拠が蓄積するにつれて、広範な探索から焦点を絞った予測へと移行する。

主要な貢献

分離された HVS パラダイム： 本論文は、直感的な空間的想像を行動計画から分離することにより、視覚探索を再定義する。これにより、エージェントは完全な論理的チェーンのみではなく、確かな空間的仮説に基づいて、より能動的かつ自信を持って探索できるようになる。
確率的 Imaginator： 空間的レイアウト（建築配置など）のような直感的な空間事前分布を学習し、確率的推定によって Actor を導く専門モデルの導入。これにより、空間的不確実性に対する効果的なヘッジが可能となる。
拡張可能なデータエンジン： 手動の軌道ラベルなしに訓練を約 192 万サンプルまで拡張する完全自動化パイプライン。これにより、高価な専門家注釈のコストなしに、野外での堅牢なパフォーマンスを実現する。

実験結果

このフレームワークは、各種のオープンソース、プロプライエタリ、および微調整済み MLLM に対してH*Bench上で評価された。

性能向上： 分離されたパイプラインは、単一構造のベースラインを大幅に上回る。
- Qwen3-VL (235B)： HOS 成功率は**23.62%から65.04%へ、HPS は21.44%から38.25%**へ向上。
- HVS-3B（RL 微調整ベースライン）： Imaginator と統合された場合、HOS での成功率は**48.04%から62.75%**へ跳ね上がった。
- プロプライエタリモデル： Gemini-2.5 Pro は HOS で 55.00% から 66.10% へ改善。
効率性： 統合パイプラインは探索分布をシフトさせ、ほとんどの探索が 1〜3 ステップで収束するのに対し、ベースラインはしばしば 10 ステップの失敗限界に達する。推論レイテンシはステップあたり約 2.5 秒に削減された（FLUX などのピクセルレベルの想像ベースラインでは 20〜30 秒）。
アブレーション研究：
- 構造化されたレイアウトコンテキストを除去すると、パフォーマンスがベースライン以下に低下し、明示的なグローバル空間モデルの必要性が確認された。
- 確率的サンプリング（ $T>0$ ）は、決定論的な貪欲デコーディング（ $T=0$ ）を上回り、空間的不確実性を捉えることの重要性を検証した。
- スケーリング則は、Imaginator の事前学習データが 0 から 192 万サンプルに増加するにつれて、単調な改善を示す。

意義と主張

本論文は、**Imagining in 360°**が、具身エージェントが未観測空間にアプローチする方法を根本的に変えることを主張する。ピクセルレベルの再構成や単一構造の CoT 推論に依存するのではなく、言語空間で空間事前分布を明示的にモデル化することにより、このフレームワークは以下の点を実現する：

認知的負担の軽減： 空間レイアウト予測という困難なタスクを行動計画から分離する。
拡張性の実現： 数百万の訓練サンプルを自動的に生成することでデータボトルネックを解決し、高価な専門家注釈なしに高性能な HVS を可能にする。
堅牢性の向上： 空間的不確実性や幻覚のためにエージェントが通常失敗する複雑な野外環境において、優れたパフォーマンスを実証する。

著者らは、現在のフレームワークがオープンループ実行パラダイム（Actor が Imaginator にフィードバックできない）で動作しているものの、論理的な行動計画で生成的な空間事前分布を裏付ける補完的なアーキテクチャを確立することに成功し、ヒューマノイド視覚探索のためのスケーラブルかつ効率的な道筋を提供していると結論付けている。