💻 computer science

BIT-Nav: Brain-Inspired Trajectory Memory for Embodied Navigation

BIT-Navは、Bi-GRUエンコーダと対照学習を通じて構造化された運動履歴を単一のトークンへと圧縮する、脳にヒントを得たコンパクトな軌跡メモリを導入することで、視覚言語ナビゲーションにおける疎なフレーム選択の限界に対処し、トークンコストを増大させることなく効果的な長期的推論を可能にする。

原著者： Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、トランシーバー（無線機）だけを使って、巨大で未知の迷路の中をロボットに案内しようとしていると想像してください。あなたは、「前進して、大きな赤いドアのところで左に曲がって、それからソファが見えるまで直進して」といった指示を出します。

長い間、AIロボットは「言葉」を理解し、「今いる部屋」を見ることは得意としてきました。しかし、彼らには大きな盲点があります。それは、「自分がどこを通ってきたか」を忘れてしまうことです。

もしあなたがロボットに100歩歩くように指示したとしたら、現在の多くのシステムは、これまでに訪れた数枚の部屋の「フォトアルバム（写真帖）」を見ることで記憶しようとします。しかし、旅が長くなるにつれて、そのフォトアルバムは持ち歩くには大きくなりすぎ、結局、多くの写真を捨てなければならなくなります。もし断片的なスナップショットしか残していなければ、そこに至るまでの「物語（プロセス）」を見失ってしまいます。ソファのある部屋にいることは分かっても、そこに来るまでに左に3回曲がったのか、あるいは円を描くように歩いたのかが分からなくなるのです。

BIT-Navは、この記憶の問題を解決するために設計された新しいシステムです。その仕組みを、簡単な比喩を使って説明します。

1. 「メンタルマップ（心の地図）」対「フォトアルバム」

現在のロボットは、自分の旅を「写真（視覚フレーム）」を保存することで記憶しようとします。論文では、写真は長い旅においては、容量を多く消費し、「動きの流れ」を捉えきれないため、不適切であると述べています。

BIT-Navは、この常識を変えます。写真を保存する代わりに、動きそのもののコンパクトな要約を保存するのです。次のように考えてみてください。

従来の方法： 10マイルのハイキングを、木や岩のスナップショットを100枚ランダムに見返すことで思い出そうとする。これでは、大きなループを描いて歩いたことに気づけないかもしれません。
BIT-Navの方法： ポケットの中に「10マイル歩き、左に4回曲がり、北を向いている」と書かれた、たった一枚の小さなメモを入れているようなものです。

2. 「脳にインスパイアされた」メモリ（BITE）

この論文では、そのメモリ・モジュールをBITE（Bi-GRU Trajectory Encoder）と呼んでいます。これは人間の脳（特に海馬）の働きから着想を得ています。人間がどこかを歩くとき、脳は視界に入るすべてのピクセルを記録しているわけではありません。脳は「経路統合（path integration）」を計算しています。つまり、歩数、回転、方向を追跡することで、メンタルマップを構築しているのです。

BIT-Navもロボットに対して同じことを行います。

ロボットの動作（前進、左折、右折）を観察します。
数学的にロボットの位置と向きを計算します。
旅の全履歴を、**たった一つの「メモリ・トークン」**へと圧縮します。

3. 「巨大な脳」のための「翻訳者」

ロボットは、指示を理解するために非常に賢い「巨大な脳」（Qwen3-VL-8Bという視覚言語モデル）を使用します。この巨大な脳は、読み書きや視覚に関しては非常に優れていますが、数学や移動の履歴を自然に理解できるわけではありません。

BIT-Navは、翻訳者として機能します。その小さな「移動の要約（メモリ・トークン）」を受け取り、それを巨大な脳が理解できる言語へと翻訳します。そして、現在のカメラ映像と指示とともに、この単一のトークンを巨大な脳へと渡すのです。

4. なぜこれが重要なのか：「トークン」の経済学

AIにおいて、「トークン」とはコンピュータが処理しなければならない言葉やデータの断片のようなものです。

問題点： もしロボットが、過去のすべての行動（例：「ステップ1：前進、ステップ2：回転……ステップ100：前進」）をリストとして巨大な脳に送ろうとすると、何千ものトークンを消費してしまいます。これは動作を遅くし、コストを増大させ、巨大な脳を混乱させてしまいます。
BIT-Navの解決策： ロボットが10歩歩いたとしても1,000歩歩いたとしても、BIT-Navはたった一つのトークンしか送りません。それは、1,000ページの日記を送る代わりに、完璧に要約された一文を送るようなものです。

研究の結果

研究者たちは、シミュレーション環境（Isaac Sim）とR2Rデータセット（標準的なロボットナビゲーションテスト）を用いてこのテストを行いました。

優れた方向感覚： 「これまでの回転を経て、出発地点と比較して、私たちは左を向いていますか、それとも右を向いていますか？」という問いに対し、BIT-Navを備えたロボットは83%の確率で正解しました。このメモリ機能がない場合、ロボットはランダムに推測する程度（精度は約7%）でした。
効率性： BIT-Navのロボットは、過去のステップをすべてリストアップして記憶しようとするロボットよりも、22倍少ないデータトークンを使用しながら、この高い精度を達成しました。
指示の追跡： ロボットは、長い指示のリストの中で自分がどこにいるのか（例：「最初の部分は完了したので、次は次のステップを行う必要がある」など）をより正確に理解できました。なぜなら、そこに至るまでに自分がどのように動いたのかを正確に把握していたからです。

まとめ

BIT-Navは、ロボットに対し、古い写真を見返すことで旅を思い出すのではなく、自身の動きを理解することによって旅を記憶することを教えます。長く複雑な経路を、たった一つのスマートな「メモリ・トークン」へと圧縮することで、強力なAIの脳と同じ言語で対話しながら、記憶不足やメモリ不足に陥ることなく、長距離のナビゲーションを行うことを可能にします。

技術要約: BIT-Nav

問題提起

視覚言語モデル（VLM）は、視覚的知覚と自然言語推論を統合することで、エンボディド・ナビゲーション（身体性を持つナビゲーション）を進展させてきました。しかし、既存のアプローチによる長期間の視覚と言語ナビゲーション（VLN）は、推論レベルにおいて実質的に「ステートレス（状態を持たない）」であるという決定的な限界に直面しています。NaVILAのような従来の手法は、過去の画像フレームを固定ウィンドウでサンプリングすることで履歴を組み込んでいます。エピソードが長くなるにつれ、この固定サイズの視覚履歴はますます疎になり、重要な中間運動構造が欠落してしまいます。先行研究の経験的証拠によれば、単にサンプリングするフレーム数を増やすこと（例：8から64へ）はナビゲーション精度の向上には繋がらず、ボトルネックはフレームの量ではなく、表現の性質そのものにあることが示唆されています。疎なフレーム選択では、長期間の推論に必要となる構造化された行動信号（回転パターン、累積変位、経路トポロジーなど）を捉えることができません。さらに、制御ヘッドで使用される低レベルの再帰状態は、通常、明示的なクエリ可能な軌跡表現としてVLMに公開されていません。

手法

著者らは、既存のVLMパイプラインにコンパクトで学習可能な軌跡メモリを付加するフレームワークであるBIT-Nav（Brain-Inspired Trajectory Memory for Embodied Navigation）を提案します。生の感覚的な再生ではなく、空間体験を構造化されたエピソード・トレースへと圧縮する海馬・嗅内皮質系に着想を得て、BIT-Navは軌跡の履歴を明示的なモダリティとして扱います。

パイプラインは以下の4つの主要な段階で構成されます。

軌跡表現と特徴量エンジニアリング:
生の行動IDを入力する代わりに、システムは離散的なナビゲーション行動（ $a_{1:T}$ ）を、各タイムステップにおける7次元の運動特徴ベクトル（ $m_t$ ）に変換します。このベクトルには、累積平面位置（ $c_x, c_y$ ）、累積方位角（ $\theta$ ）、方位角の変化（ $\Delta\theta$ ）、および前進移動と回転のインジケーター変数が含まれます。この豊かな表現により、局所的な制御信号とエージェントの蓄積された幾何学的状態の両方が露出されます。
BITE (Bi-GRU 軌跡エンコーダ):
2層の双方向GRUが可変長の運動シーケンスをエンコードします。最終的な隠れ状態のみに依存する手法とは異なり、BITEは全有効シーケンスに対してマスク付き平均プーリングを採用し、固定次元の埋め込み（ $\bar{h} \in \mathbb{R}^{512}$ ）を生成します。これにより、埋め込みが単なる最終状態ではなく、経路全体の構造を要約することを保証します。出力はプロジェクションヘッドを通過し、 $\ell_2$ 正規化されて128次元の軌跡埋め込み（ $z$ ）となります。
対照学習目的関数:
エンコーダは、グループ構造を持つミニバッチ上でマルチポジティブInfoNCE目的関数（SimCLRスタイル）を用いて訓練されます。データセットは、始点と終点は同じであるが、中間ステップや総長が異なる10個の拡張された軌跡からなるグループに整理されています。各アンカー軌跡に対し、グループ内の他の9つの軌跡はポジティブとして機能し、他のグループの軌跡はネガティブとして機能します。この目的関数により、エンコーダは特定の経路を記憶するのではなく、「始点と終点の等価クラス」のコンパクトな表現、すなわち構造的な不変性を学習することを強制されます。
VLMとの統合:
訓練されたBi-GRUエンコーダは凍結されます。軽量で学習可能なマルチモーダル・プロジェクター（MLP）が、軌跡埋め込みを事前学習済みVLM（具体的にはQwen3-VL-8B）のトークン空間へとマッピングします。各決定ステップにおいて、この投影されたベクトルは、現在の視覚的観測、疎な履歴フレーム、および言語指示とともに、単一の「軌跡メモリ・トークン」として注入されます。これにより、アーキテクチャの変更なしに、VLMは単一のフォワードパス内で構造化された運動履歴に基づいて推論を行うことが可能になります。

主な貢献

固有のモダリティとしての軌跡: 本論文は、視覚および言語入力に対し、エージェントの運動の明示的な表現である「軌跡」と「位置」を、独立した不可欠なモダリティとして導入しました。
創発的な指示ローカリゼーション: 本フレームワークは、軌跡メモリを組み込むことで、明示的な監督なしにモデルが指示の進行度を暗黙的に追跡できることを示しており、これにより完了したサブゴールを推論し、残りのステップに基づいて意思決定を行うことが可能になります。
軌跡とVLMの整合: 著者らは、学習された軌跡埋め込みを学習可能なプロジェクターを介して大規模なVLMと整合させることに成功し、モデルが構造化された運動履歴とともに視覚的観測に基づいて推論を行うことを可能にしました。
データセット構築: R2RおよびRxPベンチマークから、軌跡を考慮したデータセットが構築されました。これには、運動構造の学習を促進するために、幾何学的には等価だが実行においては多様な軌跡のバリエーションを生成する拡張戦略が含まれています。

結果

論文では、軌跡に基づいたクエリに対する定量的精度と、シミュレーション（Isaac Sim）における定性的推論の2つの軸でBIT-Navを評価しています。

定量的精度: 軌跡の長さが15から125ステップに及ぶ範囲での、累積方位角推定（Q1）および行動頻度（Q2）に関するクエリにおいて、BIT-Navはベースラインを大幅に上回っています。
- 累積方位角推定において、BIT-Navはすべての軌跡長にわたって0.83の精度を達成しました。対照的に、ベースライン（テキスト履歴を持つQwen、または履歴なし）は、軌跡が長くなるにつれて $\approx 0.07$ へと崩壊し、長い履歴にわたる符号付き回転角の統合に失敗しています。
- 行動頻度の推論において、BIT-Navは一定のトークンコストを維持しながら、テキスト履歴ベースラインと同等の性能を実現しています。
トークン効率: BIT-Navは、軌跡の長さに依存せず、正確に1つのトークンを注入します。124ステップにおいて、テキスト履歴ベースラインは903トークンを必要とするのに対し、BIT-Navはわずか41トークン（ベースラインコストの約4.5%）を使用しながら、密な運動コンテキストを保持しています。
定性的評価: シミュレーションにおいて、BIT-Navは長期間のエピソードにおける実行された回転方向とシーケンスを正しく報告します。対照的に、ベースのQwenモデルは、全行動履歴ではなく現在の視覚フレームに推論を固定してしまうため、回転を省略したり、エピソードの進行度を見誤ったりすることがよくあります。

重要性と主張

著者らは、BIT-NavがVLMベースのナビゲーションにおけるステートレスな推論という根本的な限界に対処すると主張しています。軌跡の履歴をコンパクトで構造化されたトークンとしてエンコードすることで、本フレームワークは、生のフレームでコンテキストウィンドウを拡張するという計算オーバーヘッドを伴わずに、構造化された長期間の推論を可能にします。

本論文は、このアプローチによって、VLMが指示のローカリゼーション（指示がどの程度実行され、何が残っているかを判断する能力）を実行できることを強調しています。これは、エージェントの蓄積された運動履歴に現在の決定を接地させることで実現されます。著者らは、現在の結果は学習された表現とその整合特性を特徴付けるものであるが、エンドツーエンドのベンチマーク評価（例：R2R/RxRのval-unseenスプリットにおけるSuccess RateやSPL）は現在進行中の作業であると述べています。提案された手法は、既存のVLMの推論能力を維持しつつ、時間的に構造化された運動履歴へと拡張するための補完的な拡張として提示されています。