💻 computer science

FARM: Find Anything using Relational Spatial Memory

FARMは、オープンボキャブラリのオブジェクトレベルメモリと視覚言語モデルを組み合わせることで、意味的、外観的、および空間的な関係性に基づいてユーザーのクエリを解析・接地し、複雑な環境においてロボットが特定の物体インスタンスを正確に特定することを可能にする、リアルタイムのリレーショナル・スペーシャル・メモリ・システムであり、検索精度において従来の手法を大幅に上回っています。

原著者： Siming He, Leo Huang, Adam Lilja, Fabio Hubel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Siming He, Leo Huang, Adam Lilja, Fabio Hubel, Jonas Frey, Marco Pavone, S. Shankar Sastry, Jitendra Malik, Claire Tomlin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、何百もの同じように見えるアイテムで溢れかえった、巨大で散らかった倉庫や多層階の家に足を踏み入れました。そしてロボットにこう尋ねます。「ダーツボードの下にあり、ポスターの左側に置かれている高いランプを見つけて」

もしロボットが単なる「見たもののリスト」しか持っていなければ、途方に暮れてしまうでしょう。42個のランプを見つけ、間違ったものを選んでしまうかもしれません。ロボットには、オブジェクトそのものだけでなく、オブジェクト間の関係性を理解させる必要があります。

この論文では、FARM（Find Anything using Relational Spatial Memory：関係的空間メモリを用いたあらゆるものの発見）という、ロボットが巨大で複雑な環境の中で物事を記憶し、探し出すための新しい手法を紹介します。その仕組みを、シンプルな概念に分解して説明します。

1. 問題点：「干し草の中の針」

今日のほとんどのロボットは、本のタイトルしか知らない司書のようなものです。もし「赤い本」を探すよう頼まれたら、彼らはどれでもいいから赤い本を掴んでしまうかもしれません。しかし、実際の家や建設現場には、何千もの赤い本、青い椅子、白いゴミ箱が存在します。

ユーザーは単に「ランプを見つけて」とは言いません。「ソファの隣にあり、絵画の下にあり、テレビよりも遠くにあるランプを見つけて」と言うのです。これを行うためには、ロボットには**関係的空間メモリ（Relational Spatial Memory）**が必要です。単に「何があるか」だけでなく、「それらが互いにどこにあるか」を記憶する必要があるのです。

2. 解決策：FARMの「スマートなファイリングシステム」

FARMは、ロボットが周囲を移動するにつれてリアルタイムで構築される、超整理されたファイリングシステムのように機能します。

「ガウス型」ファイリングカード： すべてのオブジェクトの重厚で詳細な3Dモデルを保存する代わりに（これはメモリを大量に消費します）、FARMは各オブジェクトを単一のコンパクトな「雲」（3Dガウス分布と呼ばれるもの）として保存します。これは、オブジェクトのサイズと位置を表す、ふわふわとした光る風船のようなものだと考えてください。軽量であり、即座に更新されます。
「非同期」の司書： ロボットが移動やスキャンを行っている間（クリティカルパス）、背景にある別のAIワーカーのチーム（視覚言語モデル）が、オブジェクトがどのような見た目であるかについての詳細な記述やメモを作成しています。これはバックグラウンドで行われるため、ロボットは考えるために動きを止める必要がありません。
「記号的」な探偵： 質問を受けたとき、FARMはただ推測するわけではありません。AIを使用して、あなたの文章を論理的なパズルへと翻訳します。
- あなたのクエリ： 「白いバンの近くにある青いトイレを見つけて」
- FARMの論理： 「よし、『青いトイレ（ターゲット）』を見つける必要がある。『白いバン（アンカー）』を見つけなければならない。そしてチェックする：青いトイレは白いバンの『近く』にあるか？」

3. パズルの解き方

クエリを受け取ったとき、ロボットは何千ものビデオフレームを一度に読み取ろうとする（これは遅くて混乱を招きます）のではなく、あなたの文章を解析して、ターゲットとアンカー（あなたが挙げたランドマーク）のマッピングを作成します。

解析（Parse）： 文章を「ターゲット」と「アンカー（ランドマーク）」のマップに分解します。
スコアリング（Score）： 素早くメモリをチェックします。「よし、青いトイレが5つある。どれが白いバンのに最も近いか？」数学を用いて、各候補が記述にどれだけ適合するかをスコア化します。
検証（Verify）： もし非常に似通った候補がまだ複数ある場合は、特定の場所の写真を数枚呼び出し、強力なAIに「これら2つのうち、どちらが写真の見た目と一致するか？」と問いかけます。この最終チェックによって、高い精度が保証されます。

4. 結果：スピードと精度

論文では、FARMを2つの全く異なる環境でテストしました。

屋内： 42個の似たようなランプがある多層階の家。
屋外： 移動式トイレや配送用バンが多数存在する、広大な建設現場（15,000平方メートル）。

結果は驚くべきものでした：

スピード： FARMはロボットが移動しながらメモリを構築し、その速度は1秒間に5回から10回です。これはリアルタイムでの使用に十分な速さです。
精度： FARMは、従来の手法よりもはるかに高い頻度で正しいオブジェクトを見つけ出しました。建設現場のテストでは、近くのバンをヒントとして使うことで、3つの同一のトイレの中から正しいものを選び出すことができました。
効率性： 巨大な3Dマップを保存しようとする他のシステムと比較して、FARMは非常に少ないコンピュータメモリ（写真数枚分ほどのサイズ）しか使用しません。

5. 実世界でのテスト

チームはコンピュータ上でのみテストを行ったのではありません。FARMをBoston Dynamics Spot（4本脚の犬のようなロボット）に搭載しました。ロボットを実際の環境内へと走らせ、ロボット自身のコンピュータ上でメモリを構築し、複雑な指示に基づいて特定のアイテムを探させました。ロボットは正しく目的のオブジェクトへとナビゲートすることに成功し、この「ファイリングシステム」が、現実の乱雑な世界でも機能することを証明しました。

まとめ

FARMは、ロボットに単なる「物のリスト」ではなく、**「スマートな関係的マップ」**を与えるようなものです。これにより、ロボットは「ダーツボードの下にあるランプ」が「テーブルの上にあるランプ」とは異なるものであることを、たとえ見た目が全く同じであっても理解できるようになります。高速な3Dマッピングとスマートな言語理解を組み合わせることで、巨大で混雑した空間においても、特定のアイテムを瞬時に、かつ正確に見つけ出すことができるのです。

技術要約: FARM (Find Anything using Relational Spatial Memory)

問題提起

大規模かつ物体が豊富な環境（住宅、倉庫、建設現場など）で動作するロボットには、特定の物体インスタンスをオンデマンドで検索できる持続的なメモリシステムが必要である。既存のアプローチには、主に2つの限界がある：

メモリ表現の不十分さ： 閉じた語彙（closed-vocabulary）に基づくセマンティックSLAMや3Dシーングラフは、ユーザーが自然に用いるオープンな語彙への汎化性に欠ける。近年のオープンボキャブラリ手法は存在するものの、それらはオフラインの事後処理やスケールに応じたハイパーパラメータのチューニングを必要としたり、シーングラフに対する脆弱なエンドツーエンドの推論に依存したりすることが多い。
効果的でない関係性による検索： ユーザーは通常、ランドマークに対する構成的な関係性を用いてターゲットを指定する（例：「ダーツボードの下、かつポスターの左にある高いランプ」）。純粋な埋め込みベースの検索（例：CLIP）では、これらの複雑な関係構造を捉えることができない。逆に、生のフレーム履歴やシーングラフに対するエンドツーエンドの視覚言語モデル（VLM）による推論は、特にロボットに展開可能なモデルにおいて、非自明な空間関係に対して脆弱であり、大規模環境におけるコンテキストウィンドウの制限にも悩まされる。

本論文は、成功する検索には**関係的空間メモリ（relational spatial memory）**が必要であると断じている。これは、クエリを単なるラベルのルックアップとしてではなく、複数の物体間の意味的、外観的、および空間的な関係によってターゲットを特定するための「関係的仕様」として扱う3Dメモリである。

手法

FARMは、オンラインでのメモリ構築と堅牢な関係的物体検索という2段階のパイプラインを通じて、これらの課題に対処する。

1. オンライン・メモリ構築

FARMは、オフラインの事後処理なしに、リアルタイム（5–10 Hz）でコンパクトかつオープンボキャブラリな物体レベルのメモリを構築する。

表現： 各物体は、位置と空間的な広がりを要約する単一の3Dガウス分布（ $\mathcal{N}(\mu, \Sigma)$ ）として表現される。この選択により、ボクセルやポイントクラウドで必要となるグローバルな解像度のハイパーパラメータを回避でき、固定の設定のまま、小さな室内から大規模な屋外サイト（最大15,000 m²）までスケールさせることが可能になる。
属性： 各エンティティは以下を保持する：
- 3Dガウス幾何学。
- クロスビューの関連付けのための検出時の外観特徴量。
- ビューポイントの多様性を確保するために選択された、最大 $k$ 個の代表的なビュー（RGBクロップ）。
- VLMによって生成されたオープンボキャブラリのキャプション。
- 3つの検索用埋め込み：キャプションのテキスト埋め込み、SigLIP2画像埋め込み、およびQwen3-VL画像埋め込み。
関係性： システムは、マッピング中に高次の述語（例：「〜の左」）ではなく、低次の関係（共視性とHellinger距離による隣接性）を保存する。これにより、関係性の複雑さが指数関数的に増大することを防ぎ、特定の関係性はクエリ時に復元される。
パイプライン： システムは、GPU上で同期的なdetect–lift–associate–fuseループを実行する。視覚言語キャプション生成と埋め込みは、VLMワーカーを用いてクリティカルパスから非同期で行われ、VLMのレイテンシに関わらずマッピングのフレームレートが安定するように設計されている。

2. 堅牢な関係的物体検索

検索は、効率と精度のバランスをとるために3つのステージに分離されている：

実行可能なクエリ仕様： パーサー（Qwen3.5-9B）が、自然言語クエリを型付きのクエリグラフ $\Pi(q) = (x^\star, a_1, \dots, a_m, S_q, \Phi_q)$ にコンパイルする。これは、ターゲット変数 $x^\star$ 、アンカー変数 $a_i$ 、オープンボキャブラリの説明 $S_q$ 、および空間的/意味的述語 $\Phi_q$ を定義する。
ソフトスコアリングとバインディング：
- 単項スコア（Unary Scores）： テキスト、SigLIP2、およびQwen3-VLの埋め込みの融合に基づいて候補がスコアリングされる。
- 関係性スコア（Relational Scores）： 述語は、メモリの3Dガウス分布に対するソフト関数として評価される（例：「近い」のためのHellinger距離、「上/下」のための垂直オフセットシグモイド、「左/右」のための仮想ビューアフレーム）。
- バインディング： システムは、典型的な参照表現の星型構造（star-shaped structure）を利用して、ターゲット候補ごとにアンカーを最適なエンティティに貪欲にバインドし、網羅的な列挙を回避する。
VLMによるリランキング： 上位5つの候補は、候補とその一致したアンカーの投影ビューを検査するVLM（Qwen3.5-9B）によってリランキングされる。このステージにより、幾何学的述語だけでは解決できない残留する曖昧さが解消される。

主な貢献

リアルタイム・シーングラフ・アルゴリズム： ロボット規模（5–10 Hz）でオープンボキャブラリの空間メモリをオンラインで構築する、スケーラブルなアルゴリズム。これは、多様な屋内および屋外環境において固定のハイパーパラメータセットを使用し、オフラインの事後処理を必要としない。
関係的検索フレームワーク： 構造化された記号的解析、ソフト述語評価、およびVLMリランキングを組み合わせることで、従来のメソッドよりも高いトップ1精度とトップK再現率を実現する検索システム。
FARM-Scenesベンチマーク： スケーラビリティと関係的グラウンディングを、現実世界の混雑した環境でテストするためにキュレーションされた、7つの大規模な屋内および屋外シーン（1,800 m²から15,000 m²まで）で構成される新しいベンチマーク。

実験結果

著者らは、67のシーン（ScanNet、HM3D、FARM-Scenes）と44,000の言語クエリを用いてFARMを評価した。

性能向上： 従来のメソッド（BBQ、RynnBrain、DAAAM）と比較して、FARMは以下を改善した：
- BBQに対して、Recall@5を164%、Recall@10を224%向上させた。
- より強力なVLM推論ベースライン（RynnBrainまたはDAAAM+R）に対して、Accuracy@1を35%向上させた。
- HM3D-30ベンチマークにおいて、DAAAMに対してAccuracy@1を30%向上させた（7.9% vs 6.1%）。
効率性： FARMは約8 Hzのマッピングスループットを維持する。メモリフットプリントはコンパクトであり（ScanNetで約23 MiB、HM3Dで約125 MiB）、デバイス上へのデプロイに適している。
実世界への展開： 本システムは、Boston Dynamics社のSpotロボット上に搭載されたNVIDIA Jetson Thorコンピューティングを用いて正常に展開され、オフラインの前処理なしに、リアルタイムでのクローズドループ・メモリ構築と関係的検索を実証した。

重要性と主張

本論文は、FARMが大規模環境における関係的物体グラウンディングの新たな最先端（SOTA）を確立すると主張している。その重要性は以下の点にある：

ギャップの解消： モダンなVLMの知覚能力と、構造化された持続的な空間メモリの必要性とを橋渡しすることに成功しており、純粋なビデオベースの推論におけるコンテキストウィンドウの制限を回避している。
スケーラビリティ： 3Dガウス分布を使用し、高次の関係性構築をクエリ時に遅延させることで、FARMは再チューニングなしに、極めて異なるシーンサイズ（15 m²から15,000 m²まで）にわたるスケーラビリティを実現している。
堅牢性： VLMを（解析とリランキングのために）エンドツーエンドの推論ではなく構造的に使用することで、グラフに対するエンドツーエンドの推論よりも正確で堅牢な検索を実現している。
実用性： システムはオンボードハードウェア上でリアルタイムに動作し、運用中にロボットが自身のメモリを構築・照会することを可能にする。

著者らは、空間述語が手動で指定されており、校正（calibration）されていないこと、および現在のベンチマークが主にターゲットとアンカー間の関係を評価しており、複数のアンカー間の複雑な推論を評価していないことを指摘し、限界を認めている。彼らは、校正された述語関数の学習や、構成的なアンカー推論をサポートするためのベンチマークの拡張に関する今後の課題を示唆している。