🤖 AI

2.5-D Decomposition for LLM-Based Spatial Construction

本論文は、決定論的実行器が垂直配置を処理する一方でモデルを 2 次元計画に制限することで、LLM に基づく空間構築の精度を大幅に向上させる 2.5 次元分解を活用した神経記号パイプラインを導入し、ベンチマークにおいて天井に近い性能を達成するとともに、エッジハードウェアおよび多様な協調タスクへの成功した転移を実証する。

原著者： Paul Whitten, Li-Jen Chen, Sharath Baddam

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Paul Whitten, Li-Jen Chen, Sharath Baddam

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いけれど、少し不器用なロボットに、色とりどりのブロックで塔を作る方法を、次のような音声指示に基づいて教えることを想像してみてください。「T 字型を作り、その上に紫色のブロックを乗せなさい」といった指示です。

問題は、ロボットが持つ脳（大規模言語モデル、または LLM）は、その形状の「概念」を理解するには優れているものの、3 次元空間内でブロックを「どこに」配置するかという計算においては非常に苦手だということです。重力の存在を忘れ、空中にブロックを積み上げたり、積み重ねの高さを誤って数えたりすることがよくあります。

この論文は、「2.5 次元分解」と呼ばれる巧妙な解決策を提示しています。その仕組みを、簡単な比喩を用いて説明します。

問題点：「不器用な建築家」

LLM を、紙の上に完璧な 2 次元の設計図を描くことができる天才的な建築家に例えてみましょう。この建築家は、平面図上で壁がどこに配置されるべきかを正確に知っています。しかし、もしこの建築家に、3 次元の塔を構成するすべてのレンガの正確な高さまで計算するように求めると、間違いを犯し始めます。「ここにレンガを置け」と言うものの、その下にすでにレンガがあることに気づいていなかったり、積み上げすぎたりするのです。

解決策：「重力に強い現場監督」

著者たちは、多くの建築タスクにおいて、ブロックの高さは自由な選択ではなく、物理法則によって決定されることに気づきました。重力のある平坦な床で建築する場合、新しいブロックは、すでに存在する最も高いブロックの上に置かれなければなりません。高さは自動的に決まるのです。

そこで、彼らは仕事を 2 つの部分に分割しました。

建築家（LLM）: この部分は、2 次元の平面図を描くことのみが許可されています。「X 位置に赤いブロックを、Z 位置に青いブロックを置け」と言います。高さ（Y 軸）については言及してはなりません。建物の「足跡」だけを計画するのです。
現場監督（決定論的コード）: これは、思考を持たない単純なコンピュータプログラムです。その唯一の役割は、平面図を見て、「X と Z にブロックが欲しいのか？なら、重力の法則により、そこにはすでに存在するものの上に置かなければならない」と言うことです。高さを自動的に計算します。

「高さ」の決定権を不器用な建築家から取り上げ、無思考の現場監督に与えることで、彼らは広範な誤りのカテゴリを排除しました。

「覗き穴」トリック

この論文では、「覗き穴プロンプト最適化」についても言及しています。建築家が特定の予測可能な空想に陥りやすいと想像してください。例えば、「端を延長せよ」と指示すると、床を延長するのではなく、誤って塔を建ててしまうような場合です。

研究者たちは、「抜き打ちチェック」システムを作成しました。建築家が設計図を描く前に、簡易スキャナが指示を確認します。「各端」といったトラブルを引き起こすことが知られたフレーズを検出すると、建築家の耳に小さな特定のメモをこっそり渡します。「ねえ、『各端』という言葉を見かけたら、上方向ではなく横方向に延長することを忘れないで」といった具合です。これは、建築家の既知の弱点に対する安全網として機能します。

結果

彼らがこのシステムをテストした結果は以下の通りです。

旧来の方法: LLM のみで全て（3 次元計画）を行う場合、精度は約 76% から 90% でした。
新しい方法: 2.5 次元分割（建築家＋現場監督）を使用すると、精度は**94.6%**まで向上しました。
意外な発見: この新しい手法を用いた小規模で安価な AI モデル（GPT-4o-mini）は、この手法を用いないはるかに大規模で高価なモデル（GPT-4o）よりも高い性能を発揮しました。

実世界への移植性

この論文はまた、このトリックが特定のコンピュータに限定されないことも示しました。彼らは、ロボットの頭部に搭載可能な小型で高性能なコンピュータチップ（NVIDIA Jetson Thor）上で同じシステムを実行したところ、巨大なクラウドコンピュータと同等の性能を発揮しました。

結論

主要な教訓はシンプルです。言語モデルに、それが苦手とする数学をやらせないこと。 タスクの一部が物理法則（重力による高さの決定など）によって固定されている場合、その部分は単純なコンピュータプログラムに任せるべきです。AI には計画の創造的で柔軟な部分にのみ集中させます。これにより、AI 自体が完璧でなくても、システム全体がはるかに信頼性の高いものになります。

注記：この論文では、残りの誤りの約 5% は、明確化の質問に答える別の「建築家エージェント」に起因しており、これはこの特定の手法では修正できなかった別の限界であると述べています。

技術概要：LLM に基づく空間構築のための 2.5 次元分解

問題定義

自然言語の指示から物理的構造物を構築する自律システムは、重要な信頼性のギャップに直面している。すなわち、大規模言語モデル（LLM）は高レベルの意図の理解においては卓越しているが、特に 3 次元座標生成に関しては、体系的に精密な空間推論に失敗する傾向がある。以前のベンチマークは、LLM が垂直方向の配置、1 単位ずれた積み重ね、重複する位置において頻繁にエラーを発生させることを示している。これらの失敗は、重力のような物理的制約を強制する内部世界モデルの欠如に起因しており、重力はブロックの垂直位置がその下の列の占有状態によって厳密に決定されることを規定している。

手法

本論文は、これらの座標エラーに対処するために、2.5 次元分解に基づくニューロ記号パイプラインを提案する。核心的な洞察は、重力制約のある構築ドメインにおいて、垂直軸（ $y$ ）は自由変数ではなく、水平位置（ $x, z$ ）およびグリッドの現在の状態の決定論的関数であるという点にある。

2.5 次元分解パイプライン

本システムは、計画と実行のタスクを独立したモジュールに分離する：

LLM プランナー（2D）: LLM は 2 次元水平面における計画の生成に限定される。これは $(x, z)$ 座標、ブロックの色、アクションの種類、および数を指定するのみであり、垂直（ $y$ ）座標の出力は明示的に禁止される。
決定論的エグゼキューター（3D）: 記号エンジンが、列の占有状態に基づいて各ブロックの垂直配置を計算する。 $(x, z)$ における新しいブロックの垂直座標 $y^*$ は、セルが空である最小の高さとして計算され、重力制約が厳密に満たされることを保証する：
$y^*(x, z, G) = \min\{y \in \{0, \dots, 4\} \mid (x, y, z) \notin \text{dom}(G)\}$
これにより、 $y$ 次元を LLM の出力空間から除去することで、座標エラーの完全なクラスが排除される。

支援コンポーネント

パイプラインには、曖昧さや体系的な失敗モードに対処するための 4 つの追加メカニズムが含まれる：

構造アナライザー: 既存のグリッド内の幾何学的プリミティブ（例：T 字型、L 字型）を検出し、プランナーに情報を提供する。
未特定検出器: 意思決定理論的フレームワークを用いて、いつ照会質問を行うべきかを決定する。曖昧さが存在する場合、数に関する質問よりも色に関する質問を優先し、推測することと質問することの期待値を計算する。
ペephole プロンプト最適化器: 「各端部」や「手前に」など、体系的な LLM エラーを引き起こすことが知られている特定のトリガーフレーズを指示からスキャンする。検出された場合、LLM 呼び出し前にプロンプトにターゲットを絞ったパターンマッチングによる修正と実例を注入する。
計画検証器: 生成された計画を指示およびグリッド状態に対して検証するルールベースのモジュールであり、方向の一貫性と積み重ねの妥当性について修正を行う。

主要な貢献

2.5 次元分解: LLM による計画を 2 次元水平面に制限し、垂直配置を決定論的エグゼキューターに委任する新しいアーキテクチャパターン。これにより垂直座標エラーを実質的に排除する。
ペephole プロンプト最適化: 特定の入力パターンによって引き起こされる体系的な LLM の失敗モードを特定し、動的なプロンプト注入によって修正する手法。コンパイラ最適化に類似している。
実証的検証: このパイプラインにより、より小型で費用対効果の高いモデル（GPT-4o-mini）が、より大型で高価なモデル（GPT-4o）を上回る構造的精度を達成することを示した。
意思決定理論的フレームワーク: 欠落した色や数などの未特定指示を処理するための形式的アプローチ。正しい推測の確率と照会質問を行うことによるペナルティを比較衡量する。

実験結果

本システムは、160 ラウンドのブロック構築タスクからなるBuild What I Mean (BWIM) ベンチマークで評価された。

精度: GPT-4o-mini を使用した完全なパイプラインは、12 回の独立した実行において平均構造的精度**94.6%**を達成した。
比較: この結果は、分解なしの GPT-4o を使用した最良の競合システム（76.3%）および直接の GPT-4o ベースライン（90.3%）を上回った。
アブレーション研究: 2.5 次元分解を除去すると、最も顕著な性能低下が生じ、精度が50.7 ポイント低下して 43.8% となった。これは成功への主要な寄与因子であることを確認した。未特定処理とペephole 最適化もそれぞれ 17.9 ポイントと 11.3 ポイントで有意に寄与した。
エッジ展開: パイプラインはローカルエッジハードウェアへ正常に移行された。Nemotron-3 120Bは、NVIDIA Jetson Thor AGX 上でローカルに実行され、プロンプト変更なしで**94.5%**の精度を達成し、クラウドベースの GPT-4o-mini の結果と一致した。
一般化: IGLU協働構築データセットからの 500 タスクに対する転移実験により、2.5 次元分解のみでブロックレベルの F1 スコアが 0.723 から 0.798 に向上することが示され、このアプローチが主要ベンチマークを超えて適用可能であることを確認した。

意義と主張

本論文は、LLM に基づく空間構築における主な制限は推論能力の欠如ではなく、モデルの出力空間に決定論的次元が含まれていることであると論じている。物理的制約（例えば重力）から計算可能な次元を特定し、それらを LLM の責任から除外することで、システムは照会エージェント（「建築家」）の質によって課される理論的な天井に匹敵する信頼性を達成する。

著者らは、この2.5 次元構造が、物理法則が組み立てや配置を制約する任意の自律システムに対して一般化可能な原理であると主張している。引用されている例には、地形追従 UAV の経路計画（高度は水平位置と地形データの関数である）および自動化された機器メンテナンス（部品挿入経路は機械の幾何学によって制約される）が含まれる。この研究は、物理的に制約された環境における信頼性の高い LLM 誘導操作は、より大きなモデルを訓練することではなく、決定論的推論を記号コードに委任するシステムを設計することによって達成可能であることを示唆している。

著者らは、達成可能な精度には約**97.6%**という厳密な天井があると指摘している。これは照会質問に回答する建築家エージェント（LLM）のエラーによって制限される。現在のシステムの 94.6% の精度は、ビルダー側の改善に対してわずか 3.0 ポイントの余地しか残しておらず、提案されたパイプラインがビルダーコンポーネントの可能性をほぼ最大化していることを示している。