技術要約: NeSy-Spatial

問題提起

大規模視覚言語モデル（LVLM）は、一般的なマルチモーダル推論において強力な能力を示しているが、きめ細かな空間タスクにおいては依然として信頼性に欠ける。これらのタスクは、エンドツーエンドの生成能力を超える、精密な視覚的知覚と構造化された幾何学的計算を必要とすることが多い。ツール拡張（外部の視覚モデルやエグゼキュータの活用）は解決策となるが、既存のアプローチには主に2つの制限がある：

1. 動的なプランニング: ツール呼び出しをゼロから計画する手法は、ツールの依存関係や実行順序に対する明示的な制約を欠いていることが多く、無効なシーケンス（例：必要なオブジェクトの座標を取得する前にPythonインタープリタを呼び出すなど）を招く。
2. 固定されたパイプライン: 手動で設計されたパイプラインに依存する手法は、タスクの複雑さに関わらず不要なツールを呼び出す冗長性を持ち、多様な空間推論シナリオへの汎用性に欠ける。

現在のエージェントには、再利用可能な経験を蓄積し、それを新しい問題のために適応的に構成する能力が欠けており、時間をかけて空間スキルを抽象化、洗練、進化させることができるフレームワークが必要である。

手法: NeSy-Spatial

著者らは、自己進化する空間スキルのための、神経記号的（neuro-symbolic）フレームワークであるNeSy-Spatialを提案する。このフレームワークは、ツールとの相互作用と幾何学的操作を、型定義された実行可能な原子的命令（atomic instructions）へと抽象化し、それらを2つの補完的なスキルタイプ、すなわち**ツール使用スキル（Tool-Use Skills）と幾何学スキル（Geometry Skills）**へと構成する。

1. 神経記号的スキル定式化

スキルライブラリ（$Lib$）は、原子的命令（$A$）と高レベルスキル（$S$）の集合で構成される。ここで$S = S_{tool} \cup S_{geo}$ である。

• 原子的命令 (Atomic Instructions): これらはローカル検証器を備えた、型定義された実行可能な操作である。以下に分類される：
  • ツール原子 ($A_{tool}$): 視覚ツールおよびPythonエグゼキュータのラッパー。
  • 幾何学原子 ($A_{geo}$): 幾何学的変換、数値比較、および関係性の検証のための再利用可能なコードブロックであり、Pythonツール内で内部的に実行される。
• 高レベルスキル: ノード・エッジ・コンテキスト構造（$s = \{V, E, \kappa\}$）として表現される。
  • ツール使用スキル ($S_{tool}$): コントローラから可視なツール原子を、再利用可能なワークフローとして整理し、実行依存関係とコンテキスト（例：オブジェクトのバインディング、ツールの引数）を定義する。
  • 幾何学スキル ($S_{geo}$): Pythonツール呼び出しのための、再利用可能で検証可能な実装を提供し、座標変換や一貫性チェックなどの操作を抽象化する。

2. 推論プロセス

推論中、NeSy-Spatialは以下の4つのステージからなるクローズドループプロセスで動作する。

1. スキル検索 (Skill Retrieval): エージェントは現在の質問と状態を用いてスキルライブラリを照会し、関連するスキルの候補セットを抽出する。
2. アクション選択 (Action Selection): コントローラは次のアクションを選択する：回答による終了、取得されたツール使用スキルの活性化、または特定のツール原子の呼び出し。幾何学スキルは、独立したコントローラのアクションとしてではなく、Python原子内でインスタンス化される。
3. ツール/コード実行 (Tool/Code Execution): 選択されたアクションは、ツール原子または依存関係が整ったノードを実行する。Python原子に到達すると、エージェントは取得された幾何学スキルをインスタンス化してコード構築をガイドし、構造化され検証可能な幾何学的計算を保証する。
4. 状態更新 (State Update): 実行出力と検証器の結果がワーキングメモリを更新し、最終的な回答が生成されるまで次の検索ラウンドを開始する。

3. 自己進化メカニズム

本フレームワークは、完了した軌跡（trajectory）のバッファ（$B_t$）に基づき、エピソード間でスキルライブラリを進化させる。進化は、バッファが閾値（$N_{buf}$）に達したときにトリガーされる。

• 軌跡分析 (Trajectory Analysis): システムは軌跡を操作、引数、および結果に分解し、再利用可能な構造を特定する。依存関係のパターンを集計して、原子的命令を更新し、サポートされている、あるいは無効なスキル断片を特定する。
• スキルの融合 (Skill Fusion): 抽出された原子および断片は、既存のライブラリと融合される。これには、新しい命令の追加、検証器をより良く満たす場合の既存の実装の置換、およびサポートされている断片の追加や冗長な依存関係の削除による高レベルスキルの編集が含まれる。
• スキルの剪定 (Skill Pruning): 無制限な蓄積を防ぐため、システムは呼び出し履歴に基づいてエントリーを剪定する。エラー率の閾値を超えた場合、一定期間アクティブでない場合、または十分な呼び出しサポートがない場合、スキルまたは原子は削除される。長期生存するエントリーを早期の削除から保護するために、在籍期間に依存した保持係数が適用される。

主な貢献

1. 空間スキルの神経記号的定義: 本論文は、型定義された実行可能な原子的命令を通じて、ツールの呼び出しと幾何学的計算を結合させた統一的な定義を導入する。
2. NeSy-Spatialフレームワーク: 分析、融合、およびバッファリングされた軌跡の剪定を通じて、原子的命令および高レベルスキル（ツール使用および幾何学）を更新する、スキルの自己進化フレームワーク。
3. 実証的検証: 3つの空間推論ベンチマーク（MMSI, MindCube, OmniSpatial）における広範な評価により、ベースとなる静的なツール使用エージェントおよび固定パイプライン手法に対する一貫した改善を示した。

実験結果

著者らは、GPT-5.4およびGemini 2.5 Proをバックボーンとして、3つのデータセットを用いてNeSy-Spatialを評価した。

• 推論精度: NeSy-Spatialは、6つのバックボーン・データセット設定のうち5つで最高の総合精度を達成した。特にGemini 2.5 Proを用いた場合、最強のベースラインを大幅に上回った（例：MindCubeで+10.12%）。
• ツール活用: 本フレームワークは、初回通過組成型ツールチェーン成功率（FTCS）およびPython実行成功率を大幅に向上させ、より信頼性が高く精密なツール使用を示した。
• 進化のダイナミクス: 分析により、スキルライブラリがオンラインの相互作用を通じて、少数のシードスキル（3〜4個）から、より洗練された大きなセット（最大20個）へと拡大したことが示された。極めて重要な点として、ライブラリのサイズは単調増加ではなかった。剪定によって信頼性の低い、あるいは非アクティブなスキルが能動的に削除され、蓄積と洗練の間の動的なバランスが維持されていた。
• アブレーション研究: スキル進化を無効にする、あるいはツール使用または幾何学スキルのいずれかを削除すると、大幅な性能低下を招いた。これは、オンライン進化と2つのスキルタイプの相補的な性質が、フレームワークの成功に不可欠であることを裏付けている。

意義と主張

本論文は、現在の空間推論エージェントにおける決定的なギャップ、すなわち「経験から学び、再利用可能な手順を適応的に構成する能力の欠如」に対処することを主張している。ゼロからのプランニングや硬直したテンプレートへの依存から脱却することで、NeSy-Spatialは、エージェントが再利用可能な経験を蓄積し、失敗の診断を通じてスキル構造を洗練し、効果のないエントリーを剪定することを可能にする。結果は、自己進化する神経記号的スキルが、特に精密な幾何学的計算と多段階の推論を必要とするシナリオにおいて、ツール拡張型の空間推論の信頼性と効率を向上させるための堅牢な経路であることを示唆している。著者らは、現在の評価が選択されたベンチマークとツール環境に限定されていることを指摘しており、今後の課題として、より広範なタスクへの適用や未知の設定への転移を挙げている。