🤖 machine learning

Interaction Locality in Hierarchical Recursive Reasoning

本論文は、アクティベーションパッチングと特徴アブレーションを用いて、階層的かつ再帰的推論モデル（HRM および TRM）が複雑な空間タスクを解決する際、局所的な情報の書き込みを累積してグローバルな構造を構築するパターンを示す「相互作用局所性」というタスク幾何学を認識するフレームワークを導入し、これは大規模な具象的 3D モデルで観察される境界集中型の局所性とは対照的である。

原著者： Yosuke Miyanishi, Tetsuro Morimura

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yosuke Miyanishi, Tetsuro Morimura

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、平易な言葉と日常的な比喩を用いた、この論文の説明です。

大きなアイデア：AI はどのように「空間」について「考える」のか？

巨大な迷路を解こうとしていると想像してください。それを達成するには、以下の 2 つが連携して働く必要があります。

局所的な動き：「ここには壁があるから、右には進めない。」
グローバルな計画：「出口は遠くにあるから、北へ向かう必要がある。」

この論文は、AI モデル（特にループ内で思考する「再帰的」なモデル）がこれら 2 つをどのように処理するかという、具体的な問いを投げかけています。彼らは局所的な詳細とグローバルな計画を分離して保持しているのでしょうか？それとも混ざり合ってしまうのでしょうか？

著者たちは**「相互作用の局所性（Interaction Locality）」と呼ばれる新しいツールを作成しました。これは情報フローのための空間的なヒートマップ**のようなものです。これは以下を測定します：AI の脳の一部（迷路の単一の細胞のようなもの）を「つついた」場合、その反応はその場にとどまるのか、それとも全体像を変えるまで波紋のように広がっていくのか？

ツール：どのようにテストしたか

これらの AI モデルがどのように機能するかを調べるため、研究者たちは 3 つの異なる「プローブ（AI をつつく方法）」を使用しました。

「スパース特徴」チェック（SAE）：AI には「これは赤い壁だ」や「これは曲がり角だ」といった、数千の小さく具体的なアイデアのライブラリがあると想像してください。彼らはこれらのアイデアを 1 つずつオフにして、それが迷路やパズルのどの部分に影響を与えるかを確認しました。
「ノイズ注入」テスト（活性化パッチング）：これが主要なテストです。彼らはわずかな「雑音」を取り出し、AI のメモリの特定の場所に注入しました。その後、その雑音がどこへ移動するかを観察しました。それはその 1 つの部屋にとどまったのでしょうか？それとも家全体に広がったのでしょうか？
「設計図」チェック（ヤコビアン/アテンション）：彼らは数学的な配線図を確認し、AI が実際にはそうしなくても、理論的にはどのように物事を接続できるかを確認しました。

実験：パズルと 3D 世界

彼らは 3 種類のパズルと 1 つの実世界シミュレーションでこれをテストしました。

Maze-Hard：複雑な経路のナビゲーション。
Sudoku Extreme：ルールに基づいてグリッドに数字を埋める。
ARC-AGI：視覚的なパターンパズルを解く（例：「この形が青に変われば、次の形は赤に変わる」など）。
MTU3D：大規模な 3D ロボットが実際の室内（ScanNet データセットのようなもの）をナビゲートする。

彼らが発見したもの

1. 「局所的な書き手」対「グローバルなメッセンジャー」

パズルモデル（HRM と TRM）において、彼らは興味深いパターンを発見しました。

「高レベル」の状態（H）：これは AI の「全体像」の計画を保持する部分です。驚くべきことに、この部分が情報を記述する際、それは非常に局所的である傾向があります。それは即座の隣人へメモを書き留めます（例：「この Sudoku の特定のセルは 5 だ」）。
「低レベル」の状態（L）：これは泥臭い作業を行う部分です。
ループの魔法：鍵となるのは、AI がこのプロセスを繰り返し行うことです。「高レベル」の部分が局所的なメモを書き、それを次のループへ渡し、それが次のループへ渡されます。時間の経過とともに、これらの小さく局所的なメモは蓄積し、グローバルな解決策を構築します。

比喩：長い列を伝わるメッセージを人々が受け渡す様子を想像してください。

人 A（高レベル）が人 B（局所的）に秘密をささやきます。
人 B がそれを人 C にささやきます。
最終的に、メッセージは列の末端に到達します。
この論文は、「ささやき」自体は非常に静かで局所的ですが、その「ささやきの連鎖」が、大きくてグローバルな発表を生み出すことを発見しました。

2. 3D ロボットの驚き（MTU3D）

彼らが実室内をナビゲートする 3D ロボットでこれをテストしたとき、パターンは変化しました。

パズルでは、「局所からグローバル」への引き継ぎは、思考ループの内部で起こりました。
3D ロボットでは、「局所的」な振る舞いは、ロボットの目（視覚エンコーダ）が脳（グラウンディングモジュール）へデータを渡す境界でのみ発生しました。
ロボットの視覚脳の中では、情報は局所的にとどまらず、至る所で混ざり合っていました。

比喩：

パズル AI：消火のためにバケツリレーを行う近所の人々のグループのようです。各人は隣りのバケツに触れるだけですが、水は通り全体を移動します。
3D ロボット：カメラが写真を撮るようなものです。カメラは部屋全体を一度に見ます（グローバル）。「局所的」な部分は、カメラが次の行動を決定する人に写真を手渡すときにのみ発生します。カメラ自体は「局所的」な詳細を分離して保持するのではなく、それらをすべて混ぜ合わせてしまいます。

主な結論

この論文は、「局所的」と「グローバル」は、AI の異なる部分に対する固定されたラベルではないと結論付けています。代わりに、それらは以下のことに依存する関係性です。

タスク：グリッドパズルですか、それとも 3D 部屋ですか？
タイミング：思考の最初のステップですか、それとも 10 番目ですか？
アーキテクチャ：AI は分離されたモジュールを使用していますか、それとも 1 つの共有モジュールを使用していますか？

「相互作用の局所性」フレームワークは、これらのパズル解決 AI にとって、「グローバルな計画」は、すべてを一度に見る独立した「グローバル・ブレイン」を持つのではなく、互いに積み重ねられた多くの小さく局所的な更新によって構築されていることを証明しています。

要約すると：この論文は、AI の思考がどこに留まり、どこに広がるかを測定する新しい方法を提供し、再帰的モデルにとって「全体像」は、単にループ内で受け渡される非常に慎重な局所的なメモの山に過ぎないことを示しています。

技術的サマリー：階層的再帰的推論における相互作用の局所性

問題定義
人工エージェントにおける空間推論には、二重の能力が必要とされる。すなわち、特定のセルの移動や特定の障害物の回避など、場所に束縛された計算を実行する能力と、一方ではグローバルな経路、制約ハウス、あるいはオブジェクトレベルの計画など、場所に不変な構造を同時に維持する能力である。Maze-Hard、Sudoku Extreme、ARC-AGI などのタスクにおいて、HRM（Hierarchical Reasoning Model）や TRM（Tiny Recursive Model）のようなコンパクトな再帰的アーキテクチャが成功を収めてきたが、これらのモデルが局所的な実行とグローバルな計画をどのように分離しているかというメカニズム的理解は、依然として仮説の域を出ていない。既存の解釈可能性研究は、「高レベル状態＝グローバル計画」のような非公式なラベルに依存することが多く、空間的到達範囲のメカニズム的測定とはなり得ていない。記号パズルから具象的 3D 環境まで適用可能であり、情報の流れが近傍のセルや意味セグメント内に留まるのか、それともそれらを越えるのかを実証的に測定できる枠組みが必要とされている。

方法論：相互作用局所性フレームワーク
著者は、ニューラル計算内の情報の流れの空間的到達範囲を測定するために設計された、タスク幾何学を考慮した「相互作用局所性（Interaction Locality）」を提案する。このフレームワークにおける「局所性」は、迷路の廊下、数独の 3x3 ハウス、あるいは ARC-AGI のオブジェクト近傍など、タスクの外部幾何学に対して相対的に定義される。

この方法論は、このフレームワークを具体化するための 3 段階のプローブ・スイートを採用している。

スパース・オートエンコーダ（SAE）特徴アブレーション: 人間が読み取れる特徴を特定し、それらが特定のタスクセグメント（特定の廊下や数独のボックスなど）内でどのような影響を与えるかを測定するために使用される。これは意味的な仮説を提供するが、因果的な到達範囲を完全に確立するものではない。
有限ノイズ活性化パッチング: 主要な因果的テストである。著者らは、ソース地点 $v$ における単一の活性化ベクトルを有限ノイズ（ $\sigma \epsilon$ ）で攪乱し、ターゲット地点 $u$ における活性化の差異を測定する。局所性は、ソースのタスク定義近傍内に留まる活性化変化の質量の割合として定量化される。この手法は、無限小ではない変化に対する因果的到達範囲をテストする。
構造的チェック（付録）: ヤコビアンとアテンション分析は、線形化されたトポロジーとアテンションバイアスを報告するための構造的診断として用いられ、有限摂動の結果に対する文脈を提供するものであり、主要な因果的証拠ではない。

このフレームワークは以下に適用された。

HRM および TRM: Maze-Hard、Sudoku Extreme、および ARC-AGI 上で分析された。重要な分析ウィンドウは、状態変化の収束（例えば、初期の推論ステップ）に基づいて選択される。
MTU3D: ScanNet 室内シーンでテストされた大規模な具象的 3D 場面グラウンディングモデル。ここでは、近傍は 3D 空間におけるメトリックな物体距離によって定義される。

主要な結果

再帰的モデルにおける局所からグローバルへのハンドオフ: 迷路、数独、ARC-AGI 全体において、有限ノイズパッチングは一貫したパターンを明らかにした。高レベル（H）の再帰状態は、近傍のセル内または同一セグメント単位内で情報を記述する傾向がある。 H レベルの記述は、低レベル（L）の記述よりも空間的に集中していることが多いが、クロスサイクル伝播により、これらの局所的な要約は再帰状態全体を通じて広範に運ばれる。
- TRM/迷路では、対比が鮮明である。H 内での局所性は高い（0.580）のに対し、L 内での局所性はベースラインに近い（0.032）であり、共有された再帰演算子が H 状態に局所的な記述を集中させていることを示唆している。
- HRMにおいても、H レベルの記述は局所的であるが、「ハウス」制約単位のサイズが大きいため、数独ではその区別はあまり顕著ではない。
具象的 3D モデルにおける脱結合: MTU3Dに適用された際、このフレームワークは異なるダイナミクスを明らかにした。因果的空間局所性は、視覚的シーン特徴が下流のグラウンディングモジュールに引き渡される遷移点（ステージ 1–2 の境界）において主に現れる。しかし、統合された視覚エンコーダ内部では、構造的ヤコビアンやアテンションスコアが空間的バイアスを示しているにもかかわらず、因果的回復パッチングはランダムなベースラインに近いままとなる。これは、具象的 3D モデルにおいて、因果的空間構造は HRM/TRM に見られるような再帰的ダイナミクスから均等に分布したり生じたりするのではなく、モジュール境界に集中していることを示唆している。
証拠の三角測量: 本論文は、SAE 特徴が特定の廊下などに作用する特徴など、読み可能なセグメントレベルの仮説を提供し、有限ノイズパッチングがこれらの局所性が無限小ではない介入に対して生存することを確認し、構造的ヤコビアンが線形化されたトポロジーの文脈を提供することを示している。

意義と主張
本論文は、空間推論の解釈可能性の測定パラダイムを、定性的な可視化から、再現可能な介入ベースのフレームワークへと移行させることを主張する。

メカニズム的改訂: 結果は、「H はグローバルで L は局所的である」という非公式な仮説を改訂する。代わりに、著者らは H レベルの状態がサイクル内で局所的な記述を実行し、それが再帰的時間全体に広範に伝播することを示している。局所計算とグローバル計算は、名付けられた状態の静的な性質ではなく、状態、タスク幾何学、摂動スケール、および再帰的時間エッジ間の関係である。
フレームワークの範囲: 相互作用局所性は、局所的な動作、オブジェクトレベルの関係、およびグローバルな計画が、単に表現上で共視可能であるだけでなく、因果的に接続されているかどうかを決定するための診断ツールとして提示される。
限界と謙虚さ: 著者らは明示的に、この分析は精度を一致させたトレーニングスイープではなく、リリースされたチェックポイント間を比較していることを述べている。また、フレームワークは幾何学に依存しており（定義された近傍に依存する）、MTU3D で観察された脱結合（因果的局所性なしの構造的バイアス）は、アーキテクチャ的な空間的アテンションが自動的に因果的な局所回復を保証するわけではないことを強調している。本論文は空間推論を解決するものではなく、既存のモデルが空間スケールをどのように処理するかを監査するための手法を提供するものである。

結論
相互作用局所性は、異なるアーキテクチャやドメインにわたる局所的移動、制約伝播、および経路レベルの計画を比較するための統合された座標系を提供する。有限介入とタスク幾何学に基づいて解釈可能性を根ざすことで、このフレームワークは、再帰的および具象的モデルが局所的実行とグローバルな計画の分離をどのように管理するかを、より厳密に理解するための手段を提供する。