🤖 AI

On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

本論文は、Vision Transformer の一定深さのアーキテクチャが $\mathsf{TC^0}$ という計算複雑性クラスによって計算的に制限されており、 $\mathrm{SO}(3)$ のような非可解群の代数構造を保持するために必要な $\mathsf{NC^1}$ 完全な単語問題を解くには不十分であるため、これらがメンタルローテーションのような非可解な空間推論タスクに本質的に失敗すると主張する。

原著者： Siyi Lyu, Quan Liu, Feng Yan

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Siyi Lyu, Quan Liu, Feng Yan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「非可解な空間推論におけるトランスフォーマー画像埋め込みの内在的限界」に関する論文を、平易で日常的な言葉と創造的な比喩を用いて解説します。

大きなアイデア：なぜ AI は 3 次元空間で迷子になるのか

非常に賢いロボットが、ウサギの写真を見て「あれはウサギだ！」と正確に言い当てると想像してください。それは物事が「何であるか」を認識する点では驚くほど優れています。しかし、そのウサギを 3 次元空間で回転させたり、複雑な一連の回転の後にウサギがどこに位置するかを推測させたりすると、ロボットは混乱し、間違いを犯します。

この論文は、この問題がロボットがウサギの写真を十分に多く見ていないからではないと主張しています。「データの問題」ではないのです。むしろ、問題はそのロボットの脳（アーキテクチャ）の最初から組み込まれているのです。ロボットの脳は、複雑な 3 次元回転に必要な数学を処理するには、単に「浅すぎる」のです。

核心的な問題：「一歩で」考える脳

なぜそうなるのかを理解するには、これらの AI モデル（ビジョン・トランスフォーマー、または ViT と呼ばれる）がどのように機能するかを見る必要があります。

比喩：インスタント写真アルバム
標準的な AI モデルを、写真を見て即座にノートに説明を書く人物だと想像してください。彼らは一瞬の glance（一目）だけでこれを行います。「よし、左に回して、次に上に、そして右に…」と一時的に立ち止まって考えたりはしません。彼らは単に、過去に見たものに基づいて最終結果を推測しようとするだけです。

論文は、この「一目で」のアプローチは、画像を左右にスライドさせるような単純な事柄には非常にうまく機能しますが、3 次元物体を回転させるような複雑な事柄には失敗すると述べています。

魔法の背後にある数学：「群」ゲーム

著者たちは、これを説明するために「群論」と呼ばれる数学の一分野を用いています。物体を動かすためのルールセットを想像してください。

レベル 1（簡単）： 箱を左右にスライドさせる。左にスライドしてから右にスライドしても、右にスライドしてから左にスライドしても、最終的な位置は同じです。これは、単純で協調的なゲームのようです。
レベル 2（中級）： 2 次元の形状を回転させる。順序は重要ですが（回転してからスライドするのと、スライドしてから回転するのでは異なります）、それでも動きを単純なステップに分解できます。
レベル 3（難関）： 3 次元の物体（例えば地球儀）を回転させる。ここでは順序が非常に重要であり、動きは簡単に解きほぐすことのできないほど絡み合います。数学的には、これらは「非可解群」と呼ばれます。

論文は、レベル 3（3 次元回転）を真に理解するためには、長い「もしも」のシナリオの連鎖をステップバイステップで追跡できる必要があると主張しています。

ボトルネック：「深さ」の限界

ここが論文の議論の決定的な部分です。

比喩：工場の組み立てライン

AI（ViT）： 製品が固定された数のステーション（例えば 12 ステーション）を通過する工場を想像してください。製品がどれほど複雑であっても、それはその 12 ステーションを一度だけ通過します。これは「一定の深さ」のプロセスです。
タスク（3 次元回転）： 新たなステップを追加するたびに、依存関係の連鎖が長くなるようなタスクを想像してください。これを解決するには、製品がステーションを何度もループして通過できる工場、あるいは連鎖の長さに応じてその場で新しいステーションのセットを構築できる工場が必要です。

論文は、高度な計算機科学理論（回路複雑性）を用いて以下のことを証明しています。

AI の「12 ステーション」工場は、数学的に単一のパスで「長い連鎖」のパズルを解くことが不可能です。
このパズルには、AI が単に持っていない「論理的深さ」が必要です。それは、キューブを一度見るだけで、面を回転させずに解こうとするようなものです。

実験：「再帰的プローブ」

これが単なる理論ではないことを証明するために、研究者たちは「潜在空間代数（LSA）ベンチマーク」と呼ばれるテストを構築しました。

比喩：記憶ゲーム

彼らは AI に物体の写真を示しました。
一連の動きを想像させました（例：「X 軸に回転、次に Y 軸、そして Z 軸…」）。
AI が一度に「一つの動き」だけを理解するように訓練しました。
その後、AI にそれらの単一の動きを頭の中で連鎖させるよう求め、長い連鎖（20 回の動きを連続して）で AI をテストしました。

結果：

動きが単純（レベル 1）だった場合、AI はうまく機能しました。
動きが複雑な 3 次元回転（レベル 3）だった場合、AI の「心的地図」は崩壊しました。連鎖する動きが増えるほど、AI の答えは真実から遠ざかっていきました。
決定的な点： AI を大きくしても（層を追加しても）助けにはなりませんでした。それは、記憶が短い人に大きなノートを与えても、記憶の「構造」が間違っているため、長い出来事の連鎖を覚えることができないのと同じです。サイズの問題ではなく、構造の問題だったのです。

この意味するところ（論文によると）

論文は以下のように結論付けています。

データ不足ではない： 回転するウサギの写真を AI にもっと与えても、この問題は解決しません。
構造的限界： これらの AI モデル（ビジョン・トランスフォーマー）の現在の設計は、数学的に「浅すぎる」ため、一目で 3 次元回転の複雑で絡み合った論理を処理できません。
「パターンマッチャー」の罠： これらのモデルは、以前に見たパターンを認識するには優れていますが、人間のように世界の幾何学を「推論」しているわけではありません。彼らは答えを近似しており、その近似は数学が難しすぎると破綻します。

要約すると、この論文は、現在の世代の AI 視覚モデルが 3 次元空間を理解する能力に明確な天井があると主張しています。それは AI が「愚か」だからではなく、その脳が、深く絡み合った空間パズルを処理できない特定の種類の「平坦な」論理で構築されているからです。

技術的概要：非可解空間推論におけるトランスフォーマー画像埋め込みの内在的限界

問題定義
ビジョントランスフォーマー（ViT）は意味認識において最先端のパフォーマンスを達成しているが、精神回転や相対的位置付けのような複雑な幾何学的変換を伴う空間推論タスクでは体系的な失敗を示す。これらの失敗はしばしばデータ規模の不足や最適化のアーティファクトに帰せられるが、本研究は、この限界がアーキテクチャの計算複雑性に内在するものであると主張する。具体的には、標準的な定数深さのトランスフォーマーエンコーダーが、単一のフォワードパス内で非可解な空間変換（例：3 次元回転）の代数構造をモデル化するのに必要な論理深さを有するかどうかを調査する。

手法
本研究は、群論と回路複雑性を架橋する理論的枠組みを採用し、新たな実証的ベンチマークによって検証された。

理論的定式化:
- 群準同型: 空間的理解は、潜在埋め込みが基礎となる幾何学群 $G$ （例：$SO(3)$）の合成則を保存する群準同型の獲得として定義される。
- 可解性階層: タスクは、その変換群の可解性によって分類される:
  - レベル 1（アーベル群）: 可換な演算（例：2 次元並進）。
  - レベル 2（可解な非アーベル群）: 可換ではないが有限のアーベル段階に分解可能な演算（例：2 次元剛体運動）。
  - レベル 3（非可解）: 分離不可能に深く絡み合った演算（例： $A_5$ に同型な部分群を含む 3 次元回転）。
- 単語問題: 本論文は、有限群に対する逐次的空間操作の依存関係を「単語問題」として定式化する。非可解群の場合、この問題を解決することは NC1 完全 であり、直列依存関係を解決するために対数的な論理深さ（ $O(\log N)$ ）を必要とする。
- 回路複雑性の境界: 定数深さと多項式精度を持つ標準的な ViT は、厳密に複雑性クラス TC0 によって制限される。TC0 ⊊ NC1 という標準的な予想の下では、定数深さのアーキテクチャは、単一のフォワードパスで非可解群の単語問題を解決するのに必要な論理深さを欠いている。
実証的検証（LSA ベンチマーク）:
- 著者はこれらの理論的限界を検証するために 潜在空間代数（LSA） ベンチマークを提案する。
- プロトコル: 再帰的線形プロービング戦略が用いられる。モデルは原子遷移（ $N=1$ ）で訓練され、同じ状態空間から生成された再帰的系列（ $N \in \{2, \dots, 20\}$ ）で評価される。
- 対照実験: 最適化のアーティファクトを排除するため、本研究は潜在空間における内在的線形性の決定論的チェックとして 直交プロクラステス分析（OPA） を採用する。
- データセット: 視覚的単射性を確保するために非対称な 3 次元物体を用いて、アーベル群（ $Z_2$ ）、可解な非アーベル群（$SE(2) $）、および非可解群（$ SO(3)$）用の合成データセットが構築される。
- モデル: 実験では、ViT（Base/Large/Huge）、DINOv2（Base/Large/Giant）、および ResNet（50/101/152）のバックボーンの凍結重みが評価される。

主要な貢献

代数定式化: 本論文は空間表現を群準同型問題として捉え、変換群の可解性に基づいてタスクの難易度を分類する。
複雑性境界の証明: 標準的な複雑性予想（TC0 ⊊ NC1）の下では、定数深さの ViT が非可解な構造（3 次元回転など）を捉えることが理論的に不可能であることを形式的に確立する。これは、非可解群の単語問題に内在する直列依存関係を解決できないためである。
代数ベンチマークと検証: LSA ベンチマークは、厳密で構造駆動型の評価手法を提供する。実証結果は、ViT 表現が可換タスクでは忠実性を維持しつつも、非可解タスクでは構成深さの増加に伴って著しく劣化することを確認した。

結果

普遍的複雑性障壁: すべてのアーキテクチャ（ViT、DINOv2、ResNet）とスケールにおいて、モデルは非可解群に対する長距離依存関係の追跡において根本的な劣化を示す。
誤差の階層: 予測誤差は厳密な階層に従う：レベル 3（非可解） $\gg$ レベル 2 > レベル 1。レベル 3 における絶対誤差は、レベル 1 に比べて約 5.73 倍から 17.72 倍高い。
構造的劣化: 非可解変換は、誤差の急速かつ単調な増加を引き起こし、可解タスクよりもはるかに早く基準（自明な予測子）に近づく。これは単純な累積誤差のドリフトではなく、準同型写像の構造的崩壊を示している。
深さスケーリングの無効性: モデルの深さを増やすこと（例：ViT-Base から ViT-Huge へ）は、性能向上をほとんどもたらさない。同一アーキテクチャファミリー内の異なる深さの誤差軌跡は重なり合い、静的計算グラフ（TC0）における層の積み重ねでは、必要な複雑性クラス（NC1）へのギャップを埋められないことを確認する。
内在的潜在欠陥: OPA 結果は、アーベル変換は潜在空間で強い線形フィットをもたらす一方で、非可解な 3 次元回転は一貫して失敗（しばしば負の $R^2$ を生む）することを示し、潜在空間がこれらの生成子を表現するために必要な幾何学を欠いていることを証明する。

意義と主張
本論文は、定数深さのトランスフォーマーアーキテクチャの根本的な理論的限界を特定したと主張する。すなわち、それらは非可解な空間推論に必要な基礎的な群同型を習得するのではなく、浅い近似に依存している。

アーキテクチャ的限界: この失敗はデータ規模や訓練最適化によるものではなく、アーキテクチャの回路複雑性の内在的性質である。
具現化 AI への示唆: この発見は、長距離の構成的変換に対して「パターンマッチング」表現に依存することが予測不能な失敗につながる可能性のある、安全性が重要な応用（ロボット工学、自動運転）に対する警告として機能する。
リソース効率性: この研究は、固定深さのアーキテクチャ内でのデータやパラメータのスケーリングのみによって複雑な空間推論を解決しようとする試みの無益さを論じ、論理深さと訓練の安定性を両立させる設計の必要性を提唱しており、生物学的なナビゲーションの原理からの借鉴の可能性を示唆している。