🤖 AI

On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

Dieser Artikel argumentiert, dass Vision-Transformer bei nicht lösbaren räumlichen Denkaufgaben wie der mentalen Rotation inhärent versagen, da ihre Architektur mit konstanter Tiefe durch die Komplexitätsklasse $\mathsf{TC^0}$ rechnerisch begrenzt ist, was zur Lösung des $\mathsf{NC^1}$ -vollständigen Wortproblems, das erforderlich ist, um die algebraische Struktur nicht auflösbarer Gruppen wie $\mathrm{SO}(3)$ zu erhalten, unzureichend ist.

Ursprüngliche Autoren: Siyi Lyu, Quan Liu, Feng Yan

Veröffentlicht 2026-05-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siyi Lyu, Quan Liu, Feng Yan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Warum KI im 3D-Raum den Orientierungssinn verliert

Stellen Sie sich einen sehr intelligenten Roboter vor, der ein Bild eines Kaninchens ansehen und Ihnen sagen kann: „Das ist ein Kaninchen!" Er ist erstaunlich gut darin zu erkennen, was Dinge sind. Aber wenn Sie ihn bitten, sich vorzustellen, wie dieses Kaninchen im 3D-Raum gedreht wird, oder herauszufinden, wo das Kaninchen nach einer komplexen Abfolge von Drehungen landet, gerät der Roboter in Verwirrung und macht Fehler.

Dieses Papier argumentiert, dass dies nicht daran liegt, dass der Roboter nicht genug Bilder von Kaninchen gesehen hat. Es ist kein „Datenproblem". Stattdessen ist das Problem von Anfang an in das Gehirn des Roboters (seine Architektur) eingebaut. Das Gehirn des Roboters ist einfach zu „flach", um die Mathematik für komplexe 3D-Drehungen zu bewältigen.

Das Kernproblem: Das „Ein-Schritt"-Gehirn

Um zu verstehen, warum das so ist, müssen wir uns ansehen, wie diese KI-Modelle (sogenannte Vision Transformer oder ViTs) funktionieren.

Die Analogie: Das Sofortfoto-Album
Stellen Sie sich ein Standard-KI-Modell wie eine Person vor, die ein Foto betrachtet und sofort eine Beschreibung in ein Notizbuch schreibt. Sie tun dies in einem einzigen, schnellen Blick. Sie halten nicht inne, um zu überlegen: „Okay, wenn ich es nach links drehe, dann nach oben, dann nach rechts..." Sie versuchen einfach, das Endergebnis basierend auf dem, was sie zuvor gesehen haben, zu erraten.

Das Papier besagt, dass dieser „Ein-Blick"-Ansatz für einfache Dinge (wie das Verschieben eines Bildes nach links oder rechts) hervorragend funktioniert, aber bei komplexen Dingen (wie dem Drehen eines 3D-Objekts) versagt.

Die Mathematik hinter dem Zauber: Das „Gruppen"-Spiel

Die Autoren verwenden einen Zweig der Mathematik namens Gruppentheorie, um dies zu erklären. Stellen Sie sich eine Reihe von Regeln für das Bewegen von Objekten vor:

Level 1 (Einfach): Ein Kasten nach links oder rechts schieben. Es spielt keine Rolle, ob Sie ihn zuerst nach links und dann nach rechts schieben oder umgekehrt; Sie landen am selben Ort. Dies ist wie ein einfaches, kooperatives Spiel.
Level 2 (Mittel): Eine 2D-Form drehen. Die Reihenfolge spielt eine Rolle (Drehen und dann Schieben ist anders als Schieben und dann Drehen), aber Sie können die Bewegungen immer noch in einfache Schritte zerlegen.
Level 3 (Schwer): Ein 3D-Objekt drehen (wie einen Globus). Hier spielt die Reihenfolge eine sehr große Rolle, und die Bewegungen verwickeln sich auf eine Weise, die sich nicht leicht entwirren lässt. In mathematischen Begriffen werden diese als „nicht-auflösbare Gruppen" bezeichnet.

Das Papier behauptet, dass man, um Level 3 (3D-Drehung) wirklich zu verstehen, in der Lage sein muss, eine lange Kette von „Was-wäre-wenn"-Szenarien Schritt für Schritt zu verfolgen.

Die Engstelle: Das „Tiefe"-Limit

Hier ist der entscheidende Teil des Arguments des Papiers:

Die Analogie: Die Fließband-Fabrik

Die KI (ViT): Stellen Sie sich eine Fabrik vor, in der ein Produkt eine festgelegte Anzahl von Stationen durchläuft (sagen wir, 12 Stationen). Unabhängig davon, wie komplex das Produkt ist, passiert es diese 12 Stationen nur einmal. Es ist ein Prozess mit „konstanter Tiefe".
Die Aufgabe (3D-Drehung): Stellen Sie sich eine Aufgabe vor, bei der Sie eine Kette von Abhängigkeiten prüfen müssen, die mit jedem neuen Schritt länger wird. Um dies zu lösen, benötigen Sie eine Fabrik, in der das Produkt viele Male durch die Stationen zurücklaufen kann, oder eine Fabrik, die je nach Länge der Kette im laufenden Betrieb einen neuen Satz von Stationen aufbauen kann.

Das Papier verwendet fortgeschrittene Theorien der Informatik (Schaltkreiskomplexität), um zu beweisen, dass:

Die „12-Stationen"-Fabrik der KI mathematisch nicht in der Lage ist, das „lange Kette"-Rätsel in einem einzigen Durchgang zu lösen.
Das Rätsel eine „logische Tiefe" erfordert, die die KI einfach nicht besitzt. Es ist wie der Versuch, einen Zauberwürfel zu lösen, indem man ihn nur einmal betrachtet, ohne eine Seite zu drehen.

Das Experiment: Der „Rekursive Sonden"-Test

Um zu beweisen, dass dies nicht nur eine Theorie ist, entwickelten die Forscher einen Test namens Latent Space Algebra (LSA) Benchmark.

Die Analogie: Das Gedächtnisspiel

Sie zeigten der KI ein Bild eines Objekts.
Sie sagten ihr, sie solle sich eine Abfolge von Bewegungen vorstellen (z. B. „Drehe X, dann Y, dann Z...").
Sie trainierten die KI, nur einen Schritt auf einmal zu verstehen.
Dann testeten sie die KI an langen Abfolgen (20 Bewegungen hintereinander), indem sie sie baten, diese einzelnen Schritte in ihrem Kopf zu einer Kette zu verbinden.

Das Ergebnis:

Wenn die Bewegungen einfach waren (Level 1), kam die KI gut zurecht.
Wenn die Bewegungen komplexe 3D-Drehungen waren (Level 3), brach die „mentale Karte" der KI zusammen. Je mehr Bewegungen sie verketten mussten, desto mehr wich die Antwort der KI von der Wahrheit ab.
Entscheidend: Die KI größer zu machen (mehr Schichten hinzuzufügen), half nicht. Es war wie einer Person mit einem kurzen Gedächtnis ein größeres Notizbuch zu geben; sie konnte sich immer noch nicht an die lange Kette von Ereignissen erinnern, weil die Struktur ihres Gedächtnisses falsch war, nicht seine Größe.

Was dies bedeutet (laut dem Papier)

Das Papier kommt zu dem Schluss, dass:

Es kein Mangel an Daten ist: Man kann dies nicht beheben, indem man der KI mehr Bilder von drehenden Kaninchen zuführt.
Es eine strukturelle Grenze ist: Das aktuelle Design dieser KI-Modelle (Vision Transformer) ist mathematisch „zu flach", um die komplexe, verwickelte Logik der 3D-Drehung in einem einzigen Blick zu bewältigen.
Die „Muster-Erkennungs"-Falle: Diese Modelle sind hervorragend darin, Muster zu erkennen, die sie zuvor gesehen haben, aber sie „schließen" nicht tatsächlich auf die Geometrie der Welt so, wie Menschen es tun. Sie nähern sich der Antwort an, und diese Näherung bricht zusammen, wenn die Mathematik zu schwierig wird.

Kurz gesagt: Das Papier argumentiert, dass die aktuelle Generation von KI-Vision-Modellen eine harte Obergrenze für ihre Fähigkeit hat, den 3D-Raum zu verstehen, nicht weil sie „dumm" ist, sondern weil ihr Gehirn mit einer bestimmten Art von „flacher" Logik gebaut ist, die tiefe, verwickelte räumliche Rätsel nicht bewältigen kann.

Technische Zusammenfassung: Zu den intrinsischen Grenzen von Transformer-Bild-Embeddings bei nicht auflösbaren räumlichen Schlussfolgerungen

Problemstellung
Vision Transformer (ViT) haben State-of-the-Art-Leistung in der semantischen Erkennung erreicht, zeigen jedoch systematische Ausfälle bei räumlichen Schlussfolgerungsaufgaben, insbesondere solchen, die komplexe geometrische Transformationen wie mentale Rotation und relative Positionierung beinhalten. Während diese Ausfälle häufig auf unzureichende Datenmengen oder Optimierungsartefakte zurückgeführt werden, geht diese Arbeit davon aus, dass die Einschränkung intrinsisch zur rechnerischen Komplexität der Architektur gehört. Konkret untersucht die Arbeit, ob Standard-Transformer-Encoder mit konstanter Tiefe die logische Tiefe besitzen, die erforderlich ist, um die algebraische Struktur nicht auflösbarer räumlicher Transformationen (z. B. 3D-Rotationen) innerhalb eines einzigen Vorwärtsdurchlaufs zu modellieren.

Methodik
Die Studie verwendet einen theoretischen Rahmen, der Gruppentheorie und Schaltkreiskomplexität verbindet, validiert durch einen neuartigen empirischen Benchmark.

Theoretische Formalisierung:
- Gruppenhomomorphismus: Räumliches Verständnis wird als Erwerb eines Gruppenhomomorphismus definiert, wobei latente Embeddings das Kompositionsgesetz der zugrundeliegenden geometrischen Gruppe $G$ (z. B. $SO(3)$) erhalten müssen.
- Auflösbarkeits-Hierarchie: Aufgaben werden nach der Auflösbarkeit ihrer Transformationsgruppen kategorisiert:
  - Stufe 1 (Abelsch): Kommutative Operationen (z. B. 2D-Translation).
  - Stufe 2 (Auflösbar, nicht-abelsch): Operationen, die nicht kommutieren, aber in endliche abelsche Schritte zerlegt werden können (z. B. 2D-starre Bewegung).
  - Stufe 3 (Nicht auflösbar): Tief verschlungene Operationen, die nicht entkoppelt werden können (z. B. 3D-Rotation, die Untergruppen enthält, die zu $A_5$ isomorph sind).
- Das Wortproblem: Die Arbeit formalisiert die Abhängigkeit sequenzieller räumlicher Operationen als das „Wortproblem" für endliche Gruppen. Für nicht auflösbare Gruppen ist die Lösung dieses Problems NC1-vollständig und erfordert eine logarithmische logische Tiefe ( $O(\log N)$ ), um sequenzielle Abhängigkeiten aufzulösen.
- Schaltkreiskomplexitätsgrenzen: Standard-ViT mit konstanter Tiefe und polynomieller Genauigkeit sind strikt durch die Komplexitätsklasse TC0 begrenzt. Unter der Standardvermutung, dass TC0 ⊊ NC1, fehlt konstant-tiefen Architekturen die logische Tiefe, um das Wortproblem für nicht auflösbare Gruppen in einem einzigen Vorwärtsdurchlauf zu lösen.
Empirische Validierung (LSA-Benchmark):
- Die Autoren schlagen den Latent Space Algebra (LSA)-Benchmark vor, um diese theoretischen Grenzen zu testen.
- Protokoll: Eine rekursive lineare Sondierungsstrategie wird verwendet. Modelle werden auf atomaren Übergängen ( $N=1$ ) trainiert und auf rekursiven Sequenzen ( $N \in \{2, \dots, 20\}$ ) evaluiert, die aus demselben Zustandsraum generiert werden.
- Kontrollen: Um Optimierungsartefakte auszuschließen, setzt die Studie Orthogonal Procrustes Analysis (OPA) als deterministischen Check für intrinsische Linearität im latenten Raum ein.
- Datensätze: Synthetische Datensätze werden für abelsche ( $Z_2$ ), auflösbar nicht-abelsche ($SE(2)$) und nicht auflösbare ($SO(3)$) Gruppen unter Verwendung asymmetrischer 3D-Objekte konstruiert, um visuelle Injektivität sicherzustellen.
- Modelle: Die Experimente bewerten eingefrorene Gewichte von ViT (Base/Large/Huge), DINOv2 (Base/Large/Giant) und ResNet (50/101/152) Backbones.

Hauptbeiträge

Algebraische Formalisierung: Die Arbeit fasst die räumliche Darstellung als Gruppenhomomorphismus-Problem, wobei die Aufgabenschwierigkeit basierend auf der Auflösbarkeit der Transformationsgruppe kategorisiert wird.
Beweis der Komplexitätsgrenze: Sie stellt formal fest, dass konstant-tiefe ViT unter Standard-Komplexitätsvermutungen (TC0 ⊊ NC1) theoretisch nicht in der Lage sind, nicht auflösbare Strukturen (wie 3D-Rotationen) zu erfassen, da sie die inhärenten sequenziellen Abhängigkeiten im Wortproblem für nicht auflösbare Gruppen nicht auflösen können.
Algebraischer Benchmark und Validierung: Der LSA-Benchmark bietet eine rigorose, strukturgetriebene Evaluierungsmethode. Empirische Ergebnisse bestätigen, dass ViT-Repräsentationen bei nicht auflösbaren Aufgaben mit zunehmender kompositorischer Tiefe signifikant degradieren, während sie für abelsche Aufgaben ihre Genauigkeit beibehalten.

Ergebnisse

Universelle Komplexitätsbarriere: Über alle Architekturen (ViT, DINOv2, ResNet) und Skalen hinweg zeigen Modelle eine fundamentale Verschlechterung beim Verfolgen von Langstreckenabhängigkeiten für nicht auflösbare Gruppen.
Fehlerhierarchie: Der Vorhersagefehler folgt einer strengen Hierarchie: Stufe 3 (Nicht auflösbar) $\gg$ Stufe 2 > Stufe 1. Der absolute Fehler auf Stufe 3 ist ungefähr 5,73- bis 17,72-mal höher als auf Stufe 1.
Strukturelle Degradation: Nicht auflösbare Transformationen lösen einen schnellen, monotonen Anstieg des Fehlers aus, der die Basislinie (trivialer Prädiktor) signifikant schneller erreicht als auflösbare Aufgaben. Dies deutet auf einen strukturellen Zusammenbruch der homomorphen Abbildung hin und nicht auf einen einfachen kumulativen Fehlerdrift.
Ineffektivität des Tiefenskalierens: Eine Erhöhung der Modelltiefe (z. B. von ViT-Base auf ViT-Huge) bringt vernachlässigbare Leistungsgewinne. Die Fehlerverläufe für verschiedene Tiefen innerhalb derselben Architektur-Familie überlappen, was bestätigt, dass das Stapeln von Schichten in einem statischen Berechnungsgraphen (TC0) die Lücke zur erforderlichen Komplexitätsklasse (NC1) nicht überbrücken kann.
Intrinsisches latentes Defizit: OPA-Ergebnisse zeigen, dass während abelsche Transformationen starke lineare Anpassungen im latenten Raum ergeben, nicht auflösbare 3D-Rotationen konsistent versagen (oft mit negativem $R^2$ ), was beweist, dass der latente Raum die notwendige Geometrie zur Darstellung dieser Generatoren fehlt.

Bedeutung und Behauptungen
Die Arbeit behauptet, eine fundamentale theoretische Einschränkung konstant-tiefer Transformer-Architekturen identifiziert zu haben: Sie verlassen sich auf flache Approximationen, anstatt die zugrundeliegende Gruppenisomorphie zu meistern, die für nicht auflösbare räumliche Schlussfolgerungen erforderlich ist.

Architektonische Grenze: Das Versagen liegt nicht an der Datenmenge oder Trainingsoptimierung, sondern ist eine intrinsische Eigenschaft der Schaltkreiskomplexität der Architektur.
Implikationen für Embodied AI: Die Ergebnisse dienen als Warnung für sicherheitskritische Anwendungen (Robotik, autonomes Fahren), bei denen das Vertrauen auf „Mustererkennungs"-Repräsentationen für langfristige kompositorische Transformationen zu unvorhersehbaren Ausfällen führen könnte.
Ressourceneffizienz: Die Arbeit argumentiert gegen die Nutzlosigkeit, komplexe räumliche Schlussfolgerungen ausschließlich durch Daten- oder Parameterskalierung innerhalb festgelegter Tiefen-Architekturen zu lösen, und schlägt Designs vor, die logische Tiefe mit Trainingsstabilität in Einklang bringen, möglicherweise unter Rückgriff auf biologische Navigationsprinzipien.