🤖 AI

On the Intrinsic Limits of Transformer Image Embeddings in Non-Solvable Spatial Reasoning

Dit artikel betoogt dat Vision Transformers inherent falen bij niet-oplosbare ruimtelijke redeneertaken zoals mentale rotatie, omdat hun architectuur met constante diepte computationeel begrensd is door de complexiteitsklasse $\mathsf{TC^0}$ , wat ontoereikend is om het $\mathsf{NC^1}$ -volledige Woordprobleem op te lossen dat vereist is om de algebraïsche structuur van niet-oplosbare groepen zoals $\mathrm{SO}(3)$ te behouden.

Oorspronkelijke auteurs: Siyi Lyu, Quan Liu, Feng Yan

Gepubliceerd 2026-05-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siyi Lyu, Quan Liu, Feng Yan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom AI Verdwaalt in de 3D-Ruimte

Stel je een zeer slimme robot voor die naar een foto van een konijn kan kijken en je kan vertellen: "Dat is een konijn!" Het is geweldig in het herkennen van wat dingen zijn. Maar als je de robot vraagt om dat konijn in de 3D-ruimte te draaien, of om uit te rekenen waar het konijn terechtkomt na een complexe reeks draaiingen, raakt de robot in de war en maakt hij fouten.

Dit paper stelt dat dit niet komt omdat de robot niet genoeg foto's van konijnen heeft gezien. Het is geen "data-probleem". In plaats daarvan zit het probleem vanaf het begin ingebouwd in het brein van de robot (zijn architectuur). Het brein van de robot is simpelweg te "ondiep" om de wiskunde te kunnen uitvoeren die nodig is voor complexe 3D-draaiingen.

Het Kernprobleem: Het "Eén-Stap"-Brein

Om te begrijpen waarom dit zo is, moeten we kijken naar hoe deze AI-modellen (zogenaamde Vision Transformers of ViTs) werken.

De Analogie: Het Instant-Fotoalbum
Stel je een standaard AI-model voor als een persoon die naar een foto kijkt en direct een beschrijving in een notitieboekje schrijft. Dit doen ze in één enkele, snelle blik. Ze pauzeren niet om na te denken: "Oké, als ik het eerst links draai, dan omhoog, dan rechts..." Ze proberen gewoon het eindresultaat te raden op basis van wat ze eerder hebben gezien.

Het paper stelt dat deze "één-blik"-aanpak uitstekend werkt voor simpele dingen (zoals een foto naar links of rechts schuiven), maar dat het faalt voor complexe dingen (zoals het draaien van een 3D-voorwerp).

De Wiskunde Achter de Magie: Het "Groep"-Spel

De auteurs gebruiken een tak van de wiskunde genaamd Groepentheorie om dit te verklaren. Stel je een set regels voor om objecten te verplaatsen:

Niveau 1 (Makkelijk): Een doos naar links of rechts schuiven. Het maakt niet uit of je eerst naar links en dan naar rechts schuift, of andersom; je eindigt op dezelfde plek. Dit is als een eenvoudig, coöperatief spel.
Niveau 2 (Gemiddeld): Een 2D-vorm draaien. De volgorde maakt uit (draaien en dan schuiven is anders dan schuiven en dan draaien), maar je kunt de bewegingen nog steeds opsplitsen in simpele stappen.
Niveau 3 (Moeilijk): Een 3D-voorwerp draaien (zoals een wereldbol). Hier maakt de volgorde veel uit, en de bewegingen raken zo in de war dat ze niet eenvoudig weer uit elkaar gehaald kunnen worden. In wiskundige termen worden deze "Niet-oplosbare Groepen" genoemd.

Het paper beweert dat om Niveau 3 (3D-draaiing) echt te begrijpen, je in staat moet zijn om een lange keten van "wat-als"-scenario's stap voor stap te volgen.

De Bottleneck: De "Diepte"-Limiet

Hier is het cruciale deel van het argument van het paper:

De Analogie: De Fabrieksassemblagelijn

De AI (ViT): Stel je een fabriek voor waar een product door een vast aantal stations gaat (zeg maar 12 stations). Hoe complex het product ook is, het passeert die 12 stations slechts één keer. Het is een proces met "constante diepte".
De Taak (3D-Draaiing): Stel je een taak voor waarbij je een keten van afhankelijkheden moet controleren die langer wordt elke keer dat je een nieuwe stap toevoegt. Om dit op te lossen, heb je een fabriek nodig waar het product meerdere keren door de stations kan terugkeren, of waar de fabriek een nieuwe set stations kan bouwen op het moment dat het nodig is, afhankelijk van hoe lang de keten is.

Het paper maakt gebruik van geavanceerde theorie uit de informatica (Circuit Complexity) om te bewijzen dat:

De "12-stations"-fabriek van de AI wiskundig onbekwaam is om het "lange keten"-raadsel in één doorgang op te lossen.
Het raadsel een "logische diepte" vereist die de AI simpelweg niet heeft. Het is alsof je probeert een Rubik's Cube op te lossen door er slechts één keer naar te kijken zonder ook maar één vlak te draaien.

Het Experiment: De "Recursieve Proef"

Om te bewijzen dat dit niet alleen maar theorie is, bouwden de onderzoekers een test genaamd de Latent Space Algebra (LSA) benchmark.

De Analogie: Het Geheugenspel

Ze lieten de AI een foto van een object zien.
Ze vertelden het om een reeks bewegingen te bedenken (bijvoorbeeld: "Draai X, dan Y, dan Z...").
Ze trainden de AI om slechts één beweging per keer te begrijpen.
Vervolgens testten ze de AI op lange reeksen (20 bewegingen achter elkaar) door het te vragen die enkele bewegingen in zijn hoofd aan elkaar te rijgen.

Het Resultaat:

Toen de bewegingen simpel waren (Niveau 1), deed de AI het prima.
Toen de bewegingen complexe 3D-draaiingen waren (Niveau 3), viel de "mentale kaart" van de AI uit elkaar. Hoe meer bewegingen ze aan elkaar reegden, hoe meer het antwoord van de AI afweek van de waarheid.
Cruciaal: Het groter maken van de AI (meer lagen toevoegen) hielp niet. Het was alsof je iemand met een kort geheugen een groter notitieboek gaf; ze konden de lange reeks gebeurtenissen nog steeds niet onthouden omdat de structuur van hun geheugen verkeerd was, niet de grootte ervan.

Wat Dit Betekent (Volgens het Paper)

Het paper concludeert dat:

Het geen gebrek aan data is: Je kunt dit niet oplossen door de AI meer foto's van draaiende konijnen te geven.
Het een structurele limiet is: Het huidige ontwerp van deze AI-modellen (Vision Transformers) is wiskundig "te ondiep" om de complexe, verwarde logica van 3D-draaiing in één blik te verwerken.
De "Patroonzoeker"-Valstrik: Deze modellen zijn uitstekend in het herkennen van patronen die ze eerder hebben gezien, maar ze "redeneren" eigenlijk niet door de geometrie van de wereld zoals mensen dat doen. Ze benaderen het antwoord, en die benadering valt uiteen wanneer de wiskunde te moeilijk wordt.

Kortom: Het paper stelt dat de huidige generatie AI-visionmodellen een harde bovengrens heeft aan het vermogen om 3D-ruimte te begrijpen, niet omdat het "dom" is, maar omdat zijn brein is gebouwd met een specifiek type "vlakke" logica die diepe, verwarde ruimtelijke raadsels niet aankan.

Technische Samenvatting: Over de Inherenten Grenzen van Transformer Beeld-Embeddings bij Niet-oplosbare Ruimtelijke Redenering

Probleemstelling
Vision Transformers (ViTs) hebben state-of-the-art prestaties bereikt in semantische herkenning, maar vertonen systematische falen in ruimtelijke redeneertaken, met name die welke complexe geometrische transformaties omvatten zoals mentale rotatie en relatieve positionering. Hoewel deze falen vaak worden toegeschreven aan onvoldoende dataschaal of optimalisatie-artefacten, stelt dit werk dat de beperking inherent is aan de computationele complexiteit van de architectuur. Specifiek onderzoekt het artikel of standaard Transformer-encoders met constante diepte de logische diepte bezitten die vereist is om de algebraïsche structuur van niet-oplosbare ruimtelijke transformaties (bijvoorbeeld 3D-rotaties) binnen één forward pass te modelleren.

Methodologie
Het onderzoek maakt gebruik van een theoretisch raamwerk dat Groepentheorie en Circuitcomplexiteit verbindt, gevalideerd door een nieuw empirisch benchmark.

Theoretische Formalisering:
- Groepshomomorfisme: Ruimtelijk begrip wordt gedefinieerd als het verwerven van een Groepshomomorfisme, waarbij latente embeddings de compositielaw van de onderliggende geometrische groep $G$ (bijvoorbeeld $SO(3)$) moeten behouden.
- Hiërarchie van Oplosbaarheid: Taken worden gecategoriseerd op basis van de oplosbaarheid van hun transformatiegroepen:
  - Niveau 1 (Abeliaans): Commutatieve operaties (bijvoorbeeld 2D-translatie).
  - Niveau 2 (Oplosbaar Niet-Abeliaans): Operaties die niet commuteren maar kunnen worden ontbonden in eindige abelse stappen (bijvoorbeeld 2D-stijve beweging).
  - Niveau 3 (Niet-oplosbaar): Diep verweven operaties die niet kunnen worden ontkoppeld (bijvoorbeeld 3D-rotatie, met ondergroepen die isomorf zijn aan $A_5$ ).
- Het Woordprobleem: Het artikel formaliseert de afhankelijkheid van sequentiële ruimtelijke operaties als het "Woordprobleem" voor eindige groepen. Voor niet-oplosbare groepen is het oplossen van dit probleem NC1-compleet, wat logaritmische logische diepte ( $O(\log N)$ ) vereist om seriële afhankelijkheden op te lossen.
- Circuitcomplexiteitsgrenzen: Standaard ViTs met constante diepte en polynomiale precisie zijn strikt begrensd door de complexiteitsklasse TC0. Onder de standaard conjectuur dat TC0 ⊊ NC1, ontberen architecturen met constante diepte de logische diepte om het Woordprobleem voor niet-oplosbare groepen in één forward pass op te lossen.
Empirische Validatie (LSA Benchmark):
- De auteurs stellen de Latent Space Algebra (LSA) benchmark voor om deze theoretische grenzen te testen.
- Protocol: Er wordt een recursieve lineaire probing-strategie gebruikt. Modellen worden getraind op atomaire transities ( $N=1$ ) en geëvalueerd op recursieve sequenties ( $N \in \{2, \dots, 20\}$ ) gegenereerd vanuit dezelfde toestandsruimte.
- Controles: Om optimalisatie-artefacten uit te sluiten, hanteert het onderzoek Orthogonal Procrustes Analysis (OPA) als een deterministische check voor intrinsieke lineariteit in de latente ruimte.
- Datasets: Synthetische datasets worden geconstrueerd voor Abelse ( $Z_2$ ), Oplosbaar Niet-Abelse ($SE(2)$) en Niet-oplosbare ($SO(3)$) groepen, met behulp van asymmetrische 3D-objecten om visuele injectiviteit te garanderen.
- Modellen: Experimenten evalueren bevroren gewichten van ViT (Base/Large/Huge), DINOv2 (Base/Large/Giant) en ResNet (50/101/152) backbones.

Belangrijkste Bijdragen

Algebraïsche Formalisering: Het artikel presenteert ruimtelijke representatie als een groepshomomorfisme-probleem, waarbij taakmoeilijkheid wordt gecategoriseerd op basis van de oplosbaarheid van de transformatiegroep.
Bewijs van Complexiteitsgrens: Het stelt formeel vast dat ViTs met constante diepte theoretisch niet in staat zijn niet-oplosbare structuren (zoals 3D-rotaties) te vangen onder standaard complexiteitsconjecturen (TC0 ⊊ NC1), aangezien ze de seriële afhankelijkheden inherent aan het Woordprobleem voor niet-oplosbare groepen niet kunnen oplossen.
Algebraïsche Benchmark en Validatie: De LSA-benchmark biedt een rigoureuze, structuurgedreven evaluatiemethode. Empirische resultaten bevestigen dat ViT-representaties aanzienlijk degraderen bij niet-oplosbare taken naarmate de compositiediepte toeneemt, terwijl ze fideliteit behouden voor abelse taken.

Resultaten

Universele Complexiteitsbarrière: Over alle architecturen (ViT, DINOv2, ResNet) en schalen heen vertonen modellen een fundamentele degradatie in het volgen van lange-afstandsafhankelijkheden voor niet-oplosbare groepen.
Hiërarchie van Fouten: De voorspellingsfout volgt een strikte hiërarchie: Niveau 3 (Niet-oplosbaar) $\gg$ Niveau 2 > Niveau 1. De absolute fout op Niveau 3 is ongeveer 5,73x tot 17,72x hoger dan op Niveau 1.
Structurele Degradatie: Niet-oplosbare transformaties veroorzaken een snelle, monotoon toenemende toename van de fout, die aanzienlijk sneller de baseline (triviale predictor) nadert dan oplosbare taken. Dit wijst op een structurele ineenstorting van de homomorfe mapping in plaats van een simpele cumulatieve foutdrift.
Ondoelmatigheid van Schalen van Diepte: Het vergroten van de modeldiepte (bijvoorbeeld van ViT-Base naar ViT-Huge) levert verwaarloosbare prestatiewinst op. De fouttrajecten voor verschillende dieptes binnen dezelfde architectuurfamilie overlappen, wat bevestigt dat het stapelen van lagen in een statisch computationeel graf (TC0) de kloof naar de vereiste complexiteitsklasse (NC1) niet kan overbruggen.
Intrinsiek Latent Tekort: OPA-resultaten tonen aan dat terwijl Abelse transformaties sterke lineaire fits in de latente ruimte opleveren, niet-oplosbare 3D-rotaties consequent falen (vaak resulterend in een negatieve $R^2$ ), wat bewijst dat de latente ruimte de benodigde geometrie mist om deze generatoren te representeren.

Betekenis en Claims
Het artikel claimt een fundamentele theoretische beperking van Transformer-architecturen met constante diepte te identificeren: ze vertrouwen op ondiepe benaderingen in plaats van het beheersen van de onderliggende groep-isomorfie die vereist is voor niet-oplosbare ruimtelijke redenering.

Architecturale Limiet: Het falen is niet toe te schrijven aan dataschaal of trainingsoptimalisatie, maar is een intrinsieke eigenschap van de circuitcomplexiteit van de architectuur.
Implicaties voor Embodied AI: De bevindingen dienen als waarschuwing voor veiligheidskritieke toepassingen (robotica, autonoom rijden) waar reliance op "patroonherkenning"-representaties voor composities met lange horizon tot onvoorspelbare falen kan leiden.
Efficiëntie van Middelen: Het werk pleit tegen de vruchteloosheid van het oplossen van complexe ruimtelijke redenering uitsluitend via data- of parametervergroting binnen architecturen met vaste diepte, en suggereert de noodzaak van ontwerpen die logische diepte verenigen met trainingsstabiliteit, mogelijk door inspiratie te putten uit biologische navigatieprincipes.