Limits of Imagery Reasoning in Frontier LLM Models

Titel: Grenzen van Beeldredenering in Frontier LLM-modellen

Auteurs: Sergio Y. Hayashi en Nina S. T. Hirata (Universiteit van São Paulo, Brazilië)
Datum: 31 maart 2026

1. Het Probleem

Hoewel Large Language Models (LLM's) en Multimodale LLM's (MLLM's) indrukwekkende redeneercapaciteiten hebben getoond, kampen ze met ernstige tekortkomingen bij ruimtelijke taken die mentale simulatie vereisen, zoals mentale rotatie van 3D-objecten.

• De Kloof: Mensen kunnen eenvoudig bepalen of een object door rotatie in een andere hoek kan worden verkregen (een taak die kinderen aankunnen), terwijl de meest geavanceerde modellen (zoals GPT-5 en Claude-3.7) hier vaak falen (prestaties rond de 36-50% versus ~79% voor mensen).
• De Hypothese: De auteurs stellen dat LLM's lijden aan een functionele "aphantasia" (het onvermogen om mentale beelden te visualiseren). Ze behandelen afbeeldingen als sequenties van tokens in plaats van als holistische, transformeerbare structuren. Zelfs als een externe tool de 3D-structuur beheert, kunnen de modellen deze informatie niet effectief interpreteren of gebruiken voor redenering.

2. Methodologie: De "Prosthetische" Beeldarchitectuur

Om te testen of het probleem ligt bij het gebrek aan een interne 3D-voorstelling of bij het gebrek aan vaardigheden om met zo'n voorstelling om te gaan, ontwierpen de auteurs een dual-module agentic loop:

• Redeneringsmodule (Reasoning Module): Een frontier MLLM (primair GPT-5.2) die de redeneertaak uitvoert. Deze module manipuleert geen 3D-geometrie direct.
• Beeldmodule (Imagery Module): Een externe tool (geïmplementeerd in Python met PyVista) die een persistente 3D-toestand van het object onderhoudt. Deze module voert rotatiecommando's uit en rendert 2D-projecties vanuit het nieuwe perspectief.
• Interactie: De LLM geeft commando's (bijv. "draai links 30 graden"), de beeldmodule voert dit uit en retourneert een nieuwe afbeelding. De LLM gebruikt deze feedback om iteratief naar een oplossing te zoeken.
• Opdracht: De taak is gebaseerd op de SpatialViz 3D-rotatiebenchmark. Gegeven een origineel object en drie opties (A, B, C), moet het model bepalen welke optie niet door rotatie van het origineel kan worden verkregen.

3. Belangrijkste Experimenten en Resultaten

De auteurs testten het systeem onder verschillende condities om de oorzaken van het falen te isoleren:

• Conditie 1: Reset-mogelijkheid (Ablatie):

  • Setup: Het model mocht objecten resetten naar een canoniek (standaard) perspectief, waardoor de taak reduceerde tot een simpele 2D-vergelijking.
  • Resultaat: De nauwkeurigheid steeg tot 97,5%.
  • Conclusie: Het identificeren van het "vreemde eendje" is niet fundamenteel moeilijk; het probleem ligt in het dynamisch manipuleren van het perspectief, niet in het herkennen van de vorm.

• Conditie 2: Incrementale rotatie met een 360°-hint:

  • Setup: Het model kreeg de instructie om een volledige 360°-orbit te genereren om een directe visuele match te zoeken.
  • Resultaat: Slechts 52,5% nauwkeurigheid.
  • Observatie: Het model kon zich niet focussen op de juiste match binnen een lange reeks beelden en viel terug op symbolische inferentie over de objectstructuur in plaats van visuele vergelijking.

• Conditie 3: Alleen incrementele rotatie (Hoofdfout):

  • Setup: Het model moest iteratief rotaties uitvoeren om de hoek van het doelobject te benaderen.
  • Resultaat: Nauwkeurigheid varieerde tussen 50% en 62,5%.
  • Observatie: Het model gebruikte de tool voornamelijk voor statische inspectie, niet voor continue rotatie om een geometrische match te bevestigen.

• Isolatie van Kernruimtelijke Vaardigheden:

  • Rotatie detectie: Het model kon de richting en hoek van een kleine rotatie tussen twee beelden niet correct voorspellen (bijv. een rotatie naar links werd voorspeld als rechts).
  • Toestandsvoorspelling: Wanneer gevraagd werd om een afbeelding te genereren van een object na een rotatie, faalden alle generatieve modellen volledig; ze gaven het originele beeld terug.
  • VGGT Vergelijking: Gespecialiseerde vision-modellen (zoals VGGT) die zijn getraind op camera-extrinsieken, presteerden wel goed in het voorspellen van rotatiehoeken. Dit suggereert dat de Transformer-architectuur zelf niet het probleem is, maar wel de trainingsstrategie en het gebrek aan specifieke ruimtelijke training bij algemene LLM's.

4. Kernbijdragen en Conclusies

De studie concludeert dat het uitbesteden van de 3D-toestand aan een externe tool niet voldoende is. De beperking ligt in de fundamentele perceptuele primitieven die aan de LLM-kant ontbreken. De auteurs identificeren twee centrale barrières:

1. Gebrek aan visueel-ruimtelijke primitieven:

   • Diepte: Het vermogen om 3D-structuur uit 2D-projecties te extraheren.
   • Beweging: Het interpreteren van twee opeenvolgende beelden als een sequentie van beweging (in plaats van losse frames).
   • Dynamische voorspelling: Het vermogen om het toekomstige beeld te anticiperen na een transformatie.

2. Gebrek aan contemplatieve, aandacht-gedreven redenering:

   • LLM's hebben een sterke bias naar symbolische, woordgebaseerde associaties. Ze "denken" in plaats van te "kijken".
   • Ze kunnen niet dynamisch hun aandacht verplaatsen over een beeld om specifieke visuele kenmerken te inspecteren (zoals een mens dat doet bij mentale rotatie), maar vertrouwen op oppervlakkige perceptuele observaties en tekstuele logica.

5. Significatie

Dit paper biedt sterk bewijs dat de huidige frontier-LLM's lijden aan een vorm van functionele aphantasia. Het toevoegen van externe rendering-tools lost het probleem niet op zolang de LLM zelf niet beschikt over de interne mechanismen om visuele informatie te simuleren en te manipuleren.

• Implicatie voor de toekomst: Toekomstig onderzoek moet zich niet richten op het simpelweg koppelen van LLM's aan rendering-engines of het toevoegen van parallelle beeldtakken. In plaats daarvan moeten fundamentele architecturen worden ontwikkeld die inherent ruimtelijk bewustzijn, continue staat-tracking en contemplatieve visuele aandacht ondersteunen. Zonder deze bouwstenen zullen LLM's blijven vastlopen bij taken die mentale simulatie vereisen.