🧬 biology

A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

Dit artikel stelt een deep learning-model met drie componenten voor dat equivariante neurale codering, neuro-symboolische objectbeschrijving en recurrente besluitvorming integreert om menselijke prestaties en reactietijden bij mentale rotatie nauwkeurig te simuleren, zoals gevalideerd door zowel bestaande literatuur als nieuwe interactieve VR-experimenten.

Oorspronkelijke auteurs: Raymond Khazoum, Daniela Fernandes, Aleksandr Krylov, Qin Li, Stephane Deny

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raymond Khazoum, Daniela Fernandes, Aleksandr Krylov, Qin Li, Stephane Deny

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je twee verschillende 3D-puzzels in je handen houdt. De ene ligt op een tafel voor je, en de andere zweeft in je geestesoog, maar dan op zijn kant. Je hersenen moeten uitzoeken: "Als ik de zwevende draai, zal hij er dan precies hetzelfde uitzien als die op de tafel, of is het een spiegelbeeld?"

Deze mentale gymnastiek heet Mentale Rotatie. Decennialang hebben wetenschappers zich afgevraagd hoe onze hersenen dit eigenlijk doen. Is het als een langzaam, continu filmpje dat in ons hoofd draait? Of is het meer als het maken van enorme, discrete sprongen?

In dit artikel bouwde een team van onderzoekers een computerbrein (een Deep Learning Model) om deze puzzel op te lossen. Ze wilden niet alleen dat de computer het juiste antwoord gaf; ze wilden een machine bouwen die exact denkt zoals een mens. Om dit te doen, keken ze niet alleen naar oude data; ze zetten echte mensen in Virtual Reality (VR)-brillen om te observeren hoe ze hun handen bewegen om het probleem op te lossen.

Hier is hoe hun "Mensachtige Computerbrein" werkt, opgesplitst in drie eenvoudige stappen:

1. De "3D-Scanner" (De Equivariante Encoder)

De Metafoor: Stel je voor dat je naar een platte foto van een kubus kijkt. Een normale computer ziet een plat vierkant. Maar je hersenen weten direct: "Dat is een kubus, en ik zie de bovenkant en de zijkant."
Wat het Model Doet: Het eerste deel van hun model is een speciale camera die naar een 2D-afbeelding kijkt en direct een 3D-"spook" van het object in zijn geheugen bouwt. Het is getraind zodat als je het spook vertelt om te draaien, het spook perfect draait in de 3D-ruimte, net als een echt object. Dit is de Ruimtelijke Representatie.

2. De "Vertaler" (De Neuro-Symbolische Encoder)

De Metafoor: Nu de computer een 3D-spook heeft, moet hij het beschrijven aan een vriend die het spook niet kan zien. In plaats van te zeggen "Het is een kubus die 45 graden is gedraaid", vertaalt hij de vorm naar een eenvoudige zin met richtingen, zoals een schattenkaart: "Ga Omhoog, Ga Rechts, Ga Achteruit, Ga Omlaag..."
Wat het Model Doet: Dit deel neemt het 3D-spook en zet het om in een Symbolische Beschrijving. Cruciaal is dat onderzoekers ontdekten dat mensen geen perfecte precisie nodig hebben. Ze hoeven alleen maar te weten in welk "Kwadrant" (of algemeen gebied) het object zich bevindt.

De "Kwadrantenhypothese": Stel je voor dat de wereld is verdeeld in vier grote pizzastukken. Het model maakt niet uit of het object op 10 graden of 20 graden staat; het maakt alleen uit dat het in het "Boven-Rechtse Stuk" zit. Dit vereenvoudigt het probleem enorm.

3. De "Beslissingsagent" (De Neuronale Agent)

De Metafoor: Je hebt de schattenkaart (de symbolische beschrijving) van Object A en Object B. De agent is het kleine stemmetje in je hoofd dat zegt: "Oké, Object A zit in het Boven-Rechtse stuk. Object B zit in het Onder-Linkse stuk. Ik moet Object A twee stukken draaien om te matchen."
Wat het Model Doet: Dit laatste deel vergelijkt de twee "kaarten".

Als de kaarten zeggen dat ze in hetzelfde stuk zitten, besluit het: "Match!"
Als ze in verschillende stukken zitten, besluit het: "Draai 90 graden met de klok mee!" of "Draai 180 graden!"
Het past die draai vervolgens toe op het 3D-spook, krijgt een nieuwe kaart en controleert opnieuw. Het blijft dit doen tot de kaarten matchen.

De Geheime Ingrediënt: Het VR-Experiment

Om zeker te weten dat hun computerbrein dacht als een mens, zetten de onderzoekers 19 mensen in een VR-ruimte.

De Oude Manier: Mensen keken alleen naar foto's en drukten op een knop.
De Nieuwe Manier: Mensen konden een joystick vastgrijpen en het object fysiek in VR draaien om hen te helpen beslissen.

Wat ze vonden:
Mensen zijn verrassend lui (op een goede manier!). Ze draaien objecten niet langzaam en continu. In plaats daarvan maken ze één of twee grote, snelle "ballistische" sprongen (zoals het indrukken van een schakelaar) om het object in het juiste algemene "stuk" of kwadrant te krijgen. Zodra het in het juiste gebied zit, stoppen ze en beslissen ze of het een match is.

De onderzoekers ontdekten dat hun computermodel, dat was gebouwd om dezezelfde "grote sprongen" te maken op basis van het "Kwadranten"-idee, zich bijna exact gedroeg zoals de mensen in het VR-experiment.

Waarom Dit Belangrijk Is (Volgens het Artikel)

Het artikel beweert dat dit de eerste keer is dat iemand een computermodel heeft gebouwd dat:

De mentale rotatietaken correct oplost.
De specifieke manier nabootst waarop mensen bewegen (het maken van een paar grote sprongen in plaats van een langzame draai).
Een mix gebruikt van 3D-ruimtelijk denken (het spook) en symbolische logica (de kaart) om dit te doen.

De auteurs stellen dat onze hersenen waarschijnlijk een hybride systeem gebruiken: we bouwen een 3D-afbeelding in onze gedachten, maar we nemen beslissingen met behulp van eenvoudige, abstracte regels (zoals "het zit in het juiste kwadrant") in plaats van elke enkele graad van rotatie te berekenen.

Kortom: Ze bouwden een robotbrein dat leert objecten te draaien door ze eerst in 3D te zien, ze om te zetten in een eenvoudige richtingskaart, en vervolgens een paar grote, slimme sprongen te maken om de puzzel op te lossen – precies zoals een mens dat doet in een VR-game.

Technische Samenvatting: Een Deep Learning-model voor Mentale Rotatie Geïnformeerd door Interactieve VR-experimenten

Probleemstelling
Mentale rotatie – het vermogen om objecten te vergelijken die vanuit verschillende gezichtspunten worden gezien – is een fundamenteel menselijk cognitief proces. Hoewel het baanbrekende werk van Shepard & Metzler (1971) aantoonde dat menselijke reactietijden lineair evenredig zijn met de hoekafwijking, wat wijst op een interne "ruimtelijke motor", heeft geen enkel bestaand computationeel model de taak van mentale rotatie succesvol opgelost terwijl het tegelijkertijd een mechanistische verklaring bood voor hoe het brein dit proces zou kunnen uitvoeren. Huidige deep learning-systemen worstelen vaak met ruimtelijk redeneren en generalisatie naar nieuwe 3D-oriëntaties, en slagen er niet in de robuustheid van menselijke prestaties te repliceren bij zowel planaire als diepterotaties.

Methodologie
De auteurs stellen een mechanistisch model in drie fasen voor dat deep learning, equivariante representaties en neuro-symbolisch redeneren integreert. Het ontwerp van het model wordt geleid door bestaande literatuur en een nieuwe reeks Virtual Reality (VR)-experimenten waarbij proefpersonen objecten manipuleerden via een joystick.

VR-experimenteel ontwerp: De auteurs voerden experimenten uit met 19 deelnemers in een VR-omgeving met Shepard-Metzler-objecten. In tegenstelling tot traditionele 2D-opstellingen, liet de "Actie"-opstelling proefpersonen toe objecten te draaien met een thumbstick. Belangrijkste gedragsbevindingen waren:
- Proefpersonen voerden een opmerkelijk laag aantal "ballistische" acties uit (meestal één) om objecten in een ruwe "kwadrant" te positioneren voordat ze een beslissing namen.
- Proefpersonen zochten geen perfecte uitlijning, maar plaatsten objecten eerder binnen een $\pm 45^\circ$ -bereik ten opzichte van elkaar.
- Reactietijden vertoonden een hoge variabiliteit bij grote hoekafwijkingen, wat de hypothese van een strikt vaste, continue rotatiesnelheid uitdaagt.
Het computationele model: Op basis van deze bevindingen formuleerden de auteurs de Hypothese van de Kwadrant-afhankelijke Symbolische Representatie, die stelt dat mensen de continue rotatieruimte reduceren tot vier discrete kwadranten. Het model bestaat uit drie gestapelde modules:
- Module I (Equivariant Neuraal Encoder): Een equivariant neurale renderer (EqNR) getraind op 2D-afbeeldingen van 3D-objecten. Het produceert een 3D ruimtelijke latente representatie die equivariant is voor $SO(3)$-rotaties, waardoor het model interne analoge representaties kan manipuleren zonder expliciete 3D-supervisie.
- Module II (Neuro-symbolisch Object Encoder): Een Vision Symbolic Model (VSM) bestaande uit een Vision Transformer (ViT)-encoder en een autoregressieve Transformer-decoder. Het mapt de 3D ruimtelijke latente representaties af op sequentiële symbolische beschrijvingen (reeksen van directionele overgangen tussen kubussen). Cruciaal is dat deze module equivariantie handhaaft op het symbolische niveau, waarbij de beschrijving voorspelbaar verandert wanneer het object een kwadrantgrens oversteekt.
- Module III (Neuraal Beslissingsagent): Een Multi-Layer Perceptron (MLP) die paren van symbolische beschrijvingen als invoer ontvangt. Het voert twee functies uit: (a) het beoordelen van gelijkenis (match/mismatch) als de objecten zich in hetzelfde kwadrant bevinden, of (b) het voorspellen van de benodigde rotatie-actie (bijvoorbeeld 90° rechtsom draaien) om de objecten uit te lijnen als ze zich in verschillende kwadranten bevinden. Deze agent werkt iteratief, past de voorspelde rotaties toe op de ruimtelijke representatie uit Module I en evalueert opnieuw totdat een beslissing over gelijkenis is bereikt.

Belangrijkste Bijdragen

Eerste Mechanistisch Model: Het artikel presenteert het eerste neurale model dat niet alleen de taak van mentale rotatie oplost, maar ook een mechanistische verklaring biedt voor het cognitieve proces, waardoor de kloof tussen ruimtelijke manipulatie en symbolisch besluitvorming wordt overbrugd.
Integratie van Representaties: Het werk demonstreert de noodzaak van het combineren van structureel isomorfe ruimtelijke representaties (voor manipulatie) met abstracte symbolische beschrijvingen (voor besluitvorming en actiekeuze).
Validatie via VR: Het model wordt gevalideerd aan de hand van zowel standaard gedragsmaten (nauwkeurigheid, trends in reactietijd) als nieuwe interactiegegevens (aantal handmatige acties) afgeleid uit de VR-experimenten van de auteurs.
Ablatiestudies: Systematische ablaties bevestigen dat het verwijderen van een enkel onderdeel (de equivariante encoder, de symbolische encoder of de actie-uitvoerende agent) leidt tot een falen in generalisatie naar nieuwe objecten of het repliceren van mensachtige actieseries.

Resultaten

Prestaties: Het volledige model bereikt 96,13% nauwkeurigheid op de taak van mentale rotatie, vergelijkbaar met menselijke prestaties (91–95% in VR-opstellingen).
Gedragsgetrouwheid: Het model repliceert de menselijke neiging om een minimaal aantal acties te gebruiken (gebaseerd op 0 of 1 actie) om de taak op te lossen. Het slaagt erin het lineaire trend in reactietijden voor afwijkingen van $0^\circ$ tot $120^\circ$ te vangen, hoewel het moeite heeft om de specifieke toename in reactietijd tussen $120^\circ$ en $180^\circ$ te verklaren zonder aan te nemen dat de kosten van neurale implementatie hoekafhankelijk zijn.
Noodzaak van Onderdelen:
- Standaard Siamese netwerken (puur feed-forward) slagen er niet in te generaliseren naar nieuwe 3D-rotaties, wat de noodzaak bevestigt van equivariante ruimtelijke representaties.
- Het verwijderen van de symbolische encoder verhindert dat het model de taak oplost, wat de noodzaak benadrukt van abstracte beschrijvingen om acties te sturen.
- Het verwijderen van de actie-uitvoerende agent stelt het model in staat de taak met hoge nauwkeurigheid op te lossen, maar faalt in het reproduceren van het sequentiële, actie-gebaseerde gedrag dat bij mensen wordt waargenomen.

Betekenis en Beweringen
De auteurs beweren dat dit werk nieuwe inzichten biedt in het cognitieve proces van mentale rotatie, specifiek een hybride visie ondersteunend waarbij rotaties worden toegepast op ruimtelijke representaties, maar beslissingen worden geleid door symbolische, op kwadranten gebaseerde abstracties. Het artikel betoogt dat de menselijke geest mogelijk "discontinue sprongen" in de rotatieruimte gebruikt in plaats van een strikt continu analoog proces.

Vanuit het perspectief van machine learning suggereert het werk dat het expliciet afdwingen van representatieve inductieve biases (equivariantie en neuro-symbolische integratie) effectiever is voor ruimtelijk redeneren dan uitsluitend vertrouwen op schaal. De auteurs merken op dat hoewel fundamentele vragen blijven bestaan (bijvoorbeeld de biologische plausibiliteit van het rotatiemechanisme en data-efficiëntie), hun modelleringssinspanning dient als een proof-of-concept voor het integreren van diepe, equivariante en symbolische representaties om menselijk ruimtelijk redeneren te modelleren. Het werk claimt niet alle aspecten van menselijke cognitie op te lossen, maar beoogt een levensvatbare neurale implementatie te bieden die overeenkomt met gedragsgegevens, in overeenstemming met het principe: "Wat ik niet kan creëren, dat begrijp ik niet."

1. De "3D-Scanner" (De Equivariante Encoder)

2. De "Vertaler" (De Neuro-Symbolische Encoder)

3. De "Beslissingsagent" (De Neuronale Agent)

De Geheime Ingrediënt: Het VR-Experiment

Waarom Dit Belangrijk Is (Volgens het Artikel)

Meer zoals dit