🧬 biology

A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

Dieser Artikel schlägt ein dreikomponentiges Deep-Learning-Modell vor, das äquivariante neuronale Kodierung, neuro-symbolische Objektbeschreibung und rekursive Entscheidungsfindung integriert, um die menschliche Leistung bei mentalen Rotationen sowie die Reaktionszeiten präzise zu simulieren, was sowohl durch bestehende Literatur als auch durch neue interaktive VR-Experimente validiert wurde.

Ursprüngliche Autoren: Raymond Khazoum, Daniela Fernandes, Aleksandr Krylov, Qin Li, Stephane Deny

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raymond Khazoum, Daniela Fernandes, Aleksandr Krylov, Qin Li, Stephane Deny

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie halten zwei verschiedene 3D-Puzzles in Ihren Händen. Eines liegt auf einem Tisch vor Ihnen, das andere schwebt in Ihrem inneren Auge, ist jedoch seitlich gedreht. Ihr Gehirn muss herausfinden: „Wenn ich das schwebende Puzzle drehe, sieht es dann exakt so aus wie das auf dem Tisch, oder ist es ein Spiegelbild?"

Diese mentale Gymnastik nennt man mentale Rotation. Seit Jahrzehnten fragen sich Wissenschaftler, wie unser Gehirn dies tatsächlich bewerkstelligt. Ist es wie ein langsames, kontinuierliches Video, das in unserem Kopf rotiert? Oder ist es eher wie das Nehmen riesiger, diskreter Sprünge?

In dieser Arbeit baute ein Forscherteam ein Computer-Gehirn (ein Deep-Learning-Modell), um dieses Puzzle zu lösen. Sie wollten nicht nur, dass der Computer die richtige Antwort liefert; sie wollten eine Maschine bauen, die genau so denkt wie ein Mensch. Um dies zu tun, betrachteten sie nicht nur alte Daten; sie setzten echte Menschen in **Virtual-Reality **(VR)-Headsets, um zu beobachten, wie sie ihre Hände tatsächlich bewegen, um das Problem zu lösen.

Hier ist, wie ihr „menschenähnliches Computer-Gehirn" funktioniert, aufgeteilt in drei einfache Schritte:

1. Der „3D-Scanner" (Der äquivariante Encoder)

Die Metapher: Stellen Sie sich vor, Sie schauen auf ein flaches Foto eines Würfels. Ein normaler Computer sieht ein flaches Quadrat. Aber Ihr Gehirn weiß sofort: „Das ist ein Würfel, und ich kann seine Ober- und Seitenfläche sehen."
Was das Modell tut: Der erste Teil ihres Modells ist eine spezielle Kamera, die ein 2D-Bild betrachtet und sofort ein 3D-„Geistbild" des Objekts in seinem Gedächtnis aufbaut. Es ist so trainiert, dass, wenn Sie dem Geistbild sagen, es soll sich drehen, es sich perfekt im 3D-Raum dreht, genau wie ein reales Objekt. Dies ist die räumliche Darstellung.

2. Der „Übersetzer" (Der neuro-symbolische Encoder)

Die Metapher: Jetzt, wo der Computer ein 3D-Geistbild hat, muss er es einem Freund beschreiben, der das Geistbild nicht sehen kann. Anstatt zu sagen: „Es ist ein um 45 Grad gedrehter Würfel", übersetzt er die Form in einen einfachen Satz von Richtungen, wie eine Schatzkarte: „Gehe hoch, gehe rechts, gehe zurück, gehe runter..."
Was das Modell tut: Dieser Teil nimmt das 3D-Geistbild und wandelt es in eine symbolische Beschreibung um. Entscheidend ist, dass die Forscher herausfanden, dass Menschen keine perfekte Präzision benötigen. Sie müssen nur wissen, in welchem „Quadranten" (oder allgemeinen Bereich) sich das Objekt befindet.

Die „Quadranten-Hypothese": Stellen Sie sich vor, die Welt ist in vier große Pizzascheiben unterteilt. Dem Modell ist es egal, ob das Objekt bei 10 oder 20 Grad liegt; es interessiert nur, dass es im „oberen rechten Slice" ist. Dies vereinfacht das Problem massiv.

3. Der „Entscheidungs-Agent" (Der neuronale Agent)

Die Metapher: Sie haben die Schatzkarte (die symbolische Beschreibung) von Objekt A und Objekt B. Der Agent ist die kleine Stimme in Ihrem Kopf, die sagt: „Okay, Objekt A befindet sich im oberen rechten Slice. Objekt B befindet sich im unteren linken. Ich muss Objekt A um zwei Slices drehen, um es anzupassen."
Was das Modell tut: Dieser letzte Teil vergleicht die beiden „Karten".

Wenn die Karten sagen, sie befinden sich im gleichen Slice, entscheidet es: „Übereinstimmung!"
Wenn sie sich in verschiedenen Slices befinden, entscheidet es: „Drehe 90 Grad im Uhrzeigersinn!" oder „Drehe 180 Grad!"
Dann wendet es diese Drehung auf das 3D-Geistbild an, erhält eine neue Karte und prüft erneut. Es fährt so fort, bis die Karten übereinstimmen.

Das Geheimnis: Das VR-Experiment

Um sicherzustellen, dass ihr Computer-Gehirn wie ein Mensch dachte, setzten die Forscher 19 Personen in einen VR-Raum.

Der alte Weg: Menschen schauten nur auf Bilder und drückten einen Knopf.
Der neue Weg: Menschen konnten einen Joystick greifen und das Objekt physisch in VR drehen, um ihnen bei der Entscheidung zu helfen.

Was sie herausfanden:
Menschen sind überraschend faul (auf eine gute Weise!). Sie drehen Objekte nicht langsam und kontinuierlich. Stattdessen machen sie einen oder zwei große, schnelle „ballistische" Sprünge (wie das Umwerfen eines Schalters), um das Objekt in den richtigen allgemeinen „Slice" oder Quadranten zu bringen. Sobald es im richtigen Bereich ist, hören sie auf und entscheiden, ob es eine Übereinstimmung ist.

Die Forscher stellten fest, dass ihr Computermodell, das entwickelt wurde, um diese gleichen „großen Sprünge" basierend auf der „Quadranten"-Idee zu machen, sich fast genau wie die Menschen im VR-Experiment verhielt.

Warum dies wichtig ist (laut der Arbeit)

Die Arbeit behauptet, dies sei das erste Mal, dass jemand ein Computermodell gebaut hat, das:

Die Aufgabe der mentalen Rotation korrekt löst.
Die spezifische Art und Weise nachahmt, wie sich Menschen bewegen (ein paar große Sprünge statt einer langsamen Drehung).
Eine Mischung aus 3D-räumlichem Denken (das Geistbild) und symbolischer Logik (die Karte) verwendet, um dies zu tun.

Die Autoren argumentieren, dass unser Gehirn wahrscheinlich ein hybrides System verwendet: Wir bauen ein 3D-Bild in unserem Kopf auf, treffen aber Entscheidungen unter Verwendung einfacher, abstrakter Regeln (wie „es befindet sich im richtigen Quadranten"), anstatt jeden einzelnen Grad der Drehung zu berechnen.

Kurz gesagt: Sie bauten ein Roboter-Gehirn, das lernt, Objekte zu drehen, indem es sie zuerst in 3D sieht, sie in eine einfache Richtungskarte verwandelt und dann ein paar große, intelligente Sprünge macht, um das Puzzle zu lösen – genau wie ein Mensch in einem VR-Spiel.

Technische Zusammenfassung: Ein Deep-Learning-Modell der mentalen Rotation, informiert durch interaktive VR-Experimente

Problemstellung
Mentale Rotation – die Fähigkeit, Objekte aus verschiedenen Blickwinkeln zu vergleichen – ist ein grundlegender menschlicher kognitiver Prozess. Während die wegweisende Arbeit von Shepard & Metzler (1971) feststellte, dass menschliche Reaktionszeiten linear proportional zur Winkelabweichung sind, was auf einen internen „räumlichen Motor" hindeutet, hat bisher kein existierendes computergestütztes Modell die mentale Rotationsaufgabe erfolgreich gelöst und gleichzeitig eine mechanistische Erklärung dafür geliefert, wie das Gehirn diesen Prozess ausführen könnte. Aktuelle Deep-Learning-Systeme haben oft Schwierigkeiten mit räumlichem Schlussfolgern und der Generalisierung auf neue 3D-Orientierungen und scheitern daran, die Robustheit menschlicher Leistung sowohl bei planaren als auch bei Tiefenrotationen zu replizieren.

Methodik
Die Autoren schlagen ein dreistufiges mechanistisches Modell vor, das Deep Learning, äquivariante Repräsentationen und neuro-symbolisches Schlussfolgern integriert. Das Design des Modells wird durch bestehende Literatur und eine neuartige Reihe von Virtual-Reality-(VR-)Experimenten geleitet, bei denen menschliche Probanden Objekte über einen Joystick manipulierten.

VR-Experimentelles Design: Die Autoren führten Experimente mit 19 Teilnehmern in einer VR-Umgebung unter Verwendung von Shepard-Metzler-Objekten durch. Im Gegensatz zu traditionellen 2D-Aufbauten ermöglichte das „Action"-Setup den Probanden, Objekte über einen Joystick zu rotieren. Zu den wichtigsten verhaltensbezogenen Erkenntnissen gehörten:
- Probanden führten eine bemerkenswert geringe Anzahl „ballistischer" Aktionen (typischerweise eine) durch, um Objekte in ein grobes „Quadrant" auszurichten, bevor sie eine Entscheidung trafen.
- Probanden suchten keine perfekte Ausrichtung, sondern platzierten Objekte vielmehr innerhalb eines Bereichs von $\pm 45^\circ$ relativ zueinander.
- Die Reaktionszeiten zeigten bei großen Winkelabweichungen eine hohe Variabilität, was die Hypothese einer strikt festen, kontinuierlichen Rotationsgeschwindigkeit in Frage stellte.
Das computergestützte Modell: Basierend auf diesen Erkenntnissen formulierten die Autoren die Hypothese der quadrantenabhängigen symbolischen Repräsentation, die besagt, dass Menschen den kontinuierlichen Rotationsraum in vier diskrete Quadranten reduzieren. Das Modell besteht aus drei gestapelten Modulen:
- Modul I (Äquivarianter Neuronaler Encoder): Ein äquivarianter neuronaler Renderer (EqNR), der auf 2D-Bildern von 3D-Objekten trainiert wurde. Er erzeugt eine 3D-räumliche latente Repräsentation, die gegenüber $SO(3)$-Rotationen äquivariant ist, wodurch das Modell interne analoge Repräsentationen ohne explizite 3D-Überwachung manipulieren kann.
- Modul II (Neuro-symbolischer Objekt-Encoder): Ein Vision Symbolic Model (VSM), bestehend aus einem Vision-Transformer-(ViT-)Encoder und einem autoregressiven Transformer-Decoder. Es bildet die 3D-räumlichen latenten Repräsentationen auf sequenzielle symbolische Beschreibungen ab (Sequenzen von Richtungsübergängen zwischen Würfeln). Entscheidend ist, dass dieses Modul Äquivarianz auf symbolischer Ebene erzwingt, wobei sich die Beschreibung vorhersagbar ändert, wenn das Objekt eine Quadrantengrenze überschreitet.
- Modul III (Neuronaler Entscheidungs-Agent): Ein Multi-Layer-Perceptron (MLP), das Paare symbolischer Beschreibungen als Eingabe erhält. Es führt zwei Funktionen aus: (a) Beurteilung der Ähnlichkeit (Übereinstimmung/Nichtübereinstimmung), wenn sich die Objekte im selben Quadranten befinden, oder (b) Vorhersage der notwendigen Rotationsaktion (z. B. 90° im Uhrzeigersinn drehen), um die Objekte auszurichten, wenn sie sich in verschiedenen Quadranten befinden. Dieser Agent arbeitet iterativ, wendet vorhergesagte Rotationen auf die räumliche Repräsentation aus Modul I an und bewertet erneut, bis eine Ähnlichkeitsentscheidung getroffen wird.

Hauptbeiträge

Erstes mechanistisches Modell: Der Artikel stellt das erste neuronale Modell vor, das nicht nur die mentale Rotationsaufgabe löst, sondern auch eine mechanistische Erklärung des kognitiven Prozesses liefert und die Lücke zwischen räumlicher Manipulation und symbolischer Entscheidungsfindung schließt.
Integration von Repräsentationen: Die Arbeit zeigt die Notwendigkeit auf, strukturell isomorphe räumliche Repräsentationen (für die Manipulation) mit abstrakten symbolischen Beschreibungen (für Entscheidungsfindung und Aktionsauswahl) zu kombinieren.
Validierung durch VR: Das Modell wird sowohl gegen Standard-Verhaltensmetriken (Genauigkeit, Trends der Reaktionszeit) als auch gegen neuartige Interaktionsdaten (Anzahl manueller Aktionen) validiert, die aus den VR-Experimenten der Autoren stammen.
Ablationsstudien: Systematische Ablationen bestätigen, dass das Entfernen einer einzelnen Komponente (des äquivarianten Encoders, des symbolischen Encoders oder des aktionsausführenden Agents) zu einem Versagen bei der Generalisierung auf neue Objekte oder bei der Replikation menschlicher Aktionssequenzen führt.

Ergebnisse

Leistung: Das vollständige Modell erreicht eine Genauigkeit von 96,13 % bei der mentalen Rotationsaufgabe, was der menschlichen Leistung (91–95 % in VR-Setups) vergleichbar ist.
Verhaltensähnlichkeit: Das Modell repliziert die menschliche Tendenz, eine minimale Anzahl von Aktionen (dominiert von 0 oder 1 Aktion) zur Lösung der Aufgabe zu verwenden. Es erfasst erfolgreich den linearen Trend der Reaktionszeiten für Abweichungen von $0^\circ$ bis $120^\circ$ , hat jedoch Schwierigkeiten, den spezifischen Anstieg der Reaktionszeit zwischen $120^\circ$ und $180^\circ$ zu erklären, ohne von winkelabhängigen Kosten der neuronalen Implementierung auszugehen.
Notwendigkeit der Komponenten:
- Standard-Siamesische Netzwerke (rein vorwärtsgerichtete) generalisieren nicht auf neue 3D-Rotationen, was die Notwendigkeit äquivarianter räumlicher Repräsentationen bestätigt.
- Das Entfernen des symbolischen Encoders verhindert, dass das Modell die Aufgabe löst, was die Notwendigkeit abstrakter Beschreibungen zur Steuerung von Aktionen unterstreicht.
- Das Entfernen des aktionsausführenden Agents ermöglicht dem Modell zwar, die Aufgabe mit hoher Genauigkeit zu lösen, scheitert jedoch daran, das sequenzielle, aktionsbasierte Verhalten, das bei Menschen beobachtet wird, zu replizieren.

Bedeutung und Behauptungen
Die Autoren behaupten, diese Arbeit biete neue Einblicke in den kognitiven Prozess der mentalen Rotation, insbesondere eine hybride Sichtweise, bei der Rotationen auf räumliche Repräsentationen angewendet werden, Entscheidungen jedoch durch symbolische, quadrantenbasierte Abstraktionen geleitet werden. Der Artikel argumentiert, dass der menschliche Geist möglicherweise „diskontinuierliche Sprünge" im Rotationsraum nutzt, anstatt einen strikt kontinuierlichen analogen Prozess.

Aus maschinellem Lernperspektive legt die Arbeit nahe, dass das explizite Erzwingen von repräsentationalen induktiven Verzerrungen (Äquivarianz und neuro-symbolische Integration) für räumliches Schlussfolgern effektiver ist als die alleinige Abhängigkeit von Skalierung. Die Autoren weisen darauf hin, dass zwar grundlegende Fragen offen bleiben (z. B. die biologische Plausibilität des Rotationsmechanismus und die Dateneffizienz), ihr Modellierungsversuch jedoch als Proof-of-Concept für die Integration von tiefen, äquivarianten und symbolischen Repräsentationen zur Modellierung menschlichen räumlichen Schlussfolgerns dient. Die Arbeit beansprucht nicht, alle Aspekte menschlicher Kognition zu lösen, sondern zielt darauf ab, eine gangbare neuronale Implementierung bereitzustellen, die mit Verhaltensdaten übereinstimmt und dem Prinzip folgt: „Was ich nicht erschaffen kann, das verstehe ich nicht."

1. Der „3D-Scanner" (Der äquivariante Encoder)

2. Der „Übersetzer" (Der neuro-symbolische Encoder)

3. Der „Entscheidungs-Agent" (Der neuronale Agent)

Das Geheimnis: Das VR-Experiment

Warum dies wichtig ist (laut der Arbeit)

Mehr davon