A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

Sintesi Tecnica: Un Modello di Deep Learning per la Rotazione Mentale Informato da Esperimenti VR Interattivi

Dichiarazione del Problema
La rotazione mentale – la capacità di confrontare oggetti visti da punti di vista diversi – è un processo cognitivo umano fondamentale. Sebbene il lavoro seminale di Shepard & Metzler (1971) abbia stabilito che i tempi di risposta umani sono linearmente proporzionali alla discrepanza angolare, suggerendo un "motore spaziale" interno, nessun modello computazionale esistente ha risolto con successo il compito di rotazione mentale offrendo al contempo una spiegazione meccanicistica di come il cervello potrebbe eseguire tale processo. I sistemi attuali di deep learning spesso faticano nel ragionamento spaziale e nella generalizzazione a nuove orientazioni 3D, non riuscendo a replicare la robustezza delle prestazioni umane sia nelle rotazioni planari che in quelle di profondità.

Metodologia
Gli autori propongono un modello meccanicistico a tre stadi che integra deep learning, rappresentazioni equivarianti e ragionamento neuro-simbolico. La progettazione del modello è guidata dalla letteratura esistente e da un nuovo set di esperimenti di Realtà Virtuale (VR) in cui soggetti umani manipolavano oggetti tramite un joystick.

1. Design Sperimentale VR: Gli autori hanno condotto esperimenti con 19 partecipanti in un ambiente VR utilizzando oggetti Shepard-Metzler. A differenza dei tradizionali setup 2D, il setup "Azione" permetteva ai soggetti di ruotare gli oggetti utilizzando un joystick. Le principali scoperte comportamentali includevano:

   • I soggetti eseguivano un numero sorprendentemente basso di azioni "balistiche" (tipicamente una) per allineare gli oggetti in una generica "quadrante" prima di prendere una decisione.
   • I soggetti non cercavano un allineamento perfetto, ma posizionavano piuttosto gli oggetti entro un intervallo di $\pm 45^\circ$ l'uno rispetto all'altro.
   • I tempi di risposta mostravano un'alta variabilità a grandi discrepanze angolari, sfidando l'ipotesi di una velocità di rotazione continua e strettamente fissa.

2. Il Modello Computazionale: Basandosi su questi risultati, gli autori hanno formulato l'Ipotesi di Rappresentazione Simbolica Dipendente dal Quadrante, che postula che gli umani riducano lo spazio di rotazione continuo in quattro quadranti discreti. Il modello è composto da tre moduli impilati:

   • Modulo I (Codificatore Neurale Equivariante): Un renderer neurale equivariante (EqNR) addestrato su immagini 2D di oggetti 3D. Produce una rappresentazione latente spaziale 3D che è equivariante rispetto alle rotazioni $SO(3)$, permettendo al modello di manipolare rappresentazioni analogiche interne senza supervisione 3D esplicita.
   • Modulo II (Codificatore Neurale-Simbolico degli Oggetti): Un Vision Symbolic Model (VSM) composto da un encoder Vision Transformer (ViT) e un decoder Transformer autoregressivo. Mappa le rappresentazioni latenti spaziali 3D in descrizioni simboliche sequenziali (sequenze di transizioni direzionali tra cubi). Crucialmente, questo modulo impone l'equivarianza a livello simbolico, dove la descrizione cambia in modo prevedibile quando l'oggetto attraversa un confine di quadrante.
   • Modulo III (Agente Decisionale Neurale): Un Multi-Layer Perceptron (MLP) che prende in input coppie di descrizioni simboliche. Esegue due funzioni: (a) giudicare la similarità (corrispondenza/non corrispondenza) se gli oggetti sono nello stesso quadrante, oppure (b) prevedere l'azione di rotazione necessaria (ad esempio, ruotare di 90° in senso orario) per allineare gli oggetti se si trovano in quadranti diversi. Questo agente opera iterativamente, applicando le rotazioni previste alla rappresentazione spaziale del Modulo I e rivalutando fino a raggiungere una decisione di similarità.

Contributi Chiave

• Primo Modello Meccanicistico: Il paper presenta il primo modello neurale che non solo risolve il compito di rotazione mentale, ma fornisce anche una spiegazione meccanicistica del processo cognitivo, colmando il divario tra manipolazione spaziale e decisione simbolica.
• Integrazione di Rappresentazioni: Il lavoro dimostra la necessità di combinare rappresentazioni spaziali strutturalmente isomorfe (per la manipolazione) con descrizioni simboliche astratte (per la decisione e la selezione dell'azione).
• Validazione tramite VR: Il modello è validato sia rispetto a metriche comportamentali standard (accuratezza, trend dei tempi di risposta) sia rispetto a nuovi dati di interazione (numero di azioni manuali) derivati dagli esperimenti VR degli autori.
• Studi di Ablazione: Ablazioni sistematiche confermano che la rimozione di qualsiasi singolo componente (il codificatore equivariante, il codificatore simbolico o l'agente esecutore di azioni) porta a un fallimento nella generalizzazione a nuovi oggetti o nella replicazione di sequenze di azioni simili a quelle umane.

Risultati

• Prestazioni: Il modello completo raggiunge un'accuratezza del 96,13% nel compito di rotazione mentale, comparabile alle prestazioni umane (91–95% nei setup VR).
• Fedeltà Comportamentale: Il modello replica la tendenza umana a utilizzare un numero minimo di azioni (dominato da 0 o 1 azione) per risolvere il compito. Cattura con successo il trend lineare nei tempi di risposta per discrepanze da $0^\circ$ a $120^\circ$, sebbene faccia fatica a spiegare il specifico aumento dei tempi di risposta tra $120^\circ$ e $180^\circ$ senza assumere costi di implementazione neurale dipendenti dall'angolo.
• Necessità dei Componenti:
  • Le reti Siamesi standard (puramente feed-forward) falliscono nel generalizzare a nuove rotazioni 3D, confermando la necessità di rappresentazioni spaziali equivarianti.
  • La rimozione del codificatore simbolico impedisce al modello di risolvere il compito, evidenziando la necessità di descrizioni astratte per guidare le azioni.
  • La rimozione dell'agente esecutore di azioni permette al modello di risolvere il compito con alta accuratezza, ma fallisce nel riprodurre il comportamento sequenziale basato su azioni osservato negli umani.

Significato e Affermazioni
Gli autori affermano che questo lavoro offre nuove intuizioni sul processo cognitivo della rotazione mentale, supportando specificamente una visione ibrida in cui le rotazioni vengono applicate a rappresentazioni spaziali, ma le decisioni sono guidate da astrazioni simboliche basate sui quadranti. Il paper sostiene che la mente umana potrebbe utilizzare "salti discontinui" nello spazio di rotazione piuttosto che un processo analogico strettamente continuo.

Da una prospettiva di machine learning, il lavoro suggerisce che imporre esplicitamente bias induttivi rappresentazionali (equivarianza e integrazione neuro-simbolica) è più efficace per il ragionamento spaziale rispetto al fare affidamento esclusivamente sulla scala. Gli autori notano che, sebbene rimangano domande fondamentali (ad esempio, la plausibilità biologica del meccanismo di rotazione e l'efficienza dei dati), il loro sforzo di modellazione serve come prova di concetto per l'integrazione di rappresentazioni profonde, equivarianti e simboliche per modellare il ragionamento spaziale umano. Il lavoro non afferma di risolvere tutti gli aspetti della cognizione umana, ma mira a fornire un'implementazione neurale fattibile che si allinei con i dati comportamentali, aderendo al principio che "ciò che non posso creare, non lo comprendo".