A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

Resumo Técnico: Um Modelo de Aprendizado Profundo de Rotação Mental Informado por Experiências Interativas em Realidade Virtual

Declaração do Problema
A rotação mental — a capacidade de comparar objetos vistos de diferentes pontos de vista — é um processo cognitivo humano fundamental. Embora o trabalho seminal de Shepard & Metzler (1971) tenha estabelecido que os tempos de resposta humanos são linearmente proporcionais à disparidade angular, sugerindo um "motor espacial" interno, nenhum modelo computacional existente conseguiu resolver a tarefa de rotação mental enquanto oferecia simultaneamente uma explicação mecanicista de como o cérebro poderia executar esse processo. Sistemas atuais de aprendizado profundo frequentemente lutam com o raciocínio espacial e a generalização para novas orientações 3D, falhando em replicar a robustez do desempenho humano tanto em rotações planas quanto em profundidade.

Metodologia
Os autores propõem um modelo mecanicista de três estágios que integra aprendizado profundo, representações equivariantes e raciocínio neuro-simbólico. O design do modelo é guiado pela literatura existente e por um novo conjunto de experimentos em Realidade Virtual (VR) onde sujeitos humanos manipulavam objetos por meio de um joystick.

1. Design Experimental em VR: Os autores conduziram experimentos com 19 participantes em um ambiente de VR utilizando objetos de Shepard-Metzler. Diferentemente das configurações 2D tradicionais, a configuração "Ação" permitia que os sujeitos girassem os objetos usando um analógico. As principais descobertas comportamentais incluíram:

   • Os sujeitos realizaram um número notavelmente baixo de ações "balísticas" (tipicamente uma) para alinhar os objetos em um "quadrante" aproximado antes de tomar uma decisão.
   • Os sujeitos não buscavam um alinhamento perfeito, mas sim posicionavam os objetos dentro de uma faixa de $\pm 45^\circ$ em relação uns aos outros.
   • Os tempos de resposta mostraram alta variabilidade em grandes disparidades angulares, desafiando a hipótese de uma velocidade de rotação contínua e estritamente fixa.

2. O Modelo Computacional: Com base nessas descobertas, os autores formularam a Hipótese da Representação Simbólica Dependente de Quadrante, que postula que os humanos reduzem o espaço de rotação contínuo em quatro quadrantes discretos. O modelo consiste em três módulos empilhados:

   • Módulo I (Codificador Neural Equivariante): Um renderizador neural equivariante (EqNR) treinado em imagens 2D de objetos 3D. Ele produz uma representação latente espacial 3D que é equivariante a rotações $SO(3)$, permitindo que o modelo manipule representações analógicas internas sem supervisão 3D explícita.
   • Módulo II (Codificador Neuro-Simbólico de Objetos): Um Modelo Simbólico de Visão (VSM) composto por um codificador Vision Transformer (ViT) e um decodificador Transformer autoregressivo. Ele mapeia as representações latentes espaciais 3D em descrições simbólicas sequenciais (sequências de transições direcionais entre cubos). Crucialmente, este módulo impõe equivariância no nível simbólico, onde a descrição muda de forma previsível quando o objeto cruza uma fronteira de quadrante.
   • Módulo III (Agente de Decisão Neural): Um Perceptron Multicamadas (MLP) que recebe pares de descrições simbólicas como entrada. Ele realiza duas funções: (a) julgar similaridade (correspondência/não correspondência) se os objetos estiverem no mesmo quadrante, ou (b) prever a ação de rotação necessária (por exemplo, girar 90° no sentido horário) para alinhar os objetos se estiverem em quadrantes diferentes. Este agente opera iterativamente, aplicando rotações previstas à representação espacial do Módulo I e reavaliando até que uma decisão de similaridade seja alcançada.

Principais Contribuições

• Primeiro Modelo Mecanicista: O artigo apresenta o primeiro modelo neural que não apenas resolve a tarefa de rotação mental, mas também fornece uma explicação mecanicista do processo cognitivo, preenchendo a lacuna entre manipulação espacial e tomada de decisão simbólica.
• Integração de Representações: O trabalho demonstra a necessidade de combinar representações espaciais estruturalmente isomórficas (para manipulação) com descrições simbólicas abstratas (para tomada de decisão e seleção de ações).
• Validação via VR: O modelo é validado contra métricas comportamentais padrão (precisão, tendências de tempo de resposta) e dados de interação novos (número de ações manuais) derivados dos experimentos de VR dos autores.
• Estudos de Ablação: Ablações sistemáticas confirmam que a remoção de qualquer componente único (o codificador equivariante, o codificador simbólico ou o agente de execução de ações) leva a uma falha na generalização para novos objetos ou na replicação de sequências de ações semelhantes às humanas.

Resultados

• Desempenho: O modelo completo alcança 96,13% de precisão na tarefa de rotação mental, comparável ao desempenho humano (91–95% em configurações de VR).
• Fidelidade Comportamental: O modelo replica a tendência humana de usar um número mínimo de ações (dominado por 0 ou 1 ação) para resolver a tarefa. Ele captura com sucesso a tendência linear nos tempos de resposta para disparidades de $0^\circ$ a $120^\circ$, embora tenha dificuldade em explicar o aumento específico no tempo de resposta entre $120^\circ$ e $180^\circ$ sem assumir custos de implementação neural dependentes do ângulo.
• Necessidade de Componentes:
  • Redes Siamesas padrão (puramente feed-forward) falham em generalizar para novas rotações 3D, confirmando a necessidade de representações espaciais equivariantes.
  • A remoção do codificador simbólico impede que o modelo resolva a tarefa, destacando a necessidade de descrições abstratas para guiar as ações.
  • A remoção do agente de execução de ações permite que o modelo resolva a tarefa com alta precisão, mas falha em reproduzir o comportamento sequencial baseado em ações observado em humanos.

Significado e Alegações
Os autores afirmam que este trabalho oferece novos insights sobre o processo cognitivo da rotação mental, apoiando especificamente uma visão híbrida onde rotações são aplicadas a representações espaciais, mas decisões são guiadas por abstrações simbólicas baseadas em quadrantes. O artigo argumenta que a mente humana pode utilizar "saltos descontínuos" no espaço de rotação em vez de um processo analógico estritamente contínuo.

Da perspectiva do aprendizado de máquina, o trabalho sugere que impor explicitamente vieses indutivos representacionais (equivariância e integração neuro-simbólica) é mais eficaz para o raciocínio espacial do que confiar apenas na escala. Os autores observam que, embora questões fundamentais permaneçam (por exemplo, a plausibilidade biológica do mecanismo de rotação e a eficiência de dados), seu esforço de modelagem serve como uma prova de conceito para integrar representações profundas, equivariantes e simbólicas para modelar o raciocínio espacial humano. O trabalho não alega resolver todos os aspectos da cognição humana, mas visa fornecer uma implementação neural viável que se alinha com dados comportamentais, aderindo ao princípio de que "o que não consigo criar, não entendo".