From Human Cognition to Neural Activations: Probing the Computational Primitives of Spatial Reasoning in LLMs

Título: Da Cognição Humana às Ativações Neurais: Investigando os Primitivos Computacionais do Raciocínio Espacial em LLMs

1. O Problema

À medida que a inteligência espacial se torna crucial para modelos fundamentais (Foundation Models), permanece uma incógnita fundamental: o desempenho dos Grandes Modelos de Linguagem (LLMs) em benchmarks de raciocínio espacial reflete representações espaciais internas estruturadas (semelhantes a mapas cognitivos) ou é meramente o resultado de heurísticas linguísticas superficiais e correlações estatísticas?

A literatura atual foca predominantemente na precisão de saída (benchmarks), o que oferece pouca visibilidade sobre os mecanismos internos. Um comportamento correto pode surgir de memorização ou padrões de linguagem, sem que o modelo possua uma compreensão genuína de espaço. Há uma lacuna na compreensão mecanicista: não sabemos se os modelos constroem representações estruturadas, composicionais e robustas, ou se falham em generalizar quando as pistas linguísticas mudam.

2. Metodologia

Os autores propõem uma abordagem mecanicista, inspirada na teoria cognitiva da cognição espacial humana, para decompor e analisar o raciocínio espacial.

• Decomposição em Primitivos Computacionais:
  O raciocínio espacial é dividido em três primitivas computacionais irreduzíveis, cada uma correspondendo a uma família de tarefas controladas:

  1. Composição Relacional: Construir uma estrutura espacial global consistente a partir de relações pares (ex: A está à esquerda de B, B está acima de C) e inferir relações entre entidades não conectadas diretamente.
  2. Transformação Representacional: Aplicar transformações geométricas globais (rotação, reflexão, mudança de perspectiva) a uma configuração espacial inicial, mantendo a consistência interna.
  3. Atualização Espacial com Estado (Stateful Updating): Executar uma sequência de comandos de movimento ou transformação, exigindo que o modelo mantenha e atualize um estado espacial latente ao longo do tempo (similar à integração de caminho).

• Design Experimental:

  • Multilinguismo: As tarefas foram construídas independentemente em Inglês, Chinês e Árabe para garantir equivalência computacional, mas com variação natural na superfície linguística. Isso permite testar se as representações são compartilhadas ou dependentes da língua.
  • Protocolo de Inferência: Avaliação sob inferência de passagem única (single-pass), sem uso de Chain-of-Thought (CoT) ou traços de raciocínio explícito. O objetivo é isolar as representações espaciais implícitas nas ativações do modelo.
  • Modelos Analisados: Famílias multilíngues Qwen2.5-7B e Llama-3-8B (versões base e instruídas).

• Técnicas de Análise Mecanicista:

  1. Probing Linear: Treino de classificadores lineares para decodificar variáveis espaciais (vetores de posição, orientação, coordenadas) a partir dos estados ocultos do modelo.
  2. Análise com Autoencoders Esparsos (SAE): Identificação de características interpretáveis e seletivas espacialmente nas camadas intermediárias.
  3. Intervenções Causais:
     • Activation Patching: Substituição de ativações de camadas intermediárias por estados contrafactuais para observar mudanças na saída.
     • Ablação de Características: Remoção de características espaciais identificadas pelo SAE para medir o impacto no desempenho.

3. Principais Contribuições

• Taxonomia de Tarefas: Introdução de uma suíte de testes mecanicista que isola primitivos espaciais fundamentais, indo além de benchmarks comportamentais tradicionais.
• Evidência de Representações Transientes: Demonstração de que as informações espaciais são codificadas nas camadas intermediárias dos LLMs, mas não são preservadas de forma robusta até as camadas finais de geração de tokens.
• Análise Multilíngue e Degenerescência Mecanicista: Evidência de que, embora o desempenho comportamental possa ser similar entre línguas, os caminhos internos (características ativadas) são distintos, sugerindo uma degenerescência mecânica (soluções diferentes para o mesmo comportamento).
• Validação Causal: Confirmação de que as representações espaciais identificadas não são apenas decodificáveis, mas causam o comportamento do modelo através de intervenções.

4. Resultados Chave

• Localização e Transitoriedade:

  • As informações espaciais atingem um pico de decodificabilidade (R² entre 0,37 e 0,40 para tarefas de composição relacional e execução de programas) nas camadas intermediárias (ex: camada 16-20 em modelos de 32 camadas).
  • Há um declínio acentuado nas camadas finais, indicando que a estrutura espacial construída durante o processamento não é integrada de forma estável na decisão final.

• Desempenho por Tarefa:

  • Execução de Programas Espaciais: Apresentou o melhor desempenho comportamental e maior invariância linguística, sugerindo que a atualização baseada em coordenadas pode ser aprendida via estatísticas numéricas/aritméticas.
  • Raciocínio Relacional: Desempenho moderado, com erros que sugerem colapso composicional em cadeias longas.
  • Transformação de Orientação: Desempenho próximo ao acaso (chance level) e R² de probe próximo a zero. O modelo parece depender de prios linguísticos (ex: "norte" é frequente) em vez de rastrear estados geométricos.

• Dependência Linguística e Degenerescência:

  • O desempenho varia entre línguas (ex: Árabe teve pior desempenho em raciocínio relacional).
  • A análise de SAE revelou baixa sobreposição de características causalmente importantes entre línguas. Línguas diferentes alcançam resultados similares usando caminhos internos distintos.

• Intervenções Causais:

  • Patching de ativações em camadas intermediárias com estados espaciais contrafactuais deslocou sistematicamente as saídas do modelo para trajetórias contrafactuais.
  • A ablação de características espaciais reduziu a precisão em até 29% em tarefas de orientação, confirmando a relevância funcional dessas características.

5. Significado e Conclusão

O estudo conclui que os LLMs atuais exibem um regime intermediário entre o mapeamento de padrões superficiais e a cognição espacial robusta caracterizada na neurociência.

• Representações Condicionais e Fragmentadas: Os modelos codificam informações espaciais, mas essas representações são transitórias, dependentes do contexto da tarefa e não unificadas em um "mapa cognitivo" global.
• Limitações na Generalização: O sucesso em um formato de tarefa (ex: coordenadas) não implica compreensão espacial geral. A falha em tarefas de orientação e a dependência de heurísticas linguísticas em outras indicam que a "inteligência espacial" dos LLMs é frágil.
• Implicações Futuras: A avaliação baseada apenas em benchmarks de precisão é insuficiente. É necessária uma avaliação mecanicista para entender como as representações espaciais são construídas, integradas e preservadas. Para alcançar um raciocínio espacial mais humano, futuros modelos precisarão de arquiteturas ou métodos de treinamento que preservem e integrem representações espaciais ao longo de todas as etapas de processamento, superando a dependência de estatísticas linguísticas superficiais.

Em suma, o trabalho fornece uma lente crítica para entender que, embora os LLMs possam "falar" sobre espaço corretamente, sua "mente" interna opera com representações espaciais que são frequentemente efêmeras e mecanicamente distintas das representações estruturadas observadas na cognição biológica.