Resumo Técnico: Alinhamento Cerebral de Representações de Raciocínio e Ação em Jogabilidade Naturalista

Declaração do Problema

Compreender como humanos e sistemas de inteligência artificial preveem e planejam por meio da interação com o ambiente é um desafio central na interseção entre neurociência e aprendizado de máquina. Embora estudos anteriores de codificação cerebral tenham alinhado com sucesso modelos artificiais com a atividade cerebral durante a compreensão passiva de linguagem ou processamento visual, a pesquisa de alinhamento cerebral interativo permaneceu amplamente limitada a agentes de aprendizado por reforço (RL) e modelos baseados em teoria. Esses modelos tradicionais são otimizados para aprendizado de ação baseado em recompensa e codificam principalmente características relacionadas à ação, potencialmente perdendo as estruturas perceptivas, semânticas e preditivas mais ricas que os humanos utilizam para representar objetos, relações e resultados futuros.

Este artigo aborda essa lacuna investigando se modelos de base modernos — especificamente Modelos Visão-Linguagem (VLMs) e Modelos de Grande Ação (LAMs) — adquirem "modelos de mundo" internos que se alinham com a atividade cerebral humana durante jogabilidade interativa naturalista. O estudo busca determinar como prompts focados em ação e focados em raciocínio moldam as representações do modelo e se essas representações capturam melhor os cálculos neurais subjacentes ao comportamento adaptativo humano do que as linhas de base tradicionais de RL.

Metodologia

Conjunto de Dados e Configuração Experimental

O estudo utiliza um conjunto de dados de videogame estilo Atari naturalista contendo registros de fMRI de 32 participantes saudáveis jogando seis jogos diferentes. Os dados são pré-processados e projetados sobre a superfície cortical ("fsaverage6"), com análise focada em 11 Regiões de Interesse (ROIs) abrangendo áreas visuais iniciais, fronto-parietais e de planejamento motor.

Modelos Avaliados

Os autores avaliaram duas famílias de modelos de base juntamente com duas linhas de base de RL:

1. Modelos Visão-Linguagem (VLMs): Qwen2.5-VL-7B-Instruct e InternVL3-8B. Esses modelos processam quadros visuais do jogo e prompts de texto para realizar raciocínio.
2. Modelos de Grande Ação (LAMs): UI-TARS-7B-DPO e OS-Atlas-Pro-7B. Esses modelos são ajustados a partir do Qwen2-VL em trajetórias de interação com GUI e jogos, especificamente otimizados para planejamento e execução de ações.
3. Linhas de Base: EMPA (um agente de RL baseado em teoria) e D-DQN (uma rede Q profunda).

Condições de Prompting

Para sondar diferentes modos cognitivos, os modelos foram testados sob três condições:

• Sem Prompt: Os modelos receberam apenas quadros de jogabilidade.
• Prompt de Ação: Os modelos foram solicitados a comprometer-se com uma próxima ação com uma breve justificativa.
• Prompt de Raciocínio: Os modelos foram solicitados a descrever objetivos do jogo, relações espaciais e metas sem necessariamente comprometer-se com uma ação imediata.

Codificação e Análise

• Extração de Características: Representações de estados ocultos foram extraídas de todas as camadas do transformador usando uma janela deslizante de quadros recentes para corresponder à resolução temporal do fMRI (TR = 2s).
• Codificação Voxel a Voxel: Modelos de regressão ridge bootstrap foram treinados para prever respostas de fMRI a partir de representações do modelo. O desempenho foi medido usando o Coeficiente de Correlação de Pearson (PCC).
• Particionamento de Variância: Uma abordagem estatística foi usada para decompor a variância explicada ($R^2$) em componentes compartilhados entre prompts de ação e de raciocínio, e componentes únicos para cada tipo de prompt. Isso permitiu aos autores distinguir entre modelos que codificam informações semelhantes e aqueles com organizações representacionais qualitativamente diferentes.
• Análise de Modo de Pensamento: Um estudo preliminar no Qwen3.5 comparou o alinhamento cerebral de seus traços de raciocínio explícito (Cadeia de Pensamento) com suas saídas de ação finais.

Principais Resultados

1. Modelos de Base Superam Linhas de Base de RL

Tanto VLMs quanto LAMs superaram significativamente as linhas de base clássicas de RL (EMPA e D-DQN) na codificação cerebral voxel a voxel, mesmo quando as dimensões das características foram correspondidas (por exemplo, reduzidas para 8 dimensões).

• Desempenho Sem Prompt: VLMs alcançaram $r \approx 0,264$ e LAMs $r \approx 0,271$, comparados a EMPA ($r=0,162$) e D-DQN ($r=0,097$).
• Efeitos de Prompt: O prompting explícito melhorou ainda mais o alinhamento para ambas as famílias de modelos, com VLMs com prompt atingindo $r \approx 0,358$ e LAMs $r \approx 0,348$.

2. Hierarquia Cortical de Ganhos Impulsionados por Prompt

A melhoria no alinhamento cerebral impulsionada pelo prompting não foi uniforme em todo o cérebro.

• Regiões Fronto-Parietais e Motoras: Os maiores ganhos foram observados em regiões de ordem superior envolvidas no planejamento e tomada de decisão, especificamente o Giro Frontal Médio (MFG), Área Motora Suplementar (SMA), Giro Frontal Inferior (IFG) e Giro Angular (AG).
• Córtex Visual: Regiões visuais iniciais mostraram ganhos com magnitude aproximadamente metade da das regiões frontais.
• Significância: Essa hierarquia sugere que os prompts aprimoram principalmente representações relacionadas a metas, planejamento e a rede de "múltiplas demandas", em vez de apenas processamento visual de baixo nível.

3. Dissociação Qualitativa via Particionamento de Variância

Embora VLMs e LAMs tenham alcançado precisão de previsão bruta estatisticamente equivalente em todo o cérebro, o particionamento de variância revelou uma diferença fundamental em sua organização interna:

• VLMs (Simétricos ao Prompt): A variância única contribuída por prompts de ação ($12,5\%$) e prompts de raciocínio ($13,6\%$) foi equilibrada.
• LAMs (Assimétricos à Ação): Prompts de ação contribuíram significativamente mais variância única ($27\%$) do que prompts de raciocínio, que contribuíram variância única negativa ($-5\%$) em todo o cérebro e no córtex fronto-motor.
• Interpretação: Nos LAMs, o ajuste fino especializado em ação parece reorganizar as representações de tal forma que o sinal de "raciocínio" se torna redundante ou semelhante a ruído nas regiões de planejamento motor, já que a supervisão de ação já subsume as informações necessárias. Essa dissociação é invisível no nível da precisão bruta, mas clara na decomposição de variância.

4. Assimetria do Modo de Pensamento

Na análise preliminar do Qwen3.5, a saída de ação final do modelo mostrou alinhamento cerebral substancialmente maior ($r=0,355$) do que seu traço de raciocínio explícito ($r=0,173$). Essa lacuna persistiu mesmo após o controle da posição de leitura, sugerindo que os traços de raciocínio explícito de cadeia de pensamento em modelos de modo de pensamento atuais podem não se alinhar tão estreitamente com a dinâmica neural humana quanto o compromisso final de ação do modelo.

Significância e Alegações

O artigo afirma expandir a pesquisa de alinhamento cerebral da percepção passiva para a jogabilidade interativa, fornecendo a primeira avaliação sistemática de VLMs e LAMs modernos nesse cenário. As principais contribuições são:

1. Riqueza Representacional Superior: Modelos de base multimodais codificam mais informações relevantes para o cérebro sobre ambientes de jogo dinâmicos do que agentes de RL otimizados para tarefas tradicionais.
2. Reorganização Condicionada por Prompt: O estudo demonstra que o prompting pode deslocar as representações do modelo para se alinhar melhor com a atividade cerebral humana, particularmente em regiões cognitivas de ordem superior.
3. Dissociação Ação vs. Raciocínio: O trabalho revela que o ajuste fino especializado em ação (LAMs) reorganiza fundamentalmente as representações multimodais em direção a cálculos neurais relevantes para ação, criando uma estrutura assimétrica ao prompt distinta dos VLMs de propósito geral. Essa distinção é detectável apenas através da decomposição de variância, não da precisão bruta.
4. Avaliação de Modelo de Mundo: Ao contrastar prompts focados em raciocínio e focados em ação, o estudo operacionaliza a separação entre "compreender o ambiente" e "comprometer-se com ações", mostrando que essa distinção mapeia para estruturas representacionais qualitativamente diferentes em modelos de IA.

Os autores concluem que essas descobertas abrem novas direções para estudar como modelos de base codificam as representações estruturadas e preditivas que subjazem ao comportamento adaptativo, ao mesmo tempo em que observam limitações relacionadas às famílias de modelos específicas testadas e à natureza preliminar da análise do modo de pensamento.