Resumo Técnico: Razão para Jogar: Alinhamento Comportamental e Cerebral entre LRMs de Vanguarda e Aprendizes Humanos de Jogos

Declaração do Problema

A cognição humana distingue-se pela capacidade de aprender rapidamente estruturas abstratas em ambientes novos e de empregar flexivelmente esse conhecimento para guiar ações inteligentes. Embora sistemas de IA modernos, particularmente Modelos de Raciocínio de Grande Escala (LRMs), tenham demonstrado capacidades impressionantes em tarefas de raciocínio estático, permanece incerto se eles podem aprender e planejar interativamente em ambientes dinâmicos com a mesma eficiência e flexibilidade que os humanos. Benchmarks existentes frequentemente falham em capturar as representações internas de agentes durante a aprendizagem interativa, e agentes tradicionais de aprendizagem por reforço profunda (RL), embora bem-sucedidos em domínios específicos, frequentemente requerem ordens de magnitude mais dados do que os humanos e carecem de modelos internos transferíveis. Além disso, a neurociência computacional lutou para encontrar modelos que prevejam a atividade cerebral humana durante a cognição interativa, pois modelos treinados do zero em tarefas específicas frequentemente produzem sinais de codificação frágeis.

Este estudo aborda a questão: Os LRMs de vanguarda podem aprender e planejar de uma forma que alinhe tanto as trajetórias comportamentais humanas quanto a atividade cerebral humana durante a descoberta e execução de regras de videogames novos?

Metodologia

Conjunto de Dados e Tarefa

Os autores utilizaram o conjunto de dados VGDL-fMRI, que contém gravações de fMRI concorrentes e trajetórias de jogabilidade de 32 participantes adultos saudáveis aprendendo a jogar 12 videogames distintos definidos pela Linguagem de Descrição de Videogame (VGDL).

• Estrutura da Tarefa: Os participantes jogaram 6 jogos ao longo de 6 sessões de varredura. Cada jogo consistiu em 9 níveis com complexidade crescente, introduzindo novos tipos de objetos e regras de interação incrementalmente.
• Ambiente: Os jogos exigiam descoberta de regras, revisão de hipóteses e planejamento de múltiplos passos (por exemplo, empurrar caixas, evitar perigos, orientação cooperativa).
• Restrições de Entrada: Os modelos receberam observações simbólicas anônimas quanto à cor (posições na grade, cores, inventário) idênticas às dos participantes humanos, sem rótulos semânticos privilegiados.

Classes de Modelos

O estudo avaliou uma série de agentes em três paradigmas:

1. Modelos de Raciocínio de Grande Escala (LRMs) de Vanguarda: Oito modelos das famílias Qwen 3.5 e DeepSeek (variando de 9B a 397B parâmetros). Estes modelos foram avaliados em um formato de diálogo multi-turno onde recebiam observações e geravam ações. Duas condições foram testadas:
   • Raciocínio copiado: A cadeia de pensamento oculta do modelo foi incluída no contexto para turnos subsequentes.
   • Apenas ação: Apenas ações foram fornecidas, isolando a contribuição de traços de raciocínio explícitos.
2. Baselines de Aprendizagem por Reforço Profundo (RL):
   • Sem modelo: Double DQN (DDQN) com extenso ajuste de hiperparâmetros por jogo e treinamento baseado em currículo.
   • Com modelo: EfficientZeroV2 (EZV2), que aprende um modelo de dinâmica latente para planejamento via Busca em Árvore de Monte Carlo.
3. Baseline Simbólica: O Agente Explorar–Modelar–Planejar (EMPA), um agente baseado em teoria que realiza inferência bayesiana sobre uma ontologia codificada manualmente de regras de jogo.

Métricas de Avaliação

1. Alinhamento Comportamental:
   • Eficiência de Descoberta: Passos cumulativos até a primeira vitória por nível (medido via Distância do Transportador de Terra, EMD, contra distribuições humanas).
   • Capacidade: Nível médio alcançado sob um orçamento fixo de passos (currículo bloqueado exigindo duas vitórias consecutivas para avançar).
2. Codificação Cerebral:
   • Protocolo: LRMs foram executados como observadores passivos, alimentando-os com o fluxo exato de observações visto pelos participantes humanos sem gerar ações ou traços de raciocínio. Características de estado oculto foram extraídas no token de entrada final.
   • Análise: Regressão de crista em bandas foi usada para prever respostas Dependentes do Nível de Oxigênio no Sangue (BOLD) a partir de características do modelo. O desempenho foi medido como correlação de Pearson ($r$) entre a atividade BOLD prevista e observada em seis regiões de interesse (ROIs) anatômicas: Frontal, Motora, Parietal, Visual, Visual Precoce e Estriatal.
   • Controles: As comparações incluíram controles de inicialização aleatória, controles de embaralhamento de trajetória e regressores de incômodo (pressões de botão, identidade do jogo, tempo).

Principais Contribuições

1. Avaliação Sistemática de LRMs na Aprendizagem Interativa: Esta é a primeira avaliação sistemática de LRMs de vanguarda na aprendizagem interativa de jogos semelhante à humana em 12 jogos e 32 participantes humanos. Diferentemente de trabalhos anteriores usando prompt de passo único ou LLMs mais antigos, este estudo emprega diálogo multi-passos com traços de raciocínio explícitos.
2. Paridade Comportamental com Humanos: O estudo demonstra que LRMs de vanguarda correspondem às trajetórias de aprendizagem humanas tanto na eficiência de descoberta quanto na progressão de capacidade, enquanto as baselines de RL profundo requerem ordens de magnitude mais experiência e estagnam cedo.
3. Alinhamento Cerebral Superior: LRMs preveem a atividade cerebral humana uma ordem de magnitude melhor do que as baselines de RL profundo (DDQN, EfficientZero) e o agente simbólico EMPA em todas as regiões corticais e subcorticais. Este alinhamento é robusto a controles de permutação e é alcançado pronto para uso, sem ajuste fino ou ferramentas específicas de domínio.
4. Insight Mecanístico: O estudo isola que o sinal de alinhamento cerebral reflete a representação do estado do jogo em contexto do modelo, e não seus processos downstream de planejamento ou raciocínio. Isso é evidenciado pelo fato de que a precisão da codificação permanece alta mesmo quando o modelo é executado como um observador passivo sem gerar traços de raciocínio.
5. Liberação de Recursos: Os autores liberam um material suplementar interativo contendo mais de 100.000 traços de raciocínio, todos os dados de replay, características de estado oculto extraídas e o pipeline completo de análise.

Resultados

Desempenho Comportamental

• Eficiência de Descoberta: LRMs de vanguarda agruparam-se estreitamente em torno da distribuição humana de passos até a primeira vitória. O melhor modelo, DeepSeek V4-Pro, alcançou um EMD de descoberta de 0,28, comparado a 3,07 para DDQN e 3,22 para EfficientZero. Isso representa uma redução de 5–11$\times$ na distância ao comportamento humano em comparação com as baselines de RL.
• Capacidade: LRMs progrediram através do currículo de 9 níveis em taxas comparáveis às humanas (atingindo níveis médios 4–6 dentro de um orçamento de 1600 passos), enquanto as baselines de RL raramente avançavam além do nível 1–2.
• Lacuna Descoberta–Execução: Uma divergência notável foi encontrada na execução. Enquanto os humanos encurtaram significativamente seus passos após a primeira vitória (mediana de 32 passos), os LRMs tendiam a "perseverar", relembrando a trajetória exata de sua primeira vitória mesmo quando caminhos mais curtos eram articulados em seu raciocínio. Esta lacuna diminuiu com a escala do modelo e estava em grande parte ausente nos modelos DeepSeek.

Codificação Cerebral

• Magnitude do Alinhamento: LRMs previram a atividade BOLD com uma correlação de Pearson $r$ de aproximadamente 0,07–0,10 em regiões visuais e visuais precoces, e valores menores, mas significativos, em regiões frontal, motora e estriatal. Isso é aproximadamente uma ordem de magnitude maior do que as melhores baselines de RL (que oscilavam abaixo de $r=0,015$).
• Treinamento vs. Arquitetura: LRMs treinados superaram significativamente versões inicializadas aleatoriamente da mesma arquitetura (melhoria de 6,4–6,9$\times$), confirmando que o alinhamento decorre de representações aprendidas, e não de priores arquitetônicos.
• Escala vs. Alinhamento: Diferentemente do desempenho comportamental, que geralmente escalou com o tamanho do modelo, a precisão da codificação cerebral não escalou monotonicamente com a contagem de parâmetros. O modelo Qwen3.5-35B-A3B (MoE) alcançou a maior precisão de codificação, superando modelos maiores como DeepSeek V4-Pro.
• Especificidade da Representação: O sinal de codificação estava travado à sequência momento a momento da jogabilidade. Permutar a ordem temporal dos embeddings ou truncar o histórico de contexto reduziu significativamente a precisão da codificação, indicando que o sinal captura a estrutura representacional imediata, e não a integração de memória de longo prazo.

Significado e Alegações

O artigo afirma estabelecer LRMs de vanguarda como contas computacionais convincentes da aprendizagem e tomada de decisão humanas em ambientes complexos e naturalísticos.

• Novidade do Alinhamento: Segundo os autores, este é o primeiro alinhamento comportamental e neural conjunto entre humanos e LRMs durante a jogabilidade interativa.
• Mecanismo de Alinhamento: Os resultados sugerem que as representações ricas e transferíveis adquiridas por LRMs através do pré-treinamento em texto permitem que eles abordem jogos novos com um "conhecimento prévio amplo" semelhante ao dos humanos. Isso contrasta com agentes de RL profundo que devem aprender do zero, resultando em representações frágeis que falham em alinhar-se com a atividade cerebral humana.
• Limitações: Os autores modestamente notam que seu paradigma torna difícil a estimativa do teto de ruído por voxel devido à unicidade de cada trajetória humana. Eles também reconhecem que LRMs retêm priores gerais de seus corpora de treinamento que não podem ser totalmente controlados.
• Direção Futura: O artigo postula que, embora os LRMs atuais capturem a estrutura representacional da cognição humana, eles perdem o sinal associado à própria aprendizagem ativa e planejamento. Trabalhos futuros requerem arquiteturas cognitivas mais ricas e protocolos de engajamento ativo para alinhar modelos com trajetórias humanas individuais.

O estudo conclui que LRMs oferecem um caminho adiante para a neurociência computacional, fornecendo modelos que não apenas resolvem tarefas, mas também refletem os estados computacionais internos do cérebro humano durante a aprendizagem interativa.