Identifying Informative Environments for Cognition Parameter Inference via Bayesian Experimental Design

Resumo Técnico: Identificação de Ambientes Informativos para Inferência de Parâmetros Cognitivos via Design Experimental Bayesiano

Formulação do Problema
A modelagem cognitiva computacional visa inferir mecanismos cognitivos latentes (ex: horizonte de planejamento, capacidade de memória de trabalho) a partir do comportamento observado de tomada de decisão sequencial. Embora o planejamento inverso Bayesiano forneça um arcabouço principado para essa inferência, sua eficácia depende criticamente do ambiente experimental. As abordagens existentes tipicamente tratam os ambientes como fixos ou amostrados aleatoriamente, falhando em abordar quais ambientes específicos geram os dados mais informativos para a recuperação de parâmetros.

Este artigo formula a seleção de ambientes experimentais como um problema de Design Experimental Bayesiano (BED). O objetivo é identificar um ambiente $\xi^*$ que maximize o Ganho de Informação Esperado (EIG) em relação aos parâmetros cognitivos latentes $\theta$ antes da coleta de dados. O EIG é definido como a redução esperada na incerteza posterior sobre $\theta$ após observar trajetórias comportamentais $D$ no ambiente $\xi$:
$$\xi^* = \arg \max_{\xi} \text{EIG}(\xi) = \arg \max_{\xi} \left( H(\theta) - \mathbb{E}_{p(D|\xi)}[H(\theta | D, \xi)] \right)$$
O desafio central é que avaliar o EIG requer a repetição da inferência posterior Bayesiana sobre muitos conjuntos de dados simulados, tornando a otimização exaustiva computacionalmente proibitiva.

Metodologia
Os autores propõem um pipeline que combina planejamento inverso Bayesiano com técnicas escaláveis de design experimental:

1. Simulador Comportamental Generativo: Os autores modelam agentes usando um planejador parametrizado com parâmetros cognitivos latentes $\theta$ (horizonte de planejamento $H$ e memória de trabalho $K$). O agente interage com um ambiente MDP $\xi$, atualizando um estado cognitivo interno $b_t$ baseado em $\theta$. As ações são amostradas via uma política softmax sobre valores de ação $Q_\theta$, gerando dados de trajetória $D \sim p(D|\theta, \xi)$.
2. MC-BED de Monte Carlo Exato: Para estabelecer um benchmark de verdade fundamental, os autores computam o EIG usando simulação de Monte Carlo. Isso envolve amostrar parâmetros e ambientes, simular trajetórias e realizar inferência posterior Bayesiana exata para cada conjunto de dados simulado para calcular a divergência KL entre a posterior e a prior.
3. Design Experimental Bayesiano Amortizado (ABED): Para superar o custo computacional do MC-BED, os autores introduzem um arcabouço amortizado:
   • Surrogate de Posterior Neural: Uma rede neural $q_\phi(\theta | D, \xi)$ é treinada para aproximar a posterior Bayesiana exata. Os dados de treinamento são gerados amostrando $\theta, \xi$ e $D$, com a posterior exata servindo como o sinal de supervisão.
   • Aprendizado Multitarefa: O surrogate é treinado com um objetivo multitarefa combinando destilação de posterior (correspondência com a posterior exata), classificação supervisionada (predição do $\theta$ real) e uma cabeça de regressão auxiliar que prediz a divergência KL exata entre a posterior e a prior (a utilidade do design).
   • Avaliação de Design Eficiente: Uma vez treinado, o surrogate substitui a inferência cara. O objetivo do design é aproximado por uma única passagem direta (forward pass) pela rede, permitindo o ranqueamento rápido de candidatos a ambientes.

Contribuições Principais

• Formulação: O design de ambientes de planejamento cognitivo é formulado como um problema de BED onde o próprio ambiente é a variável de design, em vez de apenas condições experimentais dentro de uma tarefa fixa.
• Benchmarking: Um benchmark de MC-BED exato é estabelecido para avaliar a informatividade do ambiente para a inferência de parâmetros cognitivos.
• Arcabouço Amortizado: Um arcabouço de ABED é introduzido, que alcança rankings de ambientes que se aproximam do benchmark exato de MC-BED, reduzindo significamente os custos computacionais ao substituir a inferência repetida por um surrogate neural.
• Análise Sistemática: O arcabouço é avaliado no paradigma de rastreamento de processo Mouselab-MDP, comparando sistematicamente a inferência exata, MC-BED e ABED contra heurísticas e baselines supervisionados.

Resultados Experimentais
Experimentos foram conduzidos em ambientes Mouselab-MDP estruturados em árvore com profundidades ($d$) e fatores de ramificação ($b$) variados.

• Recuperabilidade vs. Ganho de Informação: Os resultados mostram que nenhum ambiente único é uniformemente ótimo. Ambientes que maximizam a recuperabilidade da posterior em amostras finitas (ex: $d_5b_2$ para inferência conjunta) nem sempre alinham-se com aqueles que maximizam o ganho de informação esperado (ex: $d_6b_2$).
• Desempenho de Amortização: O surrogate amortizado (ABED) reproduz de perto os rankings de ambiente do MC-BED exato. Embora a precisão da recuperação da posterior varie, a utilidade de design prevista (divergência KL) coincide com o objetivo exato, permitindo a identificação correta dos ambientes mais informativos.
• Comparação com Baselines: O ABED supera heurísticas estruturais (ex: "maior árvore") e regressores supervisionados que predizem pontuações de design sem realizar inferência posterior. O ABED é o único método que suporta simultaneamente a inferência de parâmetros cognitivos e a avaliação de ambiente dentro de um arcabouço unificado.
• Trade-offs: O estudo revela trade-offs entre ganho de informação esperado, recuperabilidade da posterior e eficiência de informação (KL por clique). Ambientes mais profundos geralmente maximizam o ganho de informação para estratégias complexas, enquanto ambientes mais rasos podem oferecer maior eficiência ou melhor recuperação para estratégias simples.

Significância e Alegações
O artigo afirma fornecer um arcabouço principado para o design de experimentos cognitivos informativos para inferência de parâmetros Bayesianos. Ao tratar o ambiente experimental como uma variável de design, o trabalho vai além de configurações de avaliação fixas para selecionar ativamente ambientes que maximizam a informação sobre mecanismos cognitivos latentes.

Os autores enfatizam que seus resultados demonstram a necessidade de seleção adaptativa de ambientes. Como o ambiente ideal depende do estado cognitivo latente específico e do objetivo de inferência (recuperação vs. ganho de informação), um ambiente fixo é subótimo. O arcabouço ABED proposto fornece os componentes necessários (estimativa de posterior conjunta e predição de valor de design) para permitir a seleção de experimentos sequenciais e adaptativos condicionados a uma posterior em evolução, ofereando um caminho para a avaliação cognitiva escalável e eficiente em termos de participantes. O trabalho argumenta que os ambientes experimentais devem ser otimizados como parte do processo de inferência do modelo cognitivo.