Resumo Técnico: Fechando o Ciclo para Descobrir Teorias Psicológicas com um Cientista Cognitivo Automatizado

Declaração do Problema

A descoberta científica em psicologia tem sido historicamente limitada pelo processo criativo e manual de construção de teorias. Embora a coleta de dados, a modelagem e o design experimental tenham visto um aumento na automação, a etapa central de gerar novas teorias — transformar os fracassos acumulados de modelos existentes em modelos melhores — permanece uma arte centrada no ser humano. Sistemas de descoberta automatizada existentes em outros campos (ex: química, ciência dos materiais) frequentemente automatizam estágios únicos ou buscam espaços de modelos fixos sobre conjuntos de dados estáticos. Na ciência cognitiva, o desafio é conceitual: teorias da mente não podem ser compiladas ou resolvidas diretamente, mas devem navegar por um espaço conceitual aberto para tornar processos psicológicos opacos mecanisticamente significativos. O problema central abordado é a falta de um sistema totalmente autônomo capaz de fechar o ciclo de descoberta para o comportamento humano, especificamente a capacidade de propor teorias concorrentes, projetar experimentos discriminatórios, coletar dados e sintetizar teorias aprimoradas sem intervenção humana.

Metodologia: O Sistema AUTOCOG

Os autores apresentam o AUTOCOG (AUTOmated COGnitive scientist), um sistema de IA agente de ciclo completo projetado para fechar o ciclo de descoberta. O sistema opera em um pipeline de ciclo fechado iterado ao longo de $N$ ciclos, consistindo de quatro etapas principais impulsionadas por agentes de Grandes Modelos de Linguagem (LLMs):

1. Inicialização: Um pesquisador especifica o domínio da tarefa, instruções, espaço de design experimental, espaço de design de modelos, teorias semente e uma métrica opcional.
2. Design Experimental: Um agente de LLM propõe um experimento onde duas teorias incumbentes apresentam previsões divergentes, aderindo ao princípio do design experimental adversarial. Um segundo agente propõe uma métrica para quantificar a vantagem prevista de uma teoria sobre a outra. O sistema valida essas propostas via simulação direta (forward simulation) antes da coleta de dados para garantir a discriminabilidade.
3. Coleta de Dados Comportamentais: O experimento comprometido é executado em uma fonte de dados. Neste estudo, os dados foram coletados de três fontes:
   • Comportamento simulado de modelos cognitivos conhecidos (recuperação da verdade fundamental/ground truth).
   • Modelos de fundação (como substitutos in-silico).
   • Participantes humanos recrutados online (via Prolific).
4. Análise & Arbitragem: O sistema compara o comportamento generativo das teorias incumbentes contra os dados observados usando métricas pré-registradas. Um agente de arbitragem baseado em LLM interpreta os achados, diagnosticando por que uma teoria falhou e recomendando revisões.
5. Revisão de Teoria: Com base no veredito da arbitragem, um agente de LLM separado revisa a teoria mais fraca. Isso envolve tanto a ressíntese da teoria associada quanto o modelo cognitivo quanto a regeneração da teoria do zero usando síntese de programas (produzindo código Python executável). A teoria revisada reentra no ciclo.

Princípios de Design Chave:

• Busca de Ponta Aberta: O sistema busca o espaço de teorias e experimentos em vez de selecionar de um conjunto fixo de candidatos.
• Comparação Generativa: As teorias são comparadas com base em sua capacidade de gerar comportamento (simulação direta) em vez de ajustar parâmetros a dados observados, reduzindo riscos de overfitting.
• Autoverificação: Cada proposta (experimento, teoria, métrica) é verificada contra suas próprias previsões via simulação antes de observar dados reais.
• Pressão de Generalização: As teorias devem capturar o comportamento através de múltiplas populações e tarefas para sobreviver, atuando como uma pressão implícita para parcimônia e unificação.

Contribuições Principais

1. Primeiro Sistema de Ciclo Fechado Autônomo para Teoria Cognitiva: O AUTOCOG é apresentado como o primeiro sistema que descobre autonomamente teorias da cognição humana diretamente do comportamento humano, fechando o ciclo desde o design do experimento até a revisão da teoria sem intervenção do pesquisador.
2. Representação de Teoria Executável: O sistema trata as teorias como alegações mecanísticas em linguagem natural pareadas com programas Python executáveis, permitindo simulação e verificação rigorosas.
3. Estrutura de Descoberta Adversarial: O sistema utiliza agentes de LLM para advogar por teorias concorrentes e projetar experimentos especificamente para discriminar entre elas, mimetizando a natureza adversarial do debate científico.

Resultados

1. Recuperação de Estratégias de Tomada de Decisão Conhecidas

Em simulações onde as estratégias de verdade fundamental eram conhecidas, o AUTOCOG recuperou com sucesso as teorias geradoras, mesmo quando iniciado com teorias distintas e concorrentes.

• Estratégias Canônicas: O sistema recuperou Take-the-Best (TTB), Tallying e Weighted-Additive (WADD) com alta fidelidade (Erro Quadrático Médio indistinguível da verdade fundamental em condições sem ruído).
• Estratégias Não-Canônicas: O sistema recuperou com sucesso estratégias não convencionais (ex: "Take-the-worst", "Alternating", "Perseveration") dentro de 5 a 20 ciclos, demonstrando que não está estritamente limitado pelos priors dos LLMs subjacentes.
• Robustez ao Ruído: O desempenho degradou graciosamente com o aumento do ruído de ação ($\epsilon$), e o sistema convergiu para modelos de escolha aleatória quando confrontado com ruído puro, indicando que não impõe estrutura onde ela não existe.

2. Descoberta em Tomada de Decisão Multi-Atributo (Dicas Binárias)

Ao ser executado com participantes humanos em uma tarefa de dicas de valor binário (iniciado com TTB e WADD), o AUTOCOG surgiu com um Modelo de Ponderação Subjetiva Não-Linear.

• Desempenho: Esta teoria surgiu superando significativamente as teorias semente (TTB, Tallying, WADD) em conjuntos de dados retidos da literatura (Hilbig et al., 2014).
• Mecanismo: O modelo unificou as três heurísticas canônicas como casos limites de um único mecanismo governado por uma transformação de lei de potência das validades das pistas (um parâmetro de expoente). Ele alcançou isso sem otimização explícita de parâmetros ou restrições de parcimônia, impulsionado puramente pela necessidade de generalizar através dos dados acumulados.

3. Descoberta em Tomada de Decisão Multi-Atributo (Dicas Cardinais)

Expandindo o espaço de design para incluir dicas de valores cardinais (inteiros 0–$r_{max}$), o AUTOCOG descobriu um modelo de Retornos Decrescentes WADD (Diminishing Returns WADD).

• Novidade: Esta teoria postula que os indivíduos aplicam uma função de utilidade côncava aos valores das pistas antes de ponderá-los pela validade. Isso implica sensibilidade decrescente aos valores das características: uma diferença unitária em regiões de baixo valor tem um impacto maior na escolha do que a mesma diferença em regiões de alto valor.
• Validação: A descoberta do sistema foi testada prospectivamente em um estudo pré-registrado com novos participantes humanos. O estudo confirmou três hipóteses derivadas da teoria:
  • H1 (Discriminação de Modelo): Os participantes escolheram opções previstas pelo WADD de Retornos Decrescentes significativamente mais vezes do que as previstas pelo WADD linear, Tallying ou TTB.
  • H2 (Steep-vs-Flat / Íngreme-vs-Plano): Os participantes mostraram maior sensibilidade a vantagens na região "íngreme" (baixo valor) em comparação com a região "plana" (alto valor).
  • H3 (Level-Shift / Deslocamento de Nível): A mesma estrutura de valor de pista objetiva exerceu uma influência mais forte quando apresentada em uma faixa de baixo valor em comparação com uma faixa de alto valor deslocada para cima.

Significância e Alegações

O artigo afirma que o AUTOCOG demonstra como sistemas de descoberta automatizada podem transformar a construção de teorias cognitivas em uma ciência explícita, executável e cumulativa.

• Automação do Passo Criativo: O sistema automatiza o passo "criativo" de geração de teoria, uma tarefa anteriormente considerada exclusivamente humana.
• Descoberta Baseada em Dados: As descobertas (incluindo a nova descoberta de sensibilidade decrescente) foram impulsionadas pelos dados comportamentais coletados, e não pelos priors dos LLMs, como evidenciado pela capacidade do sistema de recuperar estratégias não-canônicas e seu fracasso em encontrar estrutura em ruído puro.
• Auditabilidade: Toda a trajetória de descoberta é registrada como um traço legível por máquina, tornando o caminho do raciocínio científico aberto para inspeção e permitindo que outros agentes ou pesquisadores retomem a busca a partir da fronteira.
• Escopo: Os autores observam que o sistema é limitado pelos espaços de experimento e de design de modelos especificados pelos humanos e que a tradução de teoria verbal para código executável continua sendo um desafio. No entanto, eles afirmam que descobrir teorias psicológicas do comportamento humano está agora ao alcance da automação.

O trabalho não pretende substituir cientistas humanos, mas sim mudar seu papel de execução para especificação — decidindo o que conta como uma boa teoria e definindo o espaço de busca — enquanto o sistema lida com a geração e o teste iterativo de candidatos.