Resumo Técnico: auto-psych

Definição do Problema

O processo científico na ciência cognitiva é tradicionalmente um ciclo iterativo envolvendo conjectura de teoria, desenho experimental, coleta de dados e refinamento de modelos. Embora ferramentas de IA tenham auxiliado recentemente em etapas individuais deste ciclo (por exemplo, gerando hipóteses ou analisando conjuntos de dados existentes), um gargalo crítico permanece: a automação da coleta de novos dados sob regimes experimentais direcionados. O "AI-driven science" atual frequentemente depende do "ciclo de Box" (testagem iterativa de modelos em conjuntos de dados estáticos), mas carece de uma capacidade de "lab-in-the-loop" (laboratório no ciclo), onde agentes projetam e executam experimentos com participantes humanos.

Este artigo aborda o desafio de automatizar o ciclo completo de descoberta na ciência cognitiva computacional. Especificamente, ele foca no domínio da aleatoriedade subjetiva — o fenômeno psicológico onde humanos julgam quais sequências de lançamentos de moedas parecem mais aleatórias. Este domínio foi escolhido porque oferece um espaço de estímulos discreto e tratável, além de um rico histórico de teorias probabilísticas formalizadas, tornando-o um banco de testes ideal para a descoberta automatizada de teorias.

Metodologia: O Framework auto-psych

Os autores introduzem o auto-psych, um sistema baseado em agentes que automatiza a descoberta de teorias e a experimentação através de dois loops aninhados. O sistema utiliza Grandes Modelos de Linguagem (LLMs), especificamente o gemini-3.1-pro-preview dentro de um harness OpenCode, para instanciar papéis distintos de agentes (Agentes Teórico, Crítico, de Design e de Implementação).

1. O Loop Externo: "Lab-in-the-Loop"

O loop externo gerencia o ciclo experimental para diferenciar entre teorias concorrentes:

• Geração de Teoria: Um agente teórico propõe novos modelos cognitivos. Na primeira iteração, ele utiliza "modelos semente" da literatura. Em iterações subsequentes, ele gera novas hipóteses em linguagem natural e as traduz em código PyMC (programação probabilística) executável.
• Design de Experimento: Um agente de design gera 100–300 estímulos candidatos (pares de sequências de lançamentos de moedas). Estes são pontuados usando Ganho de Informação Esperada (EIG - Expected Information Gain) para selecionar os pares que mais efetivamente distinguem entre o conjunto atual de modelos no registro.
• Coleta de Dados: Um agente de implementação constrói um experimento jsPsych, faz o deploy no Firebase e recruta participantes humanos via API do Prolific. O sistema monitora o estudo, recupera os dados e os passa para o loop interno.

2. O Loop Interno: "Box's Loop"

O loop interno refina o modelo com melhor desempenho do loop externo antes que ele seja adicionado ao registro:

• Ajuste de Modelo (Model Fitting): Modelos existentes são ajustados aos dados humanos coletados usando Markov Chain Monte Carlo (MCMC).
• Crítica: Um agente crítico (adaptado do framework CriticAL) realiza verificações preditivas posteriores (posterior-predictive checks). Ele simula dados a partir do melhor modelo e calcula estatísticas de teste para identificar discrepâncias significativas entre as previsões do modelo e os dados humanos observados.
• Refinamento: Um agente teórico utiliza essas críticas específicas para propor novos modelos ou refinar mecanismos existentes para abordar as falhas identificadas. Este loop roda duas vezes por iteração do loop externo.

Principais Contribuições

1. Automação Total do Ciclo de Descoberta: O artigo apresenta o primeiro caso de um ciclo de psicologia totalmente automatizado onde agentes de IA projetam experimentos, recrutam participantes humanos, coletam dados comportamentais reais e refinam teorias computacionais sem intervenção humana no ciclo experimental.
2. Arquitetura de Agentes Aninhados: O sistema demonstra que uma estrutura aninhada (um loop interno para crítica/refinamento de modelo e um loop externo para design experimental) é crítica para o desempenho. Estudos de ablação mostram que remover o loop interno degrada significativamente a capacidade do sistema de recuperar os modelos de verdade fundamental (ground-truth).
3. Integração de Programação Probabilística: O framework conecta com sucesso LLMs com linguagens de programação probabilística (PyMC), permitindo que agentes gerem, ajustem e critiquem modelos cognitivos complexos que representam a cognição humana como processos probabilísticos.

Resultados

O sistema foi avaliado de duas formas principais:

1. Recuperação da Verdade Fundamental (Ground-Truth Recovery)

Os autores testaram a capacidade do auto-psych de recuperar modelos conhecidos (tanto modelos semente baseados na literatura quanto modelos "alienígenas" com regras psicologicamente implausíveis) a partir de dados sintéticos gerados por esses modelos.

• Desempenho: O sistema recuperou consistentemente os modelos de verdade fundamental com maior precisão (menor Erro Quadrático Médio) do que os melhores modelos semente.
• Necessidade de Loops Aninhados: Experimentos de ablação confirmaram que o loop interno é essencial; sem ele, o desempenho de recuperação do sistema caiu significativamente.

2. Experimentos com Dados Humanos

O sistema executou três réplicas independentes do ciclo de descoberta com participantes humanos (40 participantes por rodada, 3 rodadas por réplica).

• Superioridade sobre Modelos da Literatura: Em todas as três réplicas, os agentes descobriram modelos que se ajustam aos dados humanos significativamente melhor do que os modelos semente iniciais derivados da literatura científica (ex: diagnosticidade Bayesiana, similaridade de protótipo, compressibilidade de codificação).
• Descobertas Novas: O modelo de melhor desempenho descoberto foi o modelo de "tipicidade de Minkowski". Este modelo postula que humanos julgam a aleatoriedade comparando a taxa de alternância e a proporção de "caras" de uma sequência a um protótipo mental, com desvios ponderados por um expoente de penalidade de potência (média posterior ~1.35, sugerindo uma métrica de distância entre Manhattan e Euclidiana).
• Generalização: Os modelos descobertos mantiveram seu ajuste superior quando testados em dados não utilizados (held-out data) de outras réplicas, indicando que não sofreram overfitting aos conjuntos de dados específicos usados durante sua descoberta.
• Diversidade de Soluções: Embora diferentes réplicas tenham convergido para modelos com poder preditivo semelhante (baixo RMSE entre os melhores modelos), as estruturas internas variaram (algumas baseadas em comparação de protótipo, outras em acumulação de evidência), destacando a natureza não única da descoberta de modelos em espaços de alta dimensão.

Significância e Alegações

O artigo afirma demonstrar a viabilidade da coleta de dados e descoberta de teorias automatizadas na ciência cognitiva computacional. Argumenta-se que:

• Eficiência: Sistemas automatizados podem iterar rapidamente através da geração de hipóteses e teste experimental, potencialmente acelerando o ritmo do progresso científico.
• Potencial de Descoberta: O sistema pode encontrar teorias que superam modelos gerados por humanos estabelecidos, sugerindo que agentes de IA podem identificar explicações mecanísticas novas para o comportamento humano que podem ter sido negligenciadas.
• Escalabilidade: Embora o estudo atual seja uma prova de conceito em um domínio específico e restrito (aleatoriedade subjetiva), o framework foi desenhado para ser generalizável para outros paradigmas onde as teorias podem ser formalizadas em código e experimentos podem ser executados online.

Os autores mantêm-se modestos quanto ao escopo, reconhecendo que o sistema atual opera dentro de um espaço de estímulos restrito e que os modelos descobertos, embora estatisticamente superiores, podem ainda carecer das virtudes explicativas profundas preferidas pelos psicólogos humanos. Eles apresentam este trabalho como um ponto de partida para integrar sistemas de descoberta automatizada na infraestrutura científica mais ampla, em vez de um substituto para cientistas humanos.