Resumo Técnico: Adultos Humanos e LLMs como Cientistas: Quem se Beneficia da Exploração Ativa?

Problema

Uma descoberta persistente na literatura de aprendizagem causal é que adultos humanos têm dificuldade em identificar regras causais conjuntivas (onde um efeito requer a presença simultânea de múltiplos causadores, $A \land B$), frequentemente recorrendo a regras disjuntivas (onde qualquer causa única é suficiente, $A \lor B$). Esse "impedimento conjuntivo" tem sido tradicionalmente demonstrado usando paradigmas de observação passiva, nos quais o aprendiz observa uma sequência fixa de evidências sem controle sobre como essa evidência é gerada.

A questão central abordada por este artigo é se esse viés persiste quando adultos recebem agência através da exploração ativa. Especificamente, os autores investigam se a incapacidade de inferir regras conjuntivas decorre de uma limitação fixa na competência causal ou das restrições da apresentação passiva de evidências, que impede os aprendizes de gerar e avaliar a evidência específica necessária para atualizar seus priors. Além disso, o estudo situa o desempenho humano dentro de um contexto computacional mais amplo, comparando aprendizes adultos a Modelos de Linguagem de Grande Escala (LLMs) atuando como agentes de raciocínio de propósito geral no mesmo cenário de descoberta causal ativa.

Metodologia

Tarefa Experimental: O "Detector de Nexiom"

Os autores desenvolveram uma plataforma personalizada baseada na web, Nexiom Text Adventure, funcionalmente equivalente ao clássico paradigma do "detector de blicket", mas utilizando o termo inédito "nexiom" para minimizar o conhecimento prévio de literaturas estabelecidas.

• Configuração: Os participantes interagem com uma máquina que é ativada com base na presença de objetos específicos ("nexioms") e uma regra causal subjacente.
• Condições:
  1. Exploração Ativa: Os participantes selecionam livremente objetos, testam combinações arbitrárias e decidem quando parar de explorar para inferir tanto os objetos causais quanto a regra (Conjuntiva vs. Disjuntiva).
  2. Observação Passiva (Controle Yoked): Os participantes observam as ações e os resultados dos testes de um participante Ativo pareado, sem realizar intervenções por conta própria.
  3. Propositor Passivo: Uma condição suplementar onde os participantes geram hipóteses e propõem intervenções, mas recebem resultados gerados por um participante Ativo correspondente. Isso isola se os benefícios advêm do planejamento de intervenções ou de receber feedback contingente.

Participantes e Agentes

• Humanos: 306 participantes adultos (22–35 anos) recrutados via Prolific. Eles foram atribuídos às condições de Exploração Ativa, Observação Passiva ou Propositor Passivo.
• LLMs: Seis modelos foram testados (gpt-5, gpt-5-mini, gemini-2.5-flash, deepseek-reasoner, o4-mini, deepseek-chat). Os modelos receberam o mesmo espaço de ação dos humanos: adicionar/remover objetos sequencialmente, testar combinações e observar resultados.
• Design: Os experimentos utilizaram estruturas de regras Conjuntivas e Disjuntivas. Os dados humanos incluíram 51 participantes por tipo de regra por condição; os LLMs passaram por 24 tentativas por tipo de regra (48 tentativas totais por modelo).

Métricas de Avaliação

• Acurácia: Medidas binárias para Identificação de Objeto (correspondência exata dos objetos causais), Inferência de Regra (Conjuntiva vs. Disjuntiva) e Acurácia Total da Hipótese (ambos corretos).
• Processo de Exploração:
  • Ganho de Informação Cumulativo: Quantificação da redução de incerteza (em bits) ao longo dos testes.
  • Poda de Hipóteses: Rastreamento do número de hipóteses consistentes restantes após cada teste.
  • Eficiência: Número de testes, ações e tempo por teste.

Principais Contribuições e Resultados

1. A Exploração Ativa Supera o Impedimento Conjuntivo

Ao contrário de estudos passivos anteriores, a exploração ativa melhorou substancialmente o desempenho dos adultos em regras causais conjuntivas.

• Acurácia: Adultos ativos alcançaram alta acurácia na inferência de regras conjuntivas, superando significativamente os observadores passivos.
• Eficiência: Embora as regras conjuntivas ainda tenham exigido mais testes para serem inferidas do que as disjuntivas (Média de testes: 9,6 vs. 6,4 para humanos médios), os adultos ativos geraram conjuntos de testes relativamente pequenos, porém altamente informativos.
• Implicação: O "impedimento conjuntivo" adulto reflete restrições da apresentação passiva de evidências, não uma limitação fixa na competência causal. Adultos ativos demonstraram flexibilidade semelhante à observada em crianças pequenas.

2. A Necessidade de Feedback Contingente

O experimento do Propositor Passivo revelou que o planejamento de intervenção sozinho é insuficiente.

• Os participantes que propuseram intervenções, mas observaram resultados de testes de outra pessoa, tiveram um desempenho tão ruim quanto os observadores passivos (ex: 0,12 de acurácia de identificação de objeto em configurações conjuntivas vs. 0,69 para Exploradores Ativos).
• Conclusão: Os benefícios da exploração ativa dependem criticamente do acoplamento estreito entre as intervenções autogeradas e seus resultados contingentes.

3. Desempenho de LLM vs. Desempenho Humano

• Regras Disjuntivas: Vários modelos de última geração (ex: gpt-5, deepseek-reasoner) aproximaram-se ou igualaram a acurácia dos melhores humanos. Ambientes disjuntivos parecem mais fáceis de resolver uma vez que os agentes podem gerar intervenções informativas ativamente.
• Regras Conjuntivas: Surgiram lacunas significativas de desempenho. Enquanto os melhores exploradores humanos alcançaram acurácia perfeita, muitos LLMs (incluindo modelos menores ou menos estruturados) mostraram declínios pronunciados. Mesmo modelos fortes de raciocínio geralmente ficaram atrás do desempenho humano de elite em configurações conjuntivas.
• Estratégias de Exploração:
  • Humanos: Os humanos de alto desempenho convergiram rapidamente para intervenções de múltiplos objetos direcionadas para podar o espaço de hipóteses.
  • LLMs: Embora alguns modelos tenham ajustado a complexidade da intervenção, eles frequentemente exibiram estratégias de exploração menos eficientes e lacunas de desempenho entre conjuntivo-disjuntivo semelhantes às dos humanos, embora de forma menos mitigada.
  • Padrões de Erro: Os LLMs frequentemente cometeram erros de "quase acerto" (classificando incorretamente um único objeto causal), enquanto os erros humanos foram mais heterogêneos.

4. Eficiência de Busca e Ganho de Informação

• Configurações Disjuntivas: Tanto humanos quanto modelos acumularam informações rapidamente, com utilidade marginal aproximando-se de zero após alguns testes.
• Configurações Conjuntivas: Exigiram trajetórias de exploração mais longas. Intervenções informativas continuaram a emergir mais tarde na sequência. A descoberta bem-sucedida foi associada à poda progressiva de hipóteses e estratégias de busca sequencial adaptativa.

Significância e Alegações

O artigo afirma que a aprendizagem causal adulta é mais adaptativa e flexível do que os paradigmas passivos anteriores sugeriam. A aparente falha no raciocínio conjuntivo não se deve a uma incapacidade de representar estruturas causais complexas, mas surge da interação entre heurísticas padrão fortes (que favorecem regras disjuntivas) e ambientes de aprendizagem restritos.

Ao permitir que os adultos atuem como "cientistas" — explorando e gerando sua própria evidência — o estudo revela formas de competência causal que a observação passiva obscurece. Os achados alinham-se com contas intervencionistas da aprendizagem causal, sugerindo que o conhecimento causal é fundamentalmente sobre entender como as ações mudam o mundo.

Além disso, a comparação com LLMs sugere que a intervenção ativa sozinha é insuficiente para a descoberta causal de nível humano. O sucesso depende da qualidade, eficiência e informatividade dos testes, particularmente em ambientes conjuntivos. Embora alguns LLMs possam igualar os humanos na acurácia de inferência de hipóteses, eles frequentemente carecem das capacidades de teste estratégico e seleção de evidências que caracterizam os melhores exploradores humanos.

O estudo conclui que as diferenças de desenvolvimento entre crianças e adultos podem refletir diferenças na força das heurísticas padrão e na disposição para revisar crenças, em vez de diferenças fundamentais nos mecanismos de raciocínio causal. Quando fornecidos com um ambiente que suporta a exploração baseada em hipóteses, o aprendizado adulto assemelha-se à flexibilidade das crianças mais novas.