Resumo Técnico: Geração de Hipóteses e Inferência Indutiva em Crianças e Modelos de Linguagem

Declaração do Problema

A tomada de decisão no mundo real exige a construção de modelos mentais sob incerteza quanto às evidências, às regras causais subjacentes e ao próprio estado do mundo. Um desafio central na ciência cognitiva e na robótica é identificar os princípios computacionais que permitem a agentes descobrirem teorias coerentes nessas condições. Especificamente, há uma escassez de frameworks experimentais que variem sistematicamente fontes interagentes de incerteza entre diferentes sistemas (humanos versus artificiais) para comparar mecanismos de inferência.

Este artigo aborda isso modelando a inferência indutiva na Tarefa da Caixa, um domínio de resolução de quebra-cabeças físicos originalmente projetado para estudar como crianças de 7 a 10 anos respondem a instruções enganosas sob incerteza. A tarefa envolve abrir cinco caixas trancadas usando treze chaves dentro de um limite de tempo. A regra verdadeira (corresponder o número de formas em uma caixa ao número de uma chave) é latente, enquanto as crianças são enganadas por um vídeo de um professor sugerindo uma regra de correspondência de cores. O ambiente é parcialmente observável (as contagens de formas estão ocultas até que as caixas sejam pegadas) e apresenta evidências não confiáveis (falhas mecânicas podem impedir que combinações corretas de chave-caixa sejam abertas).

Metodologia

Os autores formalizam a Tarefa da Caixa como um Processo de Decisão de Markov Parcialmente Observável (POMDP), onde um agente deve descobrir uma regra latente $h$ a partir de transições de estado estocásticas e observações incompletas. Eles implementam dois frameworks complementares para aproximar a solução usando Amostradores de Monte Carlo Sequenciais (SMC-S) para atualização bayesiana online:

1. Conjuntos de Restrições (SoC) – Modelagem Cognitiva

Esta implementação trata hipóteses como coleções estruturadas de restrições derivadas de evidências. Ela serve como um modelo cognitivo ajustado ao comportamento de crianças humanas ($N=100$).

• Representação da Hipótese: Hipóteses são mapeamentos de caixas para chaves.
• Distribuição de Proposta: Uma mistura de:
  • Regras pré-especificadas: Regras candidatas salientes (cor, forma, ordem) com priores atribuídos.
  • Gerador online: Um mecanismo para propor novas restrições com base em evidências acumuladas, aumentando o peso de atribuições consistentes e diminuindo o peso de atribuições falsificadas.
• Confiabilidade Subjetiva: Introduz um parâmetro $\rho \in (0, 1]$ representando a estimativa subjetiva do agente sobre a confiabilidade das evidências. Isso permite que o modelo atribua falhas a causas externas (por exemplo, uma fechadura rígida) em vez de falsificar imediatamente a hipótese.
• Variantes: Os autores testaram quatro variantes, incluindo modelos lesados (removendo o gerador ou a confiabilidade subjetiva) e um modelo completo (SoC-Full).

2. Síntese de Programas Baseada em LLM (LLM-PS) – Organismo Modelo

Esta implementação trata Modelos de Linguagem de Grande Escala (LLMs) como "organismos modelos" controláveis para investigar como o comportamento muda sob variação sistemática das condições ambientais.

• Representação da Hipótese: Hipóteses são funções Python executáveis (predict(key, box) -> bool) geradas e revisadas pelo LLM.
• Motor de Inferência: O sistema mantém uma população de partículas de hipótese. Quando uma partícula é selecionada para "rejuvenescimento", o LLM é solicitado a sintetizar um programa revisado consistente com o histórico de ações e resultados.
• Seleção de Ação: Agentes selecionam ações para maximizar o ganho de informação esperado (EIG) sobre a distribuição de partículas.
• Variantes: Os autores implementaram condições correspondentes à tarefa humana:
  • LLM-PS-S: Observabilidade total, chaves não confiáveis.
  • LLM-PS-P: Observabilidade parcial (requer ações OBSERVE para revelar contagens de formas), chaves não confiáveis.
  • Baseline ReAct: Um agente ReAct padrão que gera ações diretamente sem manter representações explícitas de hipóteses.

Principais Contribuições

1. Formalização da Inferência Indutiva: O artigo estende a Hipótese de Amostragem para cenários com evidências não confiáveis e espaços de hipóteses ilimitados, fornecendo duas implementações complementares: baseada em restrições (SoC) e síntese de programas (LLM-PS).
2. Análise Computacional de Crianças: O estudo demonstra que o comportamento das crianças é melhor explicado pela operação conjunta de confiabilidade subjetiva de evidências (descontando falhas como erros mecânicos) e geração online de hipóteses (criando soluções aproximadas). Isso accounts pela dissociação entre conclusão da tarefa e generalização da regra verdadeira.
3. Comparação Controlada: Ao tratar LLMs como organismos modelos, os autores variam sistematicamente a confiabilidade das evidências e a observabilidade. Eles mostram que agentes baseados em LLM replicam padrões de desempenho de crianças em condições incertas (por exemplo, descontando evidências não confiáveis, buscando resolver informações parciais), mas exibem vieses indutivos distintos, especificamente uma tendência a super-observar e super-cumprir instruções em comparação com crianças.

Resultados

Resultados do SoC

• Ajuste do Modelo: O modelo SoC-Full (incorporando tanto confiabilidade subjetiva quanto um gerador online) forneceu um ajuste significativamente melhor às trajetórias das crianças e às taxas de generalização do que qualquer variante lesada ($p < .001$).
• Generalização: Enquanto 66% das crianças abriram todas as caixas, apenas 22% generalizaram a regra verdadeira. O modelo SoC-Full replicou isso, convergindo para a regra correta em aproximadamente 20% das simulações.
• Mecanismo: Os resultados indicam que nem a confiabilidade subjetiva nem a geração online sozinhas são suficientes; sua combinação é necessária para reproduzir a distribuição de tentativas e a baixa taxa de generalização correta.

Resultados do LLM-PS

• Replicação de Padrões: Agentes baseados em LLM replicaram as respostas das crianças a mudanças na confiabilidade das evidências e na observabilidade. Eles descontaram com sucesso evidências não confiáveis e buscaram resolver informações parciais.
• Conclusão da Tarefa vs. Generalização: Como as crianças, agentes LLM frequentemente concluíram a tarefa sem descobrir a regra verdadeira. Quando isso ocorria, eles dependiam de hipóteses "aproximadas" que combinavam causas díspares (por exemplo, usando cores para algumas caixas e números para outras) em vez de uma regra unificada.
• Divergência no Comportamento:
  • Cumprimento de Instruções: LLMs aderiram estritamente à instrução enganosa de correspondência de cores no primeiro teste, enquanto 21% das crianças testaram imediatamente combinações que não correspondiam à cor.
  • Custos de Observação: Agentes LLM-PS-P observaram sistematicamente todas as caixas antes de retomar as tentativas, enquanto as crianças variaram significativamente na frequência de observação, com muitas observando poucas ou nenhuma caixa. Isso sugere que as crianças implicitamente trocam o valor da informação contra custos cognitivos ou sociais ausentes no cenário de LLM.
• Capacidade de Backend: A generalização para a regra verdadeira exigiu capacidade de backend suficiente (por exemplo, GPT-5.2 teve sucesso com uma única partícula, enquanto modelos mais fracos como DEEPSEEK V3.2 falharam em descobrir a regra verdadeira mesmo sob observabilidade total).

Significado e Alegações

O artigo afirma fornecer um framework controlado para avaliar a inferência indutiva sob incerteza entre agentes humanos e artificiais. Seu significado principal reside em:

1. Ponte entre Ciência Cognitiva e IA: Demonstra que LLMs podem servir como "organismos modelos" válidos para a ciência cognitiva, permitindo a manipulação sistemática de variáveis ambientais que é difícil de alcançar com sujeitos humanos.
2. Compreensão da Inferência Aproximada: O estudo destaca que a conclusão bem-sucedida da tarefa não implica necessariamente a descoberta da regra subjacente verdadeira. Tanto crianças quanto LLMs podem utilizar hipóteses "aproximadas" que integram causas díspares para resolver problemas imediatos, o que pode servir como um degrau para uma unificação posterior.
3. Vieses Indutivos: Os resultados sugerem que, embora crianças e LLMs se adaptem de forma semelhante à estrutura ambiental, seus comportamentos de busca de informação são moldados por custos e priores subjacentes diferentes. As crianças parecem operar com um prior mais amplo e custos implícitos para observação, enquanto LLMs exibem um viés para espaços de hipóteses estruturados e pequenos e para o cumprimento estrito de instruções.

Os autores observam modestamente que sua interpretação do comportamento de LLM permanece indireta, pois não provam definitivamente que LLMs mantêm representações explícitas de hipóteses ou realizam atualizações baseadas em verossimilhança versus recuperação. Eles sugerem que trabalhos futuros poderiam usar interpretabilidade mecânica para distinguir essas possibilidades e investigar ainda mais a "confiabilidade subjetiva" e os priores de regras de LLMs.