Tracing the ongoing emergence of human-like reasoning in Large Language Models

Resumo Técnico: Rastreamento do Surgimento Contínuo do Raciocínio Semelhante ao Humano em Modelos de Linguagem Grandes

Declaração do Problema
Embora os Modelos de Linguagem Grandes (LLMs) demonstrem competência linguística sofisticada, permanece incerto se eles possuem capacidades de raciocínio semelhantes às humanas, particularmente no que diz respeito à interface entre semântica e pragmática. Os humanos enriquecem facilmente significados literais através de inferências pragmáticas, como interpretar condicionais de forma diferente com base no contexto (por exemplo, distinguindo entre condicionais "perfeitas" e "de biscoito"). Os autores postulam que os LLMs podem sofrer de um "Viés de Descontextualização", uma tendência de depender de aspectos formais ou literais da entrada, falhando em integrar as pistas contextuais que orientam o processamento humano. Este estudo investiga se os LLMs podem replicar o raciocínio matizado e sensível ao contexto que os humanos aplicam a declarações condicionais em múltiplos idiomas.

Metodologia
Os pesquisadores conduziram um experimento de correspondência populacional envolvendo 313 participantes humanos e 25 LLMs de última geração. O estudo abrangeu quatro idiomas: catalão, inglês, italiano e espanhol.

• Design da Tarefa: Foi empregada uma tarefa de julgamento de valor-verdade utilizando 54 prompts experimentais por idioma, compreendendo Condicionais Padrão (CPs) e Condicionais de Biscoito (CBs), juntamente com itens de controle e preenchimento.
  • Condicionais Padrão (por exemplo, "Se você cortar a grama, eu te dou $50"): Os humanos tipicamente inferem uma relação bicondicional (leitura perfeita), onde a consequente vale apenas se a antecedente for verdadeira.
  • Condicionais de Biscoito (por exemplo, "Se você estiver com fome, há pizza no forno"): Os humanos inferem que a consequente vale independentemente da antecedente (leitura de biscoito).
  • Ensaios Críticos: O experimento focou em cenários onde a antecedente era falsa. Espera-se que os humanos julguem a consequente como falsa para CPs (devido à inferência bicondicional) e verdadeira para CBs (devido à independência).
• Participantes:
  • Humanos: Falantes nativos recrutados via Prolific, filtrados quanto a neurodivergência e distúrbios de linguagem.
  • LLMs: 25 modelos cobrindo diversas famílias (Claude, GPT, Gemini, Llama, Mistral, etc.), arquiteturas (Densa vs. Mistura de Especialistas), disponibilidade (Código Aberto vs. Código Fechado) e orientações de treinamento (Generativo vs. Raciocínio).
• Análise: Os dados foram analisados usando modelos de efeitos mistos lineares generalizados (regressão logística) para contabilizar estruturas de dados aninhadas. O estudo comparou taxas de precisão e efeitos de interação entre agentes (humano vs. LLM), tipos de prompt (experimental vs. controle) e tipos de condicional (CP vs. CB).

Principais Contribuições

1. Novo Benchmark: O estudo introduz um benchmark multilíngue especificamente projetado para desvendar o raciocínio lógico do enriquecimento pragmático em declarações condicionais, indo além da precisão agregada para sondar tipos específicos de inferência.
2. Comparação Sistemática: Fornece uma comparação em grande escala e com correspondência populacional entre humanos e um conjunto diversificado de 25 LLMs, agregando respostas de modelos para corresponder aos tamanhos de amostra humana para validade estatística.
3. Análise Arquitetural e de Treinamento: O artigo avalia sistematicamente se características amplas de design (abertura, tipo de arquitetura, orientação de treinamento) preveem capacidades de raciocínio pragmático, abordando lacunas na literatura atual sobre os impulsionadores do raciocínio emergente.

Resultados

• Desempenho Humano: Os humanos distinguiram consistentemente entre CPs e CBs, exibindo enriquecimento pragmático robusto. Eles endossaram leituras perfeitas para CPs (88%) e leituras de biscoito para CBs (57%), alinhando-se com achados anteriores em populações de língua inglesa.
• Desempenho dos LLMs:
  • Precisão Geral: Os LLMs performaram significativamente pior que os humanos em condições experimentais críticas que exigiam raciocínio pragmático. Embora mantivessem alta precisão em condições de controle, seu desempenho caiu substancialmente quando a inferência contextual foi necessária.
  • Perfis Comportamentais: Dois padrões comportamentais dominantes emergiram entre os LLMs:
    1. Adeptos da Tabela Verdade: Modelos que seguiam estritamente a lógica clássica, tratando antecedentes falsos como vacuamente verdadeiros, falhando assim em derivar as inferências pragmáticas necessárias tanto para CPs quanto para CBs.
    2. Bicondicionalizadores Baseados em Regras: Modelos que uniformemente fortaleceram todas as condicionais para bicondicionais (se e somente se), falhando em distinguir entre CPs e CBs e, portanto, perdendo completamente a interpretação de biscoito.
  • Variabilidade: Houve alta heterogeneidade no desempenho entre modelos individuais, variando de precisão próxima ao acaso a alta precisão. No entanto, mesmo os modelos de alto desempenho falharam em igualar o raciocínio flexível e sensível ao contexto dos humanos.
• Previsores de Desempenho:
  • Idioma: O desempenho foi amplamente independente do idioma; não foram encontradas diferenças significativas entre os quatro idiomas tanto para humanos quanto para modelos.
  • Características de Design: Crucialmente, características amplas de design — abertura (código aberto vs. código fechado), arquitetura (densa vs. MoE) e orientação de treinamento (generativo vs. raciocínio) — não previram de forma confiável a precisão do modelo ou a sensibilidade pragmática. Modelos de alto e baixo desempenho foram encontrados em todas as categorias.

Significado e Alegações
O artigo conclui que os LLMs atuais funcionam como operadores semânticos precisos, mas falham em capturar os enriquecimentos pragmáticos característicos do raciocínio humano. Os autores argumentam que os LLMs exibem um "Viés de Descontextualização", favorecendo a forma superficial e o significado literal sobre interpretações contextualmente enriquecidas devido à falta de fundamentação em configurações comunicativas do mundo real.

O estudo alega que o raciocínio pragmático é uma capacidade emergente no conjunto de ferramentas cognitivas dos sistemas artificiais, em vez de um subproduto automático da escala ou sofisticação arquitetural. Os achados sugerem que alcançar o raciocínio semelhante ao humano requer mecanismos para integração de contexto e raciocínio de relevância que ainda não estão plenamente realizados nos sistemas atuais baseados em dados. Além disso, a incapacidade de rótulos taxonômicos amplos (por exemplo, "orientado a raciocínio" ou "MoE") de prever o desempenho implica que a competência pragmática é uma propriedade específica do modelo, dependente de fatores internos opacos, em vez de escolhas de design de alto nível. Os autores mantêm uma postura modesta, observando que, embora o raciocínio pragmático ainda não esteja totalmente emergente, não é inerentemente inatingível, potencialmente exigindo fundamentação de mundo mais rica ou ambientes de aprendizado interativo para se desenvolver.