Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

Resumo Técnico: Pressuposição e Raciocínio em Condicionais: Um Estudo Baseado em Teoria sobre Humanos e LLMs

Declaração do Problema
O artigo aborda uma lacuna crítica na avaliação de Modelos de Linguagem de Grande Escala (LLMs) quanto à sua competência pragmática, especificamente no domínio da projeção de pressuposições dentro de sentenças condicionais. Enquanto teorias do significado e da pragmática debatem há muito o "problema da ressalva" — como as pressuposições acionadas no consequente de uma condicional (por exemplo, "Se John é um mergulhador, ele trará seu fato de neoprene") são interpretadas como incondicionais ou condicionais ao antecedente —, esse fenômeno permanece largamente não avaliado em LLMs. Benchmarks existentes frequentemente dependem de raciocínio de entailment simples ou tarefas de classificação que não capturam a interação complexa entre semântica, contexto discursivo, raciocínio probabilístico e conhecimento de mundo necessária para resolver essas projeções. Os autores argumentam que as avaliações atuais não distinguem suficientemente entre modelos que compreendem genuinamente as restrições pragmáticas e aqueles que dependem de correspondência de padrões superficiais.

Metodologia
O estudo emprega um desenho comportamental paralelo comparando julgamentos humanos contra quatro LLMs (GPT-5, Gemini-2.5-flash, Llama-3.1-8B-Instruct e Qwen2.5-7B-Instruct) usando um conjunto de dados normatizado de 90 sentenças condicionais.

1. Construção de Dados: Os autores construíram um conjunto de dados baseado em 30 proposições base (por exemplo, ter um fato de neoprene, ter uma irmã) instanciadas em três variantes que manipulam a relação lógica e probabilística entre o antecedente ($A$) e a pressuposição ($p$). Um estudo de normatização com 30 falantes nativos de inglês estabeleceu níveis graduais de relevância $A$-$p$ (alta, média, baixa) e probabilidade da proposição.
2. Condições Experimentais: Tanto humanos ($N=120$) quanto LLMs avaliaram a probabilidade de a pressuposição ser verdadeira em uma escala Likert de 0 a 7 sob duas condições:
   • Sem Contexto: Enquadramento mínimo.
   • Com Contexto: Informações de fundo identificatórias adicionadas (por exemplo, "A pessoa é de Toronto") para testar como o contexto mínimo modula a confiabilidade evidencial e o raciocínio de relevância.
3. Framework LLM-como-Juiz: Para ir além das métricas de precisão, os autores desenvolveram uma lista de verificação informada por teoria, fundamentada em semântica formal (por exemplo, Semântica Dinâmica, Pragmática Griceana, Teoria da Acomodação). Um modelo juiz (Claude-haiku-4) avaliou os rastros de raciocínio do Tipo Cadeia-de-Pensamento (CoT) dos modelos-alvo contra 52–59 critérios binários cobrindo dimensões como Precisão, Integração de Contexto, Critérios Pragmáticos, Tratamento de Pressuposições e Coerência.
4. Validação: Um subconjunto das avaliações do juiz foi validado por especialistas humanos em linguística, alcançando 89% de concordância interanotadora e 79,46% de concordância com o modelo juiz.

Principais Resultados

• Comportamento Humano: Os julgamentos humanos integram pistas probabilísticas e pragmáticas de forma não aditiva. Quando o antecedente é irrelevante para a pressuposição, os humanos dependem fortemente da probabilidade prévia (conhecimento de mundo). No entanto, mesmo uma relevância parcial atua como um limiar que aumenta significativamente as classificações de probabilidade, sugerindo uma sensibilidade à relevância que supera as taxas base em contextos específicos. Informações contextuais refinaram essa integração, levando a distinções mais graduadas entre níveis de relevância.
• Alinhamento Humano-LLM: Os LLMs mostraram alinhamento variável com padrões humanos.
  • Qwen2.5-7B-IT e Llama-3.1-8B-Instruct demonstraram a correlação mais forte com as classificações humanas em escala Likert ($\rho$ de Spearman $\approx 0,30\text{--}0,38$) e o menor Erro Absoluto Médio (MAE).
  • GPT-5 e Gemini-2.5-flash mostraram alinhamento mais fraco ou inconsistente, com o GPT-5 falhando em mostrar correlação significativa em qualquer condição.
• Raciocínio vs. Desempenho (A Dissociação): Uma descoberta crítica é a dissociação entre alinhamento comportamental e qualidade de raciocínio.
  • Modelos com o maior alinhamento comportamental aos humanos (por exemplo, Qwen2.5-7B-IT) frequentemente exibiram o menor cumprimento da lista de verificação informada por teoria. Seu raciocínio dependia frequentemente de associações lexicais superficiais em vez de restrições pragmáticas formais.
  • Por outro lado, modelos proprietários maiores (GPT-5, Gemini) geraram rastros de raciocínio mais consistentes com expectativas teóricas (maiores pontuações na lista de verificação), mas produziram julgamentos finais de probabilidade que se desviaram mais significativamente dos padrões humanos.
• Efeitos de Contexto: Fornecer contexto mínimo geralmente melhorou o cumprimento da lista de verificação para modelos menores, mas introduziu "ruído de raciocínio" para alguns, levando a uma redução na coerência de suas explicações.

Principais Contribuições

1. Benchmark Orientado por Teoria: O artigo introduz um conjunto de dados controlado e um desenho experimental especificamente direcionados ao problema da ressalva em condicionais, preenchendo uma lacuna em benchmarks existentes de NLI e pressuposição que frequentemente carecem de profundidade pragmática.
2. LLM-como-Juiz para Pragmática: Propõe e valida um framework de avaliação baseado em lista de verificação que decompõe a competência pragmática em critérios interpretáveis e fundamentados em teoria, oferecendo uma visão mais matizada do raciocínio do modelo do que as pontuações de precisão isoladas.
3. Evidência Empírica de Lacunas de Competência: O estudo fornece evidências empíricas de que o alto alinhamento comportamental em LLMs pode resultar de correspondência de padrões probabilísticos em dados de treinamento em vez de competência pragmática estável, conforme evidenciado pela desconexão entre classificações semelhantes às humanas e raciocínio consistente com a teoria.

Significado e Alegações
Os autores afirmam que suas descobertas destacam as limitações dos LLMs atuais no manuseio de fenômenos pragmáticos complexos. O artigo argumenta que o desempenho em tarefas como projeção de pressuposições pode refletir "correspondência de padrões superficiais" em vez de compreensão pragmática genuína. Ao demonstrar que os modelos que melhor imitam julgamentos humanos frequentemente carecem de raciocínio pragmático coerente, o estudo sugere que benchmarks atuais baseados apenas na precisão de saída são insuficientes para avaliar competência semântica e pragmática. Os autores concluem que benchmarks fundamentados em teoria linguística são essenciais para distinguir entre alinhamento estatístico superficial e verdadeiras capacidades de raciocínio, e que trabalhos futuros devem abordar a dissociação entre similaridade comportamental e validade teórica.