Comparing Human and Large Language Model Interpretation of Implicit Information

1. O Problema

A interpretação de significados implícitos é um aspecto fundamental da comunicação humana, baseada na "cooperação interpretativa" entre autor e leitor. No entanto, é incerto se esse quadro conceitual se transfere para a interação com Modelos de Linguagem de Grande Porte (LLMs). Embora os LLMs sejam proficientes na geração de texto, a literatura carece de pesquisas focadas especificamente na extração de informação implícita (o que pode ser inferido de um texto, além do que é dito explicitamente).

O estudo busca preencher essa lacuna investigando:

• Como os LLMs interpretam informações implícitas em comparação com humanos.
• Quais são os principais drivers de inferência para ambos.
• A "rigidez" (strictness) dos modelos ao avaliar inferências potenciais.
• A capacidade dos modelos de analisar relações temporais entre eventos.

2. Metodologia

Os autores propõem uma nova tarefa chamada Extração de Informação Implícita (IIE - Implicit Information Extraction) e um pipeline automatizado baseado em LLMs para executá-la. O método é agnóstico ao modelo (funciona com "caixas pretas") e não requer fine-tuning, utilizando apenas few-shot prompting.

O pipeline consiste em três estágios principais para construir um Grafo de Conhecimento (KG) estruturado em duas camadas (relacional e temporal):

1. Extração de Informação:
   • Entidades: Identificação de entidades no texto e sua tipificação (usando uma ontologia específica para eventos).
   • Triplets Explícitos: Extração de relações diretas (Sujeito, Relação, Objeto) baseadas no texto.
   • Triplets Implícitos: Inferência de fatos dedutíveis (intenções, reações emocionais, pré/pós-condições) usando o raciocínio comum. O sistema lida com estruturas gramaticais complexas (como subordinação e aspecto) através de uma técnica inspirada na reificação de RDF, permitindo que triplets aninhados sejam objetos de outros triplets.
2. Validação de Inferência:
   • O modelo atua como seu próprio crítico, analisando cada triplet implícito para descartar aqueles que não são sustentados pelo texto.
   • Se descartado, o modelo tenta corrigir o triplet; se impossível, ele é rejeitado.
   • Inclui verificação de duplicatas e geração de explicações sobre quais triplets explícitos serviram de premissa para a inferência.
3. Análise Temporal:
   • Classificação de triplets como "eventos" ou "estados".
   • Extração de referências temporais absolutas.
   • Determinação de relações temporais relativas entre pares de triplets (antes, depois, enquanto, nenhum).

Avaliação:
O pipeline foi testado em dois modelos (Mistral Large 2 e GPT-4o mini) em dois conjuntos de dados: SocialIQA (interações sociais) e COPA (raciocínio causal de senso comum). Os resultados foram comparados com julgamentos de crowdsourcing (206 estudantes universitários e 75 trabalhadores do MTurk), medindo a concordância (Model-Human Agreement - MHA) e a confiabilidade inter-avaliadores (Kappa de Cohen).

3. Principais Contribuições

• Definição da Tarefa IIE: Formalização da extração de informação implícita como a construção de um grafo de conhecimento estruturado, indo além da simples classificação binária (NLI).
• Pipeline Automatizado: Uma metodologia robusta que extrai, valida e organiza inferências em KGs, capaz de lidar com ambiguidades e estruturas complexas sem treinamento supervisionado.
• Análise Comparativa Detalhada: Um estudo empírico abrangente que contrasta a "rigidez" e a cobertura de inferência entre humanos e LLMs em diferentes contextos (sociais vs. factuais).
• Insights sobre Alucinação e Cobertura: Demonstração de que, embora os modelos sejam precisos, eles sofrem de sub-geração (falta de cobertura) em vez de alucinação excessiva em contextos sociais.

4. Resultados Chave

• Concordância Modelo-Humano (MHA): A concordância é moderada. Os modelos concordam com a maioria dos triplets humanos, mas os humanos consistentemente propõem muitas adições que os modelos não capturam, indicando cobertura limitada nos LLMs atuais.
• Rigidez e Contexto:
  • SocialIQA (Contextos Ricos): Os modelos são mais conservadores que os humanos. Eles descartam muitas inferências que os humanos consideram válidas (ex: intenções e estados emocionais), tratando o texto de forma mais literal.
  • COPA (Contextos Focados em Fatos): A dinâmica inverte. Os humanos tornam-se mais rigorosos em contextos curtos e factuais, descartando mais inferências especulativas. Os modelos, por sua vez, alinham-se melhor com os humanos neste cenário.
• Relações Temporais: Esta foi a tarefa com a menor concordância. Os modelos tendem a ser excessivamente cautelosos, frequentemente marcando relações como "nenhuma" quando não são explicitamente declaradas, enquanto os humanos inferem ordens temporais a partir de pistas implícitas e senso comum.
• Tipos de Inferência: Os modelos sub-geram inferências do tipo "pré-condição", "pós-condição" e "atributos" em comparação com as adições humanas.
• Alucinações: As relações implícitas alucinadas (falsas) são raras e são efetivamente filtradas pelo estágio de validação do pipeline.

5. Significado e Conclusão

O estudo revela que a interpretação de significados implícitos por LLMs difere qualitativamente da humana, não apenas em termos de precisão, mas de estratégia de inferência.

• Limitação de Cobertura: Os LLMs atuais não conseguem capturar todo o espectro de inferências que os humanos fazem naturalmente, especialmente em contextos sociais ricos onde a intencionalidade e o estado emocional são cruciais.
• Dependência do Domínio: O desempenho e o comportamento dos modelos variam significativamente dependendo da natureza do texto (social vs. factual), sugerindo que uma abordagem única de extração pode não ser ideal.
• Implicações Éticas: A falta de transparência sobre como os LLMs processam o implícito levanta questões éticas, especialmente em campos profissionais (jornalismo, direito, pesquisa). Compreender essas limitações é vital para o desenvolvimento de modelos mais confiáveis e interpretáveis.

Em suma, o trabalho destaca que, embora os LLMs sejam poderosos, eles ainda operam com um "senso comum" mais restrito e literal do que os humanos em cenários de inferência aberta, necessitando de melhorias na capacidade de inferência contextual e temporal.