CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models

Resumo Técnico: CommonWhy

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) demonstraram proficiência na codificação de conhecimento factual e senso comum geral, no entanto, sua capacidade de realizar raciocínio de senso comum baseado em entidades—especificamente em relação a relações causais e restrições no mundo real—permanece inadequadamente avaliada. Os benchmarks existentes para raciocínio baseado em entidades (por exemplo, StrategyQA, CREAK) dependem principalmente de formatos Verdadeiro/Falso ou de múltipla escolha que testam verificação dedutiva ou correspondência de padrões. Esses conjuntos de dados falham em avaliar explicitamente a capacidade de um modelo para raciocínio abduzivo (inferência para a melhor explicação) ao responder perguntas do tipo "por que". Além disso, embora existam conjuntos de dados para Resposta a Perguntas em Grafos de Conhecimento (KGQA), eles focam predominantemente na recuperação de fatos ou na encadeamento de fatos multi-hop, carecendo da exigência de integrar pressupostos implícitos de senso comum com conhecimento factual para gerar explicações causais.

Metodologia
Os autores introduzem o CommonWhy, um conjunto de dados composto por 15.000 perguntas do tipo "por que" projetado para avaliar o raciocínio causal de senso comum baseado em entidades. A construção do conjunto de dados segue um pipeline de três etapas:

1. Geração de Axiomas: Para superar as limitações dos métodos baseados em extração (que frequentemente geram perguntas respondíveis por recuperação simples), os autores utilizam LLMs (GPT-5.1) para gerar axiomas de senso comum "elevados". Começando a partir de um conjunto de sementes de axiomas extraídos de conjuntos de dados existentes (StrategyQA, CREAK, CoLoTa), o LLM é instruído a expandir criativamente esses axiomas em novas estruturas causais. Esses axiomas gerados são rigorosamente filtrados por anotadores humanos para garantir que estejam alinhados com o senso comum humano.
2. Geração de Consultas: Os axiomas validados são reescritos como pares abstratos de pergunta-resposta. Em seguida, são fundamentados ao instanciar variáveis abstratas com entidades concretas do grafo de conhecimento Wikidata. Os autores utilizam consultas SPARQL para recuperar entidades que satisfazem as restrições factuais específicas dos axiomas, garantindo que todo o conhecimento factual necessário esteja disponível dentro do Wikidata. As consultas resultantes são reescritas em perguntas "por que" fluentes e em linguagem natural.
3. Anotação de Múltiplas Respostas: Reconhecendo que os efeitos causais do mundo real frequentemente admitem múltiplas explicações válidas, o conjunto de dados adota um formato de múltiplas respostas. Anotadores humanos inspecionam os subgrafos relevantes do Wikidata para cada consulta a fim de identificar todas as explicações causais plausíveis apoiadas pelos fatos e pressupostos de senso comum. Apenas as causas concordadas por múltiplos anotadores são retidas como verdade fundamental.

O conjunto de dados é dividido em subconjuntos Head (Cabeça) e Long-Tail (Cauda Longa) com base na popularidade das entidades (contagens de triplas do Wikidata) para avaliar a robustez do modelo em diferentes níveis de familiaridade com as entidades.

Principais Contribuições

• Conjunto de Dados CommonWhy: O primeiro conjunto de dados em grande escala especificamente projetado para avaliar o raciocínio causal abduzivo baseado em entidades. Ele preenche a lacuna entre o raciocínio de senso comum e KGQA, exigindo que os modelos combinem recuperação factual com inferência causal implícita.
• Novo Paradigma KGQA: Diferentemente dos benchmarks tradicionais de KGQA que testam a recuperação de fatos, o CommonWhy estabelece um benchmark para raciocínio orientado a explicações sobre grafos de conhecimento, onde as respostas exigem a síntese de fatos do KG com axiomas de senso comum.
• Verdade Fundamental de Múltiplas Respostas: O conjunto de dados modela explicitamente a natureza não única do raciocínio causal, fornecendo múltiplas respostas verdadeiras fundamentais válidas para cada consulta, indo além das restrições de resposta única.

Resultados Experimentais
Os autores avaliaram LLMs de última geração (incluindo GPT-5.1, Gemini-2.5-Flash, Llama-3.3-70B, OpenAI-o3 e DeepSeek-V3.2) e métodos de KGQA baseados em LLM (KB-Binder, KGR) no CommonWhy. As principais descobertas incluem:

• Limitações de Raciocínio: Mesmo os modelos de raciocínio mais fortes lutam com a tarefa. O OpenAI-o3, o modelo de melhor desempenho, alcançou apenas ~68% de precisão na divisão Head e ~67% na divisão Long-Tail. Outros modelos performaram significativamente pior (por exemplo, DeepSeek-V3.2 em ~41%).
• Discrepância de Métricas: Métricas padrão de geração de texto longo (BERTScore, ROUGE-L, METEOR) foram encontradas como indicadores pobres de correção causal. Modelos como o Gemini-2.5-Flash alcançaram altas pontuações de similaridade lexical, mas baixa correção lógica, sugerindo que a fluência superficial não equivale a um raciocínio abduzivo válido.
• Impacto da Popularidade da Entidade: O desempenho degradou consistentemente ao passar de entidades Head para Long-Tail, confirmando que a popularidade da entidade influencia a robustez do raciocínio, mesmo quando os padrões de raciocínio subjacentes são idênticos.
• Alucinações: Mesmo quando os modelos produziram respostas logicamente corretas, eles frequentemente exibiram alucinações factuais (afirmações atômicas sem suporte), conforme medido pelo FActScore. Essa questão foi mais pronunciada para entidades Long-Tail.
• Inadequação do KGQA: Os métodos existentes de KGQA falharam em se adaptar a esta tarefa. O KB-Binder, que traduz consultas para SPARQL, performou mal porque o SPARQL não consegue capturar o senso comum implícito necessário para perguntas do tipo "por que". O KGR não mostrou melhoria significativa sobre o prompting direto, indicando que os pipelines atuais são insuficientes para o raciocínio causal abduzivo.

Significado
O artigo afirma que o CommonWhy revela uma lacuna crítica nas capacidades atuais dos LLMs: o sucesso em benchmarks existentes de senso comum baseados em dedução ou verificação não se transfere para o raciocínio causal abduzivo em configurações baseadas em entidades. Ao estabelecer um benchmark onde o conhecimento factual (Wikidata) é necessário, mas insuficiente sem inferência de senso comum, o CommonWhy fornece um campo de testes desafiador para pesquisas futuras. Ele destaca a necessidade de novos métodos capazes de integrar a recuperação factual com o raciocínio causal implícito para interagir efetivamente com o mundo real, marcando uma mudança na avaliação de KGQA, da recuperação de fatos para o raciocínio orientado a explicações.