CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models

Resumen Técnico: CommonWhy

Enunciado del Problema
Los Modelos de Lenguaje Grande (LLM) han demostrado competencia en la codificación de conocimiento factual y sentido común general, sin embargo, su capacidad para realizar razonamiento de sentido común basado en entidades—específicamente en lo que respecta a relaciones causales y restricciones en el mundo real—sigue siendo evaluada de manera inadecuada. Las pruebas existentes para el razonamiento basado en entidades (por ejemplo, StrategyQA, CREAK) dependen principalmente de formatos de Verdadero/Falso o de opción múltiple que verifican la deducción o el emparejamiento de patrones. Estos conjuntos de datos no evalúan explícitamente la capacidad de un modelo para el razonamiento abductivo (inferencia hacia la mejor explicación) al responder preguntas de "por qué". Además, aunque existen conjuntos de datos para la Respuesta a Preguntas sobre Grafos de Conocimiento (KGQA), se centran predominantemente en la recuperación de hechos o en la concatenación de múltiples hechos, careciendo del requisito de integrar suposiciones implícitas de sentido común con conocimiento factual para generar explicaciones causales.

Metodología
Los autores introducen CommonWhy, un conjunto de datos compuesto por 15.000 preguntas de "por qué" diseñadas para evaluar el razonamiento causal de sentido común basado en entidades. La construcción del conjunto de datos sigue una tubería de tres etapas:

1. Generación de Axiomas: Para superar las limitaciones de los métodos basados en extracción (que a menudo generan preguntas respondibles mediante una recuperación simple), los autores aprovechan LLMs (GPT-5.1) para generar axiomas de sentido común "elevados". Partiendo de un conjunto inicial de axiomas extraídos de conjuntos de datos existentes (StrategyQA, CREAK, CoLoTa), se solicita al LLM que expanda creativamente estos en nuevas estructuras causales. Estos axiomas generados son filtrados rigurosamente por anotadores humanos para asegurar que se alineen con el sentido común humano.
2. Generación de Consultas: Los axiomas validados se reescriben como pares abstractos de pregunta-respuesta. Estos se concretan instanciando variables abstractas con entidades concretas del grafo de conocimiento Wikidata. Los autores utilizan consultas SPARQL para recuperar entidades que satisfacen las restricciones factuales específicas de los axiomas, asegurando que todo el conocimiento factual necesario esté disponible dentro de Wikidata. Las consultas resultantes se reescriben en preguntas de "por qué" fluidas y en lenguaje natural.
3. Anotación de Múltiples Respuestas: Reconociendo que los efectos causales del mundo real a menudo admiten múltiples explicaciones válidas, el conjunto de datos adopta un formato de múltiples respuestas. Los anotadores humanos inspeccionan los subgrafos relevantes de Wikidata para cada consulta para identificar todas las explicaciones causales plausibles respaldadas por los hechos y las suposiciones de sentido común. Solo las causas acordadas por múltiples anotadores se retienen como verdad fundamental.

El conjunto de datos se divide en subconjuntos Cabeza y Cola Larga basados en la popularidad de las entidades (conteos de tripletes de Wikidata) para evaluar la robustez del modelo a través de diferentes niveles de familiaridad con las entidades.

Contribuciones Clave

• Conjunto de Datos CommonWhy: El primer conjunto de datos a gran escala diseñado específicamente para evaluar el razonamiento causal abductivo basado en entidades. Cierra la brecha entre el razonamiento de sentido común y KGQA al requerir que los modelos combinen la recuperación factual con la inferencia causal implícita.
• Nuevo Paradigma KGQA: A diferencia de las pruebas tradicionales de KGQA que verifican la recuperación de hechos, CommonWhy establece una prueba para el razonamiento impulsado por explicaciones sobre grafos de conocimiento, donde las respuestas requieren sintetizar hechos del KG con axiomas de sentido común.
• Verdad Fundamental de Múltiples Respuestas: El conjunto de datos modela explícitamente la naturaleza no única del razonamiento causal al proporcionar múltiples respuestas de verdad fundamental válidas para cada consulta, superando las restricciones de una sola respuesta.

Resultados Experimentales
Los autores evaluaron LLMs de última generación (incluyendo GPT-5.1, Gemini-2.5-Flash, Llama-3.3-70B, OpenAI-o3 y DeepSeek-V3.2) y métodos de KGQA basados en LLM (KB-Binder, KGR) en CommonWhy. Los hallazgos clave incluyen:

• Limitaciones de Razonamiento: Incluso los modelos de razonamiento más fuertes luchan con la tarea. OpenAI-o3, el modelo de mejor rendimiento, logró solo un ~68% de precisión en la división Cabeza y un ~67% en la división Cola Larga. Otros modelos desempeñaron significativamente peor (por ejemplo, DeepSeek-V3.2 con ~41%).
• Discrepancia de Métricas: Se encontró que las métricas estándar de generación de texto largo (BERTScore, ROUGE-L, METEOR) son indicadores pobres de la corrección causal. Modelos como Gemini-2.5-Flash lograron puntuaciones altas de similitud léxica pero baja corrección lógica, lo que sugiere que la fluidez superficial no equivale a un razonamiento abductivo válido.
• Impacto de la Popularidad de la Entidad: El rendimiento se degradó consistentemente al pasar de entidades de Cabeza a entidades de Cola Larga, confirmando que la popularidad de la entidad influye en la robustez del razonamiento incluso cuando los patrones de razonamiento subyacentes son idénticos.
• Alucinaciones: Incluso cuando los modelos producían respuestas lógicamente correctas, a menudo exhibían alucinaciones factuales (afirmaciones atómicas sin respaldo), según lo medido por FActScore. Este problema fue más pronunciado para las entidades de Cola Larga.
• Inadecuación de KGQA: Los métodos existentes de KGQA no lograron adaptarse a esta tarea. KB-Binder, que traduce consultas a SPARQL, tuvo un mal desempeño porque SPARQL no puede capturar el sentido común implícito requerido para las preguntas de "por qué". KGR no mostró una mejora significativa sobre la indicación directa, lo que indica que las tuberías actuales son insuficientes para el razonamiento causal abductivo.

Significado
El artículo afirma que CommonWhy revela una brecha crítica en las capacidades actuales de los LLM: el éxito en las pruebas existentes de sentido común basadas en deducción o verificación no se transfiere al razonamiento causal abductivo en entornos basados en entidades. Al establecer una prueba donde el conocimiento factual (Wikidata) es necesario pero insuficiente sin inferencia de sentido común, CommonWhy proporciona un campo de pruebas desafiante para futuras investigaciones. Destaca la necesidad de nuevos métodos capaces de integrar la recuperación factual con el razonamiento causal implícito para interactuar eficazmente con el mundo real, marcando un cambio en la evaluación de KGQA desde la recuperación de hechos hacia el razonamiento impulsado por explicaciones.