LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning

Resumen Técnico: LOGICAL-COMMONSENSEQA

1. El Problema

El razonamiento de sentido común (commonsense reasoning) es fundamental para la cognición humana, pero los modelos de lenguaje actuales (LLMs) a menudo fallan al evaluarlo. La principal limitación de los benchmarks existentes (como CommonsenseQA, SocialIQA, etc.) es que reducen el razonamiento a la predicción de una única respuesta atómica.

En la realidad, muchas situaciones admiten múltiples interpretaciones plausibles, excluyentes o conjuntamente implausibles. Al forzar una elección única, los benchmarks actuales:

• Ocultan la ambigüedad natural del lenguaje.
• No evalúan si el modelo puede distinguir entre afirmaciones que son conjuntamente plausibles (AND), parcialmente plausibles (OR) o conjuntamente implausibles (NEITHER/NOR).
• Permiten que los modelos dependan de atajos estadísticos o coincidencias léxicas superficiales en lugar de un razonamiento lógico composicional real.

2. Metodología

Los autores proponen LOGICAL-COMMONSENSEQA, un nuevo benchmark que reformula el razonamiento de sentido común como una composición lógica sobre pares de afirmaciones atómicas.

Construcción del Dataset:
El dataset se construye en tres etapas a partir de CommonsenseQA:

1. Generación de Candidatos: Se utiliza GPT-4o-mini para generar un conjunto diverso de respuestas atómicas (tanto plausibles como implausibles) para cada pregunta, enfocándose en razonamiento causal y situacional en lugar de pistas léxicas superficiales.
2. Refinamiento y Poda: Se filtran las opciones para eliminar inconsistencias lógicas, respuestas triviales o incorrectas obvias. Se seleccionan 3 opciones correctas y 4 incorrectas por pregunta, asegurando que requieran inferencias de múltiples pasos.
3. Composición Lógica Determinista: Se combinan pares de opciones atómicas utilizando tres operadores simbólicos que representan niveles de plausibilidad (no operadores proposicionales estrictos, sino juicios de plausibilidad):
   • AND: Ambas afirmaciones son plausibles independientemente.
   • OR: Al menos una de las afirmaciones es plausible.
   • NEITHER/NOR: Ninguna de las afirmaciones es plausible.
   • MIXED: Un escenario donde diferentes operadores aparecen entre las opciones de respuesta de una misma pregunta para evitar patrones de superficie.

Validación Humana:
Se realizó un estudio de validación humana utilizando el marco de conciencia-consenso (Whiting y Watts, 2024). Dos anotadores evaluaron la plausibilidad individual y el consenso social (si otros estarían de acuerdo) de las opciones refinadas. Esto asegura que el dataset refleje juicios de sentido común socialmente fundamentados.

Configuración Experimental:
Se evaluaron diversos modelos (clasificadores, modelos encoder-decoder, LLMs de código abierto y cerrados) bajo tres regímenes:

• Zero-shot (sin ejemplos).
• Few-shot (con 1-3 ejemplos).
• Fine-tuning (entrenamiento supervisado).
• Chain-of-Thought (CoT) para modelos específicos.

3. Contribuciones Clave

• Nuevo Paradigma de Evaluación: Introduce un formato de opción múltiple donde las opciones son composiciones lógicas, obligando a los modelos a razonar sobre las relaciones entre afirmaciones en lugar de seleccionar una sola.
• Dataset Controlado y Diverso: Un conjunto de datos de ~20,000 instancias que cubre dominios físicos, sociales y situacionales, con métricas de diversidad léxica y semántica verificadas para evitar colapso de generación.
• Análisis de Fallos Desglosado: Proporciona una metodología para descomponer el error del modelo en tres componentes: estimación de plausibilidad atómica, anclaje del operador lógico y competencia entre distractores.

4. Resultados Principales

Los experimentos revelan patrones consistentes y limitaciones fundamentales en los LLMs actuales:

• Rendimiento en AND y OR: Los modelos (incluyendo los más avanzados como LLaMA-3.3-70B y Gemini) tienen un rendimiento razonable en razonamiento conjuntivo (AND) y moderado en disyuntivo (OR).
• Colapso en Negación (NEITHER/NOR): El rendimiento se degrada drásticamente en preguntas basadas en negación. Incluso los modelos más potentes obtienen puntuaciones muy bajas (ej. 13% de F1 para LLaMA-3.1-8B en zero-shot), muy por debajo del rendimiento humano (70%).
• Efecto de Fine-tuning: Los modelos fine-tuned logran un rendimiento alto (83-95% F1) en todos los operadores, lo que indica que la tarea es aprendible y que los fallos en zero-shot son limitaciones de inferencia y no de conocimiento.
• Análisis de Descomposición:
  • La estimación de plausibilidad atómica por sí sola es fuerte (~79%).
  • El problema real surge de la interacción entre la estimación de plausibilidad, la comprensión del operador lógico y la competencia de distractores en un escenario de opción múltiple completo.
  • En el operador NEITHER/NOR, la presencia de distractores plausibles causa una caída severa en la precisión, sugiriendo que los modelos no pueden mantener la representación del operador de negación simultáneamente con la evaluación de plausibilidad.

Errores Típicos Identificados:

• Dominancia de una sola afirmación: En tareas AND, el modelo ignora la segunda parte si la primera es muy plausible.
• Inversión de negación: En tareas NEITHER/NOR, el modelo selecciona el par más plausible, ignorando que el operador requiere que ninguno sea plausible.
• Colapso de plausibilidad en OR: El modelo trata "OR" como similitud temática en lugar de lógica disyuntiva.

5. Significado e Impacto

El benchmark LOGICAL-COMMONSENSEQA expone una brecha crítica en las capacidades de razonamiento composicional de los sistemas de IA más avanzados.

• Más allá de la precisión superficial: Demuestra que los benchmarks tradicionales de una sola respuesta sobreestiman las capacidades de razonamiento de los modelos, ya que estos pueden acertar sin entender la lógica subyacente de las relaciones entre afirmaciones.
• Limitación en la Negación: Identifica la composición bajo negación como un punto de fallo sistémico, lo cual es crucial para aplicaciones que requieren planificación, detección de falacias o comprensión de normas sociales.
• Marco para el Futuro: Proporciona una estructura controlada para avanzar hacia un razonamiento de sentido común más robusto, socialmente fundamentado y capaz de manejar la ambigüedad inherente al mundo real.

En conclusión, el trabajo sugiere que, aunque los LLMs han adquirido un conocimiento de sentido común vasto, carecen de la capacidad de componer ese conocimiento de manera lógica y flexible, especialmente cuando se requiere negar o combinar múltiples hipótesis simultáneamente.