Abductive Reasoning with Syllogistic Forms in Large Language Models

Este artículo examina la capacidad de los modelos de lenguaje grandes para realizar razonamiento abductivo mediante la conversión de datos silogísticos, con el objetivo de evaluar sus sesgos y mejorar la comprensión de la cognición humana y artificial más allá de la deducción formal.

Lo esencial

🕵️‍♂️ ¿Los IAs son buenos detectives o solo buenos calculadores?

Imagina que tienes dos tipos de mentes:

1. El Matemático (Deducción): Sigue reglas estrictas. Si dice "Todos los gatos tienen cola" y "Firulais es un gato", entonces concluye: "Firulais tiene cola". Es lógico, pero rígido.
2. El Detective (Abducción): Ve una pista y trata de adivinar qué pasó. Si ve "Firulais tiene cola", puede pensar: "¡Ah! Firulais debe ser un gato". Pero espera... ¿y si es un perro con una cola postiza? El detective hace una suposición basada en lo que ve, no una certeza matemática.

Este artículo investiga si las Inteligencias Artificiales (como ChatGPT o Llama) son buenas haciendo de detectives (abducción) o si solo son buenos matemáticos (deducción).

🧩 El Experimento: Un juego de "Adivina la causa"

Los investigadores crearon un juego de preguntas y respuestas para probar a varias IAs.

• La Regla (Major Premise): "Todas las pelotas que están en la bolsa son blancas".
• La Observación (Observation): "Estas pelotas son blancas".
• La Pregunta: ¿Por qué son blancas?
  • Opción A (Detective): "Porque estaban en la bolsa". (Es una suposición lógica, pero no 100% segura).
  • Opción B (Matemático): "No se puede saber con certeza".

El truco es que, en la vida real, los humanos usamos mucho al Detective. Si ves que el suelo está mojado, asumes que llovió (aunque alguien podría haber pasado una manguera). Pero las IAs suelen estar entrenadas para ser Matemáticos perfectos.

📉 Los Resultados: ¡Sorpresa!

Los autores probaron modelos muy avanzados (como GPT-4 y Llama-3) y descubrieron algo curioso:

1. Las IAs son mejores en Matemáticas que en Detective:
   Cuando les pedían hacer deducción pura (reglas estrictas), las IAs acertaban mucho. Pero cuando les pedían hacer abducción (hacer suposiciones lógicas basadas en pistas), su rendimiento cayó drásticamente.

   • Analogía: Es como si un estudiante fuera un genio resolviendo ecuaciones de álgebra, pero se bloqueara completamente cuando le piden adivinar por qué se rompió un jarrón en el suelo.

2. El "Sesgo de Creencia" (El prejuicio humano):
   Las IAs no son tan objetivas como creemos. Si la suposición lógica iba en contra de lo que la gente "cree" que es normal, la IA fallaba.

   • Ejemplo: Si la regla decía "Todos los pasteles de la tienda dulce son picantes" (algo que sabemos que es falso en la vida real), la IA tenía más dificultad para razonar lógicamente que si la regla fuera "Todos los pasteles son dulces".
   • Conclusión: Las IAs tienen los mismos "prejuicios" que los humanos. Se dejan llevar por lo que sienten que es verdad, en lugar de seguir la lógica pura.

3. El problema de la "Negación":
   Cuando las oraciones tenían palabras como "no" o "ninguno", las IAs se confundían mucho más. Tendían a elegir respuestas negativas simplemente porque la pregunta tenía una negación, sin pensar bien en la lógica. Es como si el cerebro de la IA se "enredara" con las palabras negativas.

💡 ¿Por qué pasa esto?

Los autores sugieren que las IAs han leído millones de libros y artículos (donde la gente explica cosas), pero quizás no han practicado lo suficiente el arte de hacer hipótesis lógicas en un formato estricto.

Además, las IAs están entrenadas para predecir la siguiente palabra en una frase, no necesariamente para actuar como un detective que busca la mejor explicación posible. A veces, la IA intenta aplicar reglas de matemáticas (deducción) a un problema que requiere imaginación (abducción), y ahí es donde falla.

🚀 ¿Qué significa esto para el futuro?

Este estudio nos dice que, aunque las IAs son increíbles calculadoras, aún no son buenos pensadores críticos cuando se trata de adivinar el "por qué" de las cosas en situaciones ambiguas.

• Para la ciencia: Necesitamos entrenar a las IAs para que sean mejores detectives, no solo mejores calculadoras.
• Para la vida real: Si quieres que una IA te ayude a resolver un misterio o a entender una situación compleja, ten en cuenta que puede cometer errores similares a los nuestros: puede dejarse llevar por sus "prejuicios" o confundirse con las palabras negativas.

En resumen: Las IAs son excelentes siguiendo el manual de instrucciones, pero todavía necesitan aprender a ser detectives creativos que entiendan el contexto y las suposiciones del mundo real.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Abductive Reasoning with Syllogistic Forms in Large Language Models" (Razonamiento Abductivo con Formas Silogísticas en Modelos de Lenguaje Grandes), estructurado según los puntos solicitados.

1. Problema y Motivación

La investigación actual sobre Modelos de Lenguaje Grandes (LLM) se ha centrado predominantemente en su capacidad de razonamiento deductivo, comparando su rendimiento con el humano. Estudios previos han demostrado que los LLMs exhiben sesgos similares a los humanos, como el "sesgo de creencia" (desestimar inferencias lógicamente válidas si contradicen el sentido común).

Sin embargo, el razonamiento humano cotidiano no se limita a la deducción; también implica la abducción, un proceso de inferencia que genera hipótesis explicativas a partir de información limitada (el "inverso" de la deducción).

• La Brecha: Criticar a los LLMs por sesgos en tareas deductivas puede ser injusto si no se evalúa su capacidad para la abducción, que es fundamental para la adquisición de conocimientos, la explicabilidad (XAI) y la respuesta a preguntas de "por qué".
• La Pregunta de Investigación: ¿Cómo se desempeñan los LLMs en tareas de razonamiento abductivo en comparación con el deductivo? ¿Exhiben los LLMs sesgos de creencia similares en el contexto abductivo?

2. Metodología

A. Definición del Razonamiento Abductivo (Marco Peirceano)

Los autores adoptan la definición de Charles Sanders Peirce, donde la abducción se estructura como el inverso de un silogismo deductivo válido:

• Deducción: Regla + Caso $\rightarrow$ Resultado.
• Abducción: Regla + Resultado $\rightarrow$ Caso (Hipótesis).
• Estructura del Dataset: Se convirtieron silogismos deductivos en abductivos intercambiando premisas y conclusiones.
  • Regla (Rule): Premisa mayor (ej. "Todos los A son B").
  • Observación (Observation): Resultado observado (ej. "Estos C son B").
  • Hipótesis (Hypothesis): Caso inferido (ej. "Estos C son A").

B. Construcción del Dataset

Se creó un conjunto de datos específico para probar la abducción:

1. Patrones: Se definieron 8 patrones de inferencia silogística (4 correctos para abducción y 4 incorrectos/inválidos).
2. Terminología: Se utilizaron triples de términos $(A, B, C)$ donde $B$ es un predicado observable (ej. "son blancos") y $C$ es no observable (ej. "estaban en la bolsa").
3. Clasificación de Sesgo: Cada problema se etiquetó en tres categorías basadas en el sentido común:
   • Consistente: La regla coincide con creencias comunes.
   • Inconsistente: La regla contradice creencias comunes.
   • Neutral: La regla es neutra.
4. Volumen: Se generaron 216 problemas de abducción (108 correctos, 108 incorrectos) y 216 problemas deductivos equivalentes para comparación.

C. Configuración Experimental

• Modelos Evaluados: GPT-3.5, GPT-4, Llama-3-8B y Llama-3-70B.
• Modalidad: Aprendizaje en contexto (in-context learning) sin fine-tuning.
• Condiciones: Se probaron configuraciones Zero-shot (sin ejemplos) y Few-shot (con 8 ejemplos de patrones de abducción).
• Tareas:
  • Tarea de Abducción: Dada una Regla y una Observación, seleccionar la Hipótesis más plausible entre: (1) Hipótesis afirmativa, (2) Negación de la hipótesis, (3) "Ninguna es una buena explicación".
  • Tarea de Deducción: Dadas dos premisas, seleccionar la conclusión válida.

3. Contribuciones Clave

1. Nuevo Dataset de Abducción Silogística: Presentación de un conjunto de datos estandarizado que transforma silogismos deductivos en problemas abductivos, permitiendo una comparación sistemática entre ambos tipos de razonamiento.
2. Evaluación Comparativa: Primera evaluación exhaustiva que contrasta directamente el rendimiento de LLMs en abducción vs. deducción utilizando los mismos modelos y estructuras lógicas.
3. Identificación de Sesgos en Abducción: Demostración empírica de que los sesgos de creencia humanos (donde el contenido afecta la validez lógica) también se manifiestan en tareas de abducción, no solo en deducción.
4. Análisis de Errores Específicos: Identificación de una tendencia particular en los LLMs a seleccionar negaciones ("Negative") cuando la respuesta correcta es "Ninguna", especialmente en presencia de negaciones en las premisas.

4. Resultados Principales

Rendimiento General

• Abducción vs. Deducción: Contrario a la intuición de que la abducción (más cercana al razonamiento cotidiano) sería más fácil para los LLMs, el rendimiento en abducción fue significativamente peor que en deducción.
  • Ejemplo (Few-shot): GPT-4 obtuvo un 95.83% en deducción, pero solo un 28.70% en abducción. Llama-3-70B fue el mejor en abducción con un 75.46%, pero aún inferior a su 84.72% en deducción.
• Zero-shot: El rendimiento fue bajo en general para abducción (alrededor del 30-40%), apenas por encima del azar.

Análisis por Tipo de Problema

• Problemas "Ni" (Neither): Los modelos tuvieron extrema dificultad con problemas donde la respuesta correcta era "Ninguna es una buena explicación". En abducción, GPT-4 acertó solo el 0% en Zero-shot y 2.78% en Few-shot para esta categoría.
• Sesgo de Creencia: Se observó que la precisión caía en problemas Inconsistentes (donde la regla contradice el sentido común) en comparación con los Consistentes y Neutros. Esto confirma que los LLMs priorizan la coherencia con el conocimiento del mundo sobre la validez lógica formal en tareas abductivas.

Tendencia de Error (Negación)

• Los modelos mostraron una fuerte tendencia a elegir la opción Negativa (ej. "Estas bolas NO estaban en la bolsa") incluso cuando la respuesta correcta era "Ninguna".
• Este efecto se vio exacerbado por la presencia de palabras de negación ("no", "ningún") en la Regla o la Observación, sugiriendo un efecto de "atmósfera" lógico donde la negación en las premisas arrastra la respuesta hacia una conclusión negativa.

¿Confunden Abducción con Deducción?

• Se analizó si los modelos trataban los problemas de abducción como deducción. La tasa de acuerdo fue del 51.85% (vs. 41.67% de precisión real en abducción), lo que indica que sí se ven influenciados por la lógica deductiva, pero no completamente. No están simplemente resolviendo el problema como una deducción, sino que fallan en generar la hipótesis explicativa correcta.

5. Significado e Implicaciones

• Limitaciones de los LLMs: El estudio revela que, aunque los LLMs son excelentes en lógica formal deductiva, carecen de la capacidad robusta para realizar inferencias abductivas, que son cruciales para la explicabilidad (XAI) y la adquisición de nuevos conocimientos.
• Relevancia para la IA Explicable: Dado que la abducción es el mecanismo natural para responder "¿por qué?", la incapacidad actual de los LLMs para realizarla correctamente limita su utilidad en sistemas que deben justificar sus decisiones o explicar fenómenos observados.
• Dirección Futura: Los autores sugieren que para avanzar, es necesario investigar cómo los LLMs pueden aprender a distinguir entre inferencia deductiva y abductiva, y cómo mitigar los sesgos de creencia que interfieren con la lógica formal en contextos de explicación. Además, se propone explorar enfoques probabilísticos (Bayesianos) para modelar mejor la abducción.

En conclusión, el papel demuestra que la brecha entre la cognición humana y la de los LLMs no solo reside en la deducción, sino que es aún más pronunciada en la abducción, un área donde se espera que la IA imite mejor el pensamiento humano cotidiano.