💬 NLP

Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning

Este estudio evalúa el razonamiento lógico de modelos de lenguaje mediante la Teoría Erotética del Razonamiento, descubriendo que, a medida que aumenta su capacidad general, sus errores se alinean más con patrones de falacias humanas y que el orden de las premisas influye significativamente en la producción de dichos errores.

Autores originales: Andrew Keenan Richardson, Ryan Othniel Kearns, Sean Moss, Vincent Wang-Mascianica, Philipp Koralus

Publicado 2026-03-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Andrew Keenan Richardson, Ryan Othniel Kearns, Sean Moss, Vincent Wang-Mascianica, Philipp Koralus

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que hemos descubierto un nuevo tipo de "lente" para mirar cómo piensan las Inteligencias Artificiales (IA) y, lo más sorprendente, cómo piensan como nosotros, los humanos.

Este paper (artículo científico) es como un detective de errores lógicos. Los autores se preguntaron: "Cuando las IAs grandes se equivocan al razonar, ¿cometen los mismos tipos de tonterías que cometemos los humanos, o sus errores son aleatorios?"

Aquí tienes la explicación, sin tecnicismos, usando analogías sencillas:

1. El Problema: ¿Son las IAs como humanos o como robots perfectos?

Durante mucho tiempo, pensamos que si hacíamos una IA más "inteligente" (dándole más datos y potencia), dejaría de cometer errores tontos y se volvería perfecta. Pero los autores querían probar algo más profundo: cuando la IA falla, ¿falla de la misma manera que un humano?

Para esto, usaron una teoría llamada ETR (Teoría Erotética del Razonamiento).

La analogía: Imagina que tu cerebro es un detective que mantiene varias hipótesis abiertas al mismo tiempo. Cuando llega nueva información, el detective descarta las hipótesis que ya no encajan.
El error humano: A veces, el detective humano se cansa, descarta una hipótesis demasiado rápido o se fija solo en una pista repetida y olvida las demás. Eso es un "falacia" (un error de lógica predecible).

2. El Experimento: La "Máquina de Generar Trampas"

Los investigadores usaron un software llamado PyETR (imagina que es un videojuego de lógica infinito).

En lugar de usar preguntas de un examen viejo que la IA podría haber memorizado, el software generó 383 problemas lógicos nuevos y únicos en milisegundos.
Estos problemas estaban diseñados específicamente para "tentar" al cerebro a cometer un error humano específico (como confundirse con una opción repetida).
Luego, probaron 38 modelos de IA diferentes, desde los pequeños y rápidos hasta los gigantes más potentes (como GPT-4 o Claude).

3. Los Hallazgos Sorprendentes (¡Lo que nadie esperaba!)

A. A mayor inteligencia, más errores "humanos"

Este es el resultado más curioso.

La analogía: Imagina que tienes un grupo de estudiantes. Los más débiles cometen errores aleatorios (escriben la respuesta al revés, olvidan la pregunta). Pero los estudiantes más brillantes, cuando se equivocan, suelen cometer el mismo error de lógica que el profesor de psicología predijo que cometerían.
Lo que pasó: A medida que las IAs se volvieron más inteligentes (medido por su "puntuación Elo" en torneos de chat), no se volvieron perfectas. Al contrario: cuando fallaban, sus errores se parecían más a los errores humanos predecibles.
En resumen: Las IAs más potentes no son máquinas lógicas perfectas; están aprendiendo a "pensar" (y a equivocarse) como nosotros.

B. El orden de las palabras importa (Efecto de Orden)

En la lógica pura, el orden no importa. Si te digo "A es igual a B" y "B es igual a C", da igual si te lo digo al revés; la conclusión es la misma. Pero en la mente humana, el orden sí importa.

La analogía: Es como leer una receta. Si primero te dicen "hornea el pastel" y luego "mezcla los huevos", te confundirás. Si primero mezclas y luego horneas, tiene sentido.
El hallazgo: Cuando los investigadores cambiaron el orden de las premisas en las preguntas, muchas IAs dejaron de cometer el error. Esto demuestra que las IAs son sensibles al orden, tal como lo son los humanos, y no son máquinas de lógica inmutable.

4. ¿Por qué es esto importante?

Imagina que estás usando una IA para diagnosticar una enfermedad grave o para tomar una decisión legal.

Si la IA es perfecta, genial.
Pero si la IA es "inteligente" pero comete los mismos sesgos y errores lógicos que un humano, eso es peligroso. Significa que si un humano se confunde con un argumento, la IA también se confundirá.

La conclusión final:
Las IAs no están evolucionando hacia una "lógica divina" perfecta. Están evolucionando hacia una lógica humana. Se están volviendo tan buenas imitando nuestro pensamiento que, lamentablemente, también están imitando nuestros defectos.

¿Qué nos dicen los autores que hagamos?

En lugar de solo medir si la IA tiene la respuesta correcta (que a veces es suerte), debemos empezar a medir cómo falla.

Si una IA falla de la misma manera que un humano, sabemos que necesita un "entrenamiento" específico para evitar esos sesgos, igual que entrenamos a un humano para no caer en trampas lógicas.

En una frase: Las IAs más inteligentes no son robots fríos y perfectos; son espejos que nos muestran que, incluso con mucha potencia de cálculo, seguimos siendo propensos a las mismas trampas mentales que siempre nos han hecho tropezar.

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje (LLM) resuelven tareas cada vez más complejas, surge una pregunta crítica: ¿cuando estos modelos fallan en problemas de razonamiento controlado, sus errores siguen los patrones de falacias humanas establecidas?

La investigación se basa en la premisa de que el razonamiento humano no es aleatorio en sus errores; sigue patrones sistemáticos y predecibles (falacias) explicados por teorías cognitivas. El objetivo del estudio es determinar si los LLMs, al cometer errores lógicos, replican estas mismas estructuras de fallo humano o si sus errores son meramente aleatorios o debidos a otras causas. Esto es crucial tanto para la comprensión científica de la inteligencia artificial como para su despliegue en entornos que requieren un razonamiento fiable (diagnóstico médico, análisis legal, etc.).

2. Metodología

El estudio emplea un enfoque riguroso basado en la Teoría Erotética del Razonamiento (ETR) y su implementación de código abierto, PyETR.

Marco Teórico (ETR): La ETR es una teoría cognitiva formal que postula que el razonamiento humano opera manteniendo alternativas disyuntivas y filtrándolas ante nueva información. Este proceso de filtrado puede llevar a la eliminación prematura de alternativas relevantes, generando falacias características. La teoría permite especificar formalmente cuándo y cómo se producirán estos errores.
Generación de Datos (PyETR):
- Se utilizaron funciones de mutación sobre un banco original de problemas lógicos para generar 383 problemas de razonamiento formalmente especificados.
- Estos problemas fueron diseñados para que la ETR prediga una respuesta específica que constituya una falacia lógica (es decir, una conclusión incorrecta que un humano o un modelo siguiendo la ETR cometería).
- Para evitar la contaminación de datos y efectos de contenido, los problemas lógicos se mapearon a 12 temas narrativos diversos (ej. alquimia, criaturas mágicas, partículas cuánticas, biotecnología), asegurando que los modelos no pudieran memorizar ejemplos de entrenamiento.
Evaluación de Modelos:
- Se evaluaron 38 modelos de lenguaje de diferentes arquitecturas y tamaños (desde Mistral 7B hasta GPT-4.5 y Claude 3.7).
- Se utilizó el Elo de Chatbot Arena como proxy principal de la capacidad del modelo, junto con métricas de HELM y estimaciones de cómputo de entrenamiento.
- Proceso de Análisis: Las respuestas de los LLMs se tradujeron de nuevo al formato PyETR para verificar dos cosas:
  1. Corrección Lógica: ¿Es la conclusión una consecuencia lógica válida de las premisas? (Verificado con PySMT).
  2. Predicción ETR: ¿Coincide la respuesta incorrecta con la falacia predicha por la ETR?
Intervención de Orden: Se realizó un estudio donde se invirtió el orden de las premisas en los problemas para observar si esto afectaba la producción de falacias, comparando con los "efectos de orden" conocidos en la psicología humana.

3. Contribuciones Clave

Correlación entre Capacidad y Falacias Humanas: El estudio reporta la primera evidencia estadísticamente significativa de que, a medida que aumenta la capacidad de un modelo (medida por Elo), una proporción mayor de sus respuestas incorrectas se alinea con las falacias predichas por la ETR.
Pipeline PyETR Abierto: Se proporciona una implementación robusta y de código abierto (PyETR) para generar pruebas de razonamiento sintéticas, ilimitadas y resistentes a la contaminación de datos, vinculadas directamente a una teoría cognitiva.
Enfoque en la Composición del Error: El trabajo desplaza el foco de la simple "tasa de error" a la "composición del error", analizando la naturaleza de los fallos en lugar de solo su frecuencia.

4. Resultados Principales

Correlación Positiva Significativa: Existe una correlación positiva significativa ( $\rho = 0.360, p = 0.0265$ ) entre el Elo de Chatbot Arena y la tasa de falacias humanas. Esto significa que los modelos más capaces tienden a cometer más errores de tipo humano (falacias estructurales) cuando fallan, en lugar de cometer errores aleatorios.
Falta de Correlación con la Precisión Global: Sorprendentemente, la capacidad del modelo (Elo) no muestra correlación con la precisión global en este conjunto de datos ( $r \approx 0.004$ ). Los modelos más avanzados no son necesariamente más correctos en términos absolutos en esta tarea específica, pero sus errores son más "humanos" en estructura.
Efecto del Orden de las Premisas: Al igual que en los humanos, invertir el orden de las premisas reduce significativamente la producción de falacias en muchos modelos. Esto confirma que los LLMs son sensibles a la no conmutatividad de la presentación de información, un fenómeno que bloquea ciertas falacias lógicas.
Robustez: Los resultados se mantienen consistentes al utilizar otras métricas de capacidad, como el cómputo de entrenamiento ( $\rho = 0.489$ ) y las puntuaciones de HELM.

5. Significado e Implicaciones

Desafío a la Escalabilidad Pura: Los hallazgos desafían la noción de que simplemente escalar los modelos conduce automáticamente a un razonamiento más normativo o correcto. En su lugar, sugiere que los modelos más avanzados internalizan patrones de razonamiento que, aunque potentes, comparten las mismas vulnerabilidades cognitivas que los humanos.
Nueva Dimensión de Evaluación: La "composición del error" se presenta como una métrica complementaria vital a la precisión. Un modelo puede ser muy capaz pero propenso a falacias específicas que requieren mitigación.
Implicaciones para la Alineación (AI Alignment): En contextos de alto riesgo, es fundamental anticipar y mitigar estos errores de razonamiento similares a los humanos. A medida que los modelos se vuelven más capaces, la probabilidad de que repliquen sesgos cognitivos humanos aumenta.
Direcciones Futuras: El estudio sugiere que los patrones de falacia identificados podrían usarse como ejemplos de entrenamiento dirigidos para fortalecer a los modelos contra errores de razonamiento específicos, sin sacrificar sus capacidades generales. Además, ofrece un marco cuantitativo para evaluar intervenciones de ingeniería (prompting, arquitectura) en el razonamiento.

En resumen, el paper demuestra que la inteligencia artificial avanzada no solo imita el éxito humano, sino que también hereda sus patrones de fallo sistemático, lo que requiere un nuevo enfoque en la evaluación y el entrenamiento de modelos para garantizar un razonamiento robusto y fiable.