Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task

Este estudio introduce un nuevo conjunto de datos de la Tarea de Selección de Wason para demostrar que los modelos de lenguaje grandes, al igual que los humanos, razonan mejor con reglas deonticas y cometen errores similares a los sesgos de emparejamiento observados en la cognición humana.

Lo esencial

¡Claro que sí! Imagina que los Grandes Modelos de Lenguaje (como los que usas para chatear o escribir correos) son como estudiantes geniales que han leído casi todos los libros del mundo. Saben mucho vocabulario y gramática, pero la pregunta de los investigadores es: ¿Son realmente buenos pensando lógicamente, o solo están adivinando palabras que suenan bien?

Este estudio es como un examen de lógica diseñado para ver si estos "estudiantes digitales" piensan como humanos o como máquinas frías.

Aquí tienes la explicación de la investigación, usando analogías sencillas:

1. El Juego de las Cartas (La Tarea de Wason)

Imagina que tienes una mesa con cuatro cartas. Cada carta tiene un número por un lado y una letra por el otro.
El profesor te da una regla: "Si una carta tiene un número impar, entonces la otra cara debe tener una letra mayúscula."

Tus cartas son:

• 7 (Número impar)
• 12 (Número par)
• D (Letra mayúscula)
• d (Letra minúscula)

La pregunta: ¿Qué cartas debes voltear para ver si la regla es cierta o falsa?

• La respuesta lógica: Debes voltear el 7 (para ver si tiene una minúscula, lo cual rompería la regla) y la d (para ver si tiene un número impar, lo cual también rompería la regla).
• El error humano (y de las máquinas): La mayoría de la gente (y muchas IAs) eligen el 7 y la D. ¿Por qué? Porque la D confirma la regla ("¡Sí, tiene mayúscula!"), pero no la pone a prueba. Es como buscar solo amigos que estén de acuerdo contigo en lugar de buscar a alguien que pueda contradecirte.

2. El Truco: Reglas Aburridas vs. Reglas de "Deberías"

Los investigadores descubrieron algo curioso en los humanos:

• Si les dan la regla de las cartas (números y letras), fallan mucho. Es aburrido y abstracto.
• Pero si cambian la regla a algo de la vida real, como: "Si un menor de edad bebe alcohol, debe ser multado", ¡casi todos aciertan!

A esto se le llama especificidad del dominio. Los humanos somos muy buenos siguiendo reglas de "deberías" (obligaciones, leyes, normas sociales), pero mal en lógica pura y abstracta.

La gran pregunta del estudio: ¿Las Inteligencias Artificiales (IA) también tienen este "sesgo"? ¿Son mejores cuando la regla suena a una ley o obligación?

3. La Prueba: ¿Qué pasa en la IA?

Los investigadores crearon un nuevo banco de preguntas para las IAs, mezclando reglas aburridas (descriptivas) con reglas de obligaciones (deonticas, como "debes", "no puedes", "es obligatorio").

Los resultados fueron sorprendentes:

1. Las IAs son como nosotros: ¡Las IAs también fallan más en las reglas aburridas y aciertan mucho más en las reglas de obligaciones! Parece que, al igual que los humanos, las IAs tienen un "cerebro" que se despierta más cuando se trata de normas sociales o leyes.
2. El tipo de error: ¿Por qué fallan? ¿Es porque quieren confirmar su propia teoría (Sesgo de Confirmación) o porque simplemente eligen las palabras que ven en la regla sin pensar en la lógica (Sesgo de Emparejamiento)?
   • Ejemplo de Sesgo de Emparejamiento: Si la regla dice "Si no hay sangre, no hay guantes", una IA con este sesgo podría elegir la carta "Sangre" solo porque la palabra "sangre" aparece en la regla, ignorando el "no".
   • El veredicto: Las IAs parecen cometer el Sesgo de Emparejamiento. Tienden a elegir las cartas que "suenan" a las palabras de la regla, ignorando a veces las negaciones (los "no"). Es como si fueran muy literales y se perdieran en el detalle de las palabras en lugar de entender la lógica profunda.

4. ¿Qué significa todo esto? (La Metáfora Final)

Imagina que las IAs son como un detective novato:

• Cuando el caso es un misterio abstracto (números y letras), el detective se confunde y sigue pistas falsas.
• Cuando el caso es sobre una ley o una regla social (como "si hay sangre, hay guantes"), el detective se pone muy serio, usa su intuición y resuelve el caso mucho mejor.
• Sin embargo, el detective tiene un defecto: a veces se fija tanto en las palabras que lee en el informe que olvida que hay una palabra clave que cambia todo el significado (como un "no" o un "si no").

En resumen:

Este estudio nos dice que las IAs no son máquinas lógicas perfectas. Tienen sesgos muy humanos.

1. Son mejores razonando cuando hay normas o reglas involucradas.
2. Cometen errores similares a los nuestros, prefiriendo palabras que "encajan" visualmente en la frase en lugar de analizar la lógica profunda.

Esto es importante porque nos ayuda a entender que, aunque las IAs son muy inteligentes, todavía necesitan ayuda para no caer en las mismas trampas lógicas que nosotros, especialmente cuando las reglas son complejas o tienen "trampas" de negación.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Evaluación del Razonamiento Condicional Deóntico en Modelos de Lenguaje Grandes: El Caso de la Tarea de Selección de Wason

1. Problema y Contexto

A medida que los Modelos de Lenguaje Grandes (LLMs) mejoran sus capacidades lingüísticas, su capacidad de razonamiento lógico ha ganado atención crítica. Sin embargo, existe una brecha de conocimiento sobre si estos modelos exhiben especificidad de dominio, un fenómeno bien documentado en la psicología cognitiva humana.

• Fondo Humano: Los humanos suelen razonar mejor en contextos normativos (deónticos, como obligaciones y permisos) que en contextos puramente formales o descriptivos abstractos. Además, los errores humanos en la Tarea de Selección de Wason se atribuyen tradicionalmente a dos sesgos: sesgo de confirmación (buscar evidencia que apoye la regla) o sesgo de emparejamiento (seleccionar ítems que coinciden léxicamente con la regla, ignorando la negación).
• Laguna en la Investigación: Estudios previos han comparado LLMs y humanos, pero no han sistematizado la distinción entre reglas deónticas y descriptivas, ni han determinado cuál de los dos sesgos (confirmación vs. emparejamiento) explica mejor los errores de los LLMs.

2. Metodología

Los autores diseñaron un experimento riguroso utilizando la Tarea de Selección de Wason, un paradigma estándar para evaluar el razonamiento condicional ("si p, entonces q").

• Nuevo Dataset: Crearon un conjunto de datos de 160 problemas (80 reglas deónticas y 80 descriptivas).
  • Reglas Deónticas: Incluyen marcadores de obligación/prohibición (ej. "debe", "no permitido").
  • Reglas Descriptivas: Generalizaciones abstractas sin conexión normativa (ej. "si es primo, entonces es minúscula").
  • Polaridad: Cada tipo de regla se varió en cuatro patrones de polaridad para incluir negaciones en el antecedente y/o consecuente (Pos-Pos, Pos-Neg, Neg-Pos, Neg-Neg). Esto es crucial para distinguir entre los sesgos.
• Modelos Evaluados: Se probaron cinco familias de modelos de pesos abiertos, incluyendo modelos de razonamiento (gpt-oss, Qwen 3) y no de razonamiento (Gemma 3, Llama 3.3, OLMo 2), en sus variantes de 4B a 120B de parámetros.
• Configuración Experimental: Se evaluaron tres estrategias de prompting: Zero-Shot, Few-Shot (con ejemplos intencionalmente incorrectos para evitar el aprendizaje de patrones erróneos) y Chain-of-Thought (CoT).
• Métrica: Precisión exacta (exact-match), donde el modelo debe seleccionar exactamente las tarjetas correctas para falsificar la regla.

3. Contribuciones Clave

1. Dataset Innovador: Introducción de un nuevo dataset para la Tarea de Selección de Wason que codifica explícitamente la modalidad deóntica, permitiendo comparaciones sistemáticas entre reglas normativas y descriptivas.
2. Evaluación Exhaustiva: Proporcionan una evaluación actualizada de modelos LLMs de última generación, superando estudios previos que utilizaban modelos más pequeños o menos capaces.
3. Paralelismo Humano-LLM: Clarifican que, al igual que los humanos, los LLMs muestran un rendimiento superior en reglas deónticas frente a las descriptivas.
4. Análisis de Sesgos: Comparan empíricamente el sesgo de confirmación y el de emparejamiento, encontrando evidencia sólida a favor del último como explicación principal de los errores.

4. Resultados Principales

• Especificidad de Dominio:

  • Todos los modelos mostraron una mayor precisión en problemas de reglas deónticas en comparación con las descriptivas.
  • La mejora osciló entre un 5.0% y un 41.2% dependiendo del modelo y el tipo de prompt.
  • Los modelos de razonamiento (como gpt-oss-120b y Qwen3) alcanzaron casi el 100% de precisión en reglas deónticas, mientras que los modelos más pequeños o no especializados tuvieron un rendimiento más bajo, aunque siempre superior en el dominio deóntico.

• Análisis de Sesgos (Confirmación vs. Emparejamiento):

  • Descarte del Sesgo de Confirmación: Los resultados no apoyaron la hipótesis del sesgo de confirmación. Si los modelos tuvieran este sesgo, seleccionarían consistentemente el antecedente verdadero (TA) y el consecuente verdadero (TC) independientemente de la negación. Sin embargo, los modelos no mostraron esta preferencia sistemática por la "verdad" del consecuente cuando estaba negado.
  • Soporte al Sesgo de Emparejamiento: Los errores de los modelos se alinearon fuertemente con el sesgo de emparejamiento.
    • Los modelos tendieron a seleccionar tarjetas que coincidían léxicamente con los términos explícitos de la regla (p y q), ignorando las negaciones (¬p y ¬q).
    • Por ejemplo, en reglas con negación, los modelos a menudo seleccionaban la opción que contenía la palabra clave de la regla en lugar de su negación lógica, demostrando una dificultad para procesar la negación en el contexto condicional.

5. Significado e Implicaciones

• Validación de Mecanismos Cognitivos en IA: El estudio sugiere que los LLMs no solo imitan el lenguaje humano, sino que replican patrones de razonamiento y errores cognitivos específicos (como la especificidad de dominio y el sesgo de emparejamiento) observados en la psicología humana.
• Desafío de la Negación: Los hallazgos refuerzan la idea de que el manejo de la negación en el razonamiento condicional sigue siendo un desafío para las arquitecturas basadas en Transformers, incluso en modelos grandes.
• Dirección Futura: El trabajo abre la puerta a investigaciones sobre las causas mecánicas de estos sesgos (sesgos inductivos arquitectónicos vs. datos de entrenamiento) y sugiere que la evaluación de la razonabilidad de los LLMs debe considerar el tipo de modalidad (deóntica vs. descriptiva) para ser precisa.

En conclusión, el artículo demuestra que los LLMs exhiben una especificidad de dominio similar a la humana, razonando mejor con normas sociales y cometiendo errores sistemáticos debidos al sesgo de emparejamiento en lugar de la confirmación, lo que indica que sus mecanismos de inferencia comparten ciertas limitaciones cognitivas con los humanos.