Resumen Técnico: El Paradigma del Acertijo del Acertijo (The Riddle Riddle Paradigm)

Planteamiento del Problema

Aunque los Modelos de Lenguaje Extensos (LLM) demuestran una alta precisión en diversos entornos de evaluación cognitiva, no está claro si este rendimiento proviene de un razonamiento flexible o de la recuperación de patrones superficiales de los datos de entrenamiento. A medida que el propio razonamiento pasa a formar parte de los corpus de entrenamiento, los modelos pueden aprender a imitar la apariencia del razonamiento (por ejemplo, reconocer la estructura de un acertijo y emitir una respuesta de tipo "truco") sin evaluar el contenido real del problema. Los bancos de pruebas existentes suelen fallar al distinguir entre un modelo que ha memorizado una solución y uno que ha seleccionado dinámicamente una estrategia de razonamiento apropiada. El desafío central es diseñar un paradigma que separe la estructura superficial de un problema de sus requisitos de contenido.

Metodología

Los autores introducen el Paradigma del Acertijo del Acertijo, un marco de diagnóstico que utiliza pares emparejados de problemas de palabras para probar la selección de estrategias.

Diseño de los Estímulos

El paradigma consta de 30 pares emparejados, cada uno con dos condiciones:

1. Condición A (Acertijo Genuino): Un acertijo estándar que requiere un razonamiento inventivo y no literal para resolver una contradicción aparente (por ejemplo, "Un vaquero entra al pueblo el viernes... y sale el viernes", donde "Viernes" es el nombre del caballo).
2. Condición B (Acertijo del Acertijo): Una versión modificada del mismo acertijo que preserva la estructura sintáctica, el fraseo y la longitud de las oraciones, pero elimina el "truco". Estos problemas requieren únicamente una interpretación literal (por ejemplo, "Un vaquero entra al pueblo el viernes... y sale el lunes", donde la respuesta es simplemente un cálculo de días).

Este diseño asegura que cualquier diferencia en el desempeño sea impulsada únicamente por el contenido del problema y no por el tema, el formato o el fraseo.

Configuración Experimental

El estudio comprende dos experimentos:

• Experimento 1 (LLMs): Se probaron nueve modelos de vanguardia (incluyendo GPT-5.4, Claude-opus-4-6, Gemini-3.1-Pro y variantes de código abierto como Llama-3.3 y Qwen3.5). Cada modelo recibió 30 acertijos y 30 acertijos del acertijo con 10 repeticiones por ítem. Las respuestas fueron codificadas por precisión y tipo de razonamiento (inventivo vs. literal). También se realizó una "comprobación de memorización" mediante la completitud parcial de prompts para evaluar si el alto rendimiento en acertijos genuinos se debía a la recuperación verbatim.
• Experimento 2 (Humanos): 100 participantes humanos resolvieron 6 ítems (3 de cada condición) en un entorno controlado. Las respuestas fueron codificadas de manera similar a los datos de los LLM.

Análisis

Los autores emplearon regresión logística de efectos mixtos para analizar la precisión y la selección de la estrategia de razonamiento. Compararon el desempeño entre condiciones y entre resolutores (humanos vs. LLMs), buscando específicamente "errores diagnósticos":

• Sobregeneralización: Aplicar razonamiento inventivo a un problema que solo requiere interpretación literal.
• Subgeneralización: Aplicar razonamiento literal a un problema que requiere interpretación inventiva.

Resultados Clave

1. Patrones de Desempeño Opuestos

El estudio encontró una clara disociación entre el desempeño humano y el de los LLM:

• LLMs: Obtuvieron un desempeño significativamente mejor en Acertijos Genuinos (84.9% de precisión) que en Acertijos del Acertijo (50.7% de precisión).
• Humanos: Obtuvieron un desempeño significativamente mejor en Acertijos del Acertijo (80.5% de precisión) que en Acertijos Genuinos (50.5% de precisión).

2. Selección de Estrategia y Análisis de Errores

• Comportamiento de los LLM: Los LLM sobreextendieron sistemáticamente el razonamiento inventivo. En los Acertijos del Acertijo (donde el razonamiento literal era suficiente), el 90.8% de los errores de los LLM fueron causados por la aplicación inapropiada del razonamiento inventivo. Incluso cuando los modelos cambiaban de estrategia, lo hacían con menos flexibilidad que los humanos.
• Comportamiento Humano: Los humanos mostraron una preferencia por el razonamiento literal, pero demostraron mayor flexibilidad. Su principal modo de error fue la subgeneralización (57.6% de sus errores en Acertijos Genuinos), donde fallaron al cambiar al razonamiento inventivo cuando era necesario.
• Memorización: Se encontró una fuerte correlación ($\rho = .88$) entre la capacidad de un modelo para recordar acertijos genuinos de forma verbatim (mediante la completitud parcial de prompts) y su precisión en dichos acertijos. Crucialmente, una mayor memorización predijo una menor precisión en los Acertijos del Acertijo emparejados, lo que sugiere que los modelos estaban recuperando respuestas en lugar de razonar.

3. Corrección del Razonamiento

Al medir si se utilizó la estrategia correcta (independientemente de la respuesta final), los LLM mostraron una caída significativa en la corrección en los Acertijos del Acertijo en comparación con los Acertijos Genuinos, confirmando que el formato por sí solo activaba el modo de razonamiento erróneo.

Contribuciones Clave

1. El Paradigma del Acertijo del Acertijo: Un diseño experimental novedoso que aísla las características superficiales de los requisitos de contenido, permitiendo a los investigadores probar si un sistema selecciona estrategias basadas en "cómo se ve un problema" frente a "lo que un problema requiere".
2. Evidencia de Razonamiento Basado en la Superficie: El estudio proporciona evidencia empírica de que los LLM actuales dependen fuertemente de las características superficiales (estructura de tipo acertijo) para activar heurísticas de razonamiento específicas, incluso cuando dichas heurísticas son inapropiadas para el contenido específico.
3. Disociación de la Cognición Humana y del Modelo: El artículo demuestra que, si bien tanto los humanos como los LLM cometen errores de razonamiento, la naturaleza de sus errores es invertida. Los humanos luchan por anular los valores predeterminados literales para tareas creativas, mientras que los LLM luchan por anular los valores predeterminados creativos para tareas literales.

Significado y Reivindicaciones

Los autores afirman que el paradigma del Acertijo del Acertijo revela una limitación fundamental en los LLM actuales: aún no han alcanzado un razonamiento flexible en el sentido de seleccionar dinámicamente estrategias basadas en las demandas del problema. En su lugar, su alto desempeño en acertijos estándar probablemente refleja la recuperación de patrones memorizados o "plantillas de razonamiento" vistos durante el entrenamiento.

El artículo argumenta que las métricas de precisión agregada pueden ser engañosas; un modelo puede parecer razonar bien en un banco de pruebas simplemente porque la estructura del mismo activa consistentemente un patrón de alta frecuencia en la distribución de entrenamiento del modelo. El paradigma del Acertijo del Acertijo expone esto al crear una "trampa" donde la estructura sugiere una estrategia (inventiva) pero el contenido requiere otra (literal).

Los autores concluyen que distinguir entre el razonamiento genuino y el emparejamiento de patrones es crítico para la interpretabilidad y la confianza, especialmente a medida que los LLM se despliegan en dominios que requieren la resolución de problemas novedosos. Sugieren modestamente que, si bien los modelos actuales son sensibles a la frecuencia de los patrones de tareas en los datos de entrenamiento, carecen de la capacidad de evaluar si una instancia específica realmente requiere dicho patrón.