Beyond Math: Stories as a Testbed for Memorization-Constrained Reasoning in LLMs

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) han demostrado un rendimiento notable en benchmarks de razonamiento, particularmente en matemáticas y lógica. Sin embargo, estudios recientes sugieren que gran parte de este éxito proviene de la memorización literal de los datos de entrenamiento en lugar de un razonamiento generalizable genuino.

Mientras que el trabajo previo se ha centrado en eliminar la memorización en dominios como las matemáticas, muchas aplicaciones del mundo real (como la comprensión de historias) requieren razonamiento con restricciones de memorización. En estos escenarios, los modelos deben integrar conocimientos de fondo (hechos memorizados) con un contexto narrativo específico para inferir motivaciones, relaciones y emociones de los personajes. El problema central abordado por este artículo es: ¿Razonan genuinamente los LLM actuales al resolver tareas centradas en personajes, o dependen de un recuerdo superficial de guiones famosos?

Los benchmarks actuales a menudo fallan en distinguir entre estos dos modos porque permiten que los modelos "hagan trampa" recordando nombres exactos de personajes y diálogos del preentrenamiento. Los autores argumentan que, sin restringir esta memorización, no podemos evaluar con precisión las verdaderas capacidades de razonamiento de un modelo.

2. Metodología

Los autores proponen un marco de intervención de dos niveles inspirado en las distinciones de la ciencia cognitiva entre memoria literal (recuerdo exacto de detalles superficiales) y memoria de la esencia (abstracción semántica). Aplican este marco a seis benchmarks de comprensión de historias centradas en personajes utilizando tres LLMs de última generación: GPT-4o, LLaMA3.3-70B y DeepSeek V3.

A. Conjuntos de Datos

• CharBench: Una colección de seis benchmarks de PLN existentes que cubren diversas tareas:
  • TVShow Guess: Identificación de hablantes en diálogos de televisión.
  • Screenplay: Resolución de coreferencia de personajes en guiones de cine.
  • PERSONET: Inferencia de personalidad a partir de pasajes literarios.
  • CSI: Detección de roles (identificación de criminales) en programas de crímenes.
  • FriendsQA: Respuesta a preguntas en diálogos de múltiples turnos.
  • SummScreen: Resumen de episodios de televisión.
• CharScript: Un conjunto de datos recién construido con 200 segmentos de texto de 40 fuentes ficticias (televisión, cine, novelas) utilizado específicamente para probar la identificación de fuentes y la memorización literal.

B. El Marco de Dos Niveles

El estudio evalúa el rendimiento del modelo bajo dos configuraciones distintas:

1. Configuración Inductiva (Guiada por Prompt):

   • Objetivo: Determinar si la instrucción mediante prompts puede desviar a los modelos de la memorización mecánica hacia el razonamiento semántico sin alterar el texto de entrada.
   • Método: Los autores comparan dos estrategias de prompting:
     • Prompt Literal: Instruye explícitamente al modelo a utilizar la recuperación directa de memoria sin razonamiento.
     • Prompt de Esencia: Instruye al modelo a analizar relaciones, eventos y rasgos de personalidad para inferir respuestas, prohibiendo explícitamente el recuerdo directo de nombres.
   • Hipótesis: Si los modelos dependen de la memorización, los prompts de Esencia deberían causar una caída en el rendimiento en comparación con los prompts Literales.

2. Configuración Restrictiva (Modificación de Entrada):

   • Objetivo: Probar la capacidad intrínseca de razonamiento bloqueando físicamente el acceso a las pistas superficiales memorizadas.
   • Método: Todos los nombres de personajes en el texto de entrada se reemplazan por alternativas culturalmente distintas. Se prueban tres niveles de reemplazo:
     • Enmascaramiento de Nombres: Reemplazar nombres por marcadores de posición (ej. P0, P1).
     • Reemplazo de Mismo Contexto Cultural: Intercambiar nombres por alternativas culturalmente consistentes (ej. Sheldon $\to$ Andrew).
     • Reemplazo de Contexto Cultural Distinto: Intercambiar nombres por alternativas culturalmente distintas (ej. nombres en inglés $\to$ nombres en chino).
   • Hipótesis: Si el rendimiento colapsa bajo estas restricciones, las puntuaciones originales del benchmark fueron impulsadas por la memorización, no por el razonamiento.

3. Contribuciones Clave

1. Expansión del Dominio: Extiende el estudio de memorización versus razonamiento desde matemáticas/lógica hacia la comprensión de historias centradas en personajes, un dominio donde el uso controlado de la memoria es esencial.
2. Marco Inductivo-Restrictivo: Introduce un diseño novedoso de dos niveles que separa la capacidad de dirección conductual (¿pueden los prompts guiar el razonamiento?) de la robustez intrínseca (¿sobrevive el razonamiento cuando se bloquea la memoria?).
3. Diagnóstico de Defectos en los Benchmarks: Proporciona evidencia empírica de que los benchmarks actuales sobreestiman las capacidades de razonamiento al permitir que la memorización literal domine.
4. Demostración de Dirección: Muestra que, aunque los modelos tienden a la memorización, estrategias específicas de prompting (Esencia) pueden alinearlos parcialmente hacia un razonamiento con restricciones.

4. Resultados Clave

A. Dependencia de la Memorización (Configuración Inductiva)

• Literal vs. Línea Base: El rendimiento bajo prompts "Literales" fue casi idéntico a la línea base, confirmando que los modelos naturalmente tienden a la memorización.
• Impacto de la Esencia: Cambiar a prompts de "Esencia" causó una caída no trivial en el rendimiento (aprox. 10%). Esto indica que los modelos luchan por suprimir la memorización cuando se les pide explícitamente razonar, pero la caída no es total, lo que sugiere que persiste cierta dependencia de la memoria incluso con orientación.

B. Razonamiento bajo Restricciones (Configuración Restrictiva)

• Colapso del Rendimiento: Cuando se reemplazaron los nombres de los personajes (especialmente con nombres de contexto cultural distinto), la precisión disminuyó significativamente.
  • GPT-4o: Cayó un 45.8% en la tarea de TVShow Guess.
  • LLaMA3.3-70B: Cayó un 29.5%.
  • DeepSeek V3: Cayó un 31.1%.
• Identificación de Fuentes: En la tarea CharScript, el Reemplazo de Nombres de Contexto Cultural Distinto causó el efecto de "olvido" más severo, reduciendo la precisión de identificación de fuentes de ~98% (Línea Base) a ~22-56%, demostrando que los modelos dependen en gran medida de asociaciones específicas nombre-fuente.

C. Interacción de Prompts y Restricciones

• Efecto de Combinación: La combinación de Reemplazo de Nombres + Prompting de Esencia arrojó la precisión más baja, aislando efectivamente la verdadera capacidad de razonamiento del modelo (que resultó ser significativamente menor de lo que sugieren las puntuaciones de los benchmarks).
• Sensibilidad de la Tarea: Las tareas orientadas a la acción (ej. Adivinanza de Hablante, Detección de Roles) sufrieron las mayores caídas, ya que dependen de asociaciones directas entre pista y etiqueta. Las tareas orientadas a la motivación (ej. Comprensión de Personalidad) fueron más robustas, ya que requieren naturalmente inferencia semántica.

5. Significado e Implicaciones

• Redefinición de "Razonamiento": El artículo argumenta que las evaluaciones actuales del razonamiento de los LLM son defectuosas porque confunden la "recuperación" con el "razonamiento". El verdadero razonamiento en contextos narrativos requiere integrar conocimientos acotados y relevantes al contexto, no solo recordar guiones.
• Estándares de Evaluación: Los autores proponen que los futuros benchmarks deben incluir configuraciones con restricciones de memorización (como el reemplazo de nombres) para proporcionar una evaluación realista de la capacidad de un modelo para generalizar y razonar.
• Mecanismos de Dirección: Los hallazgos sugieren que, aunque los LLM son propensos a la memorización, pueden ser dirigidos hacia el razonamiento mediante prompts específicos (Configuración Inductiva), aunque esto no elimina completamente la dependencia de pistas superficiales sin modificación de la entrada (Configuración Restrictiva).
• Alineación Cognitiva: Al adoptar el marco "literal vs. esencia", el estudio conecta la evaluación del PLN con la ciencia cognitiva, ofreciendo una visión más matizada de cómo la IA procesa la información en comparación con la cognición humana.

En conclusión, el artículo demuestra que el impresionante rendimiento de los LLM en tareas de comprensión de historias es en gran medida un artefacto de la memorización. Cuando se eliminan las pistas superficiales, el rendimiento se degrada drásticamente, revelando una brecha significativa entre las puntuaciones actuales de los benchmarks y las capacidades de razonamiento genuino.