Large Language Models and Book Summarization: Reading or Remembering, Which Is Better?

Título: Grandes Modelos de Lenguaje y Resumen de Libros: ¿Leer o Recordar, cuál es mejor?

1. Planteamiento del Problema

La tarea de resumen es fundamental en el Procesamiento del Lenguaje Natural (NLP). Con el avance de los Grandes Modelos de Lenguaje (LLMs) y la introducción de ventanas de contexto de millones de tokens, es ahora posible procesar libros enteros en una sola solicitud (prompt). Sin embargo, para libros muy conocidos, los LLMs también pueden generar resúmenes basándose únicamente en su memoria interna (conocimiento paramétrico adquirido durante el entrenamiento).

Esto plantea una pregunta de investigación crítica: ¿Cómo se comparan los resúmenes generados desde la memoria interna con los derivados del texto completo? ¿El conocimiento previo influye negativamente o positivamente incluso cuando se proporciona el texto? El estudio busca entender si la capacidad de "leer" (procesar el contexto externo) supera a la de "recordar" (usar la memoria paramétrica) en la tarea de resumir textos largos y complejos.

2. Metodología

Los autores diseñaron un experimento controlado para comparar dos enfoques de generación de resúmenes utilizando LLMs de última generación:

• Condiciones de Entrada:
  1. Memoria Interna (External Knowledge): El modelo recibe solo las instrucciones y el título/autor, sin el texto del libro.
  2. Memoria Externa (Full Text): El modelo recibe las instrucciones y el texto completo del libro en la ventana de contexto, con la instrucción explícita de no usar conocimiento interno.
• Modelos Utilizados: Se seleccionaron dos modelos con ventanas de contexto de un millón de tokens: GPT-4.1 y Gemini-2.5-Flash.
• Dataset: Se evaluaron 25 libros clásicos de dominio público (ej. Orgullo y Prejuicio, Don Quijote, Ulises, La Divina Comedia), seleccionados por su variedad en géneros, estilos (prosa, verso, drama) y longitud (desde 30k hasta casi 500k palabras).
• Generación: Se generaron 5 resúmenes por libro y por condición (temperaturas 0.4 y 0.9) para evaluar la consistencia.
• Evaluación (LLM-as-a-Judge): Se utilizó un marco donde los propios LLMs (GPT-4.1 y Gemini) actuaron como jueces para comparar pares de resúmenes (interno vs. externo). Se asignó una puntuación basada en la completitud, relevancia y coherencia. Se realizó un cruce de evaluadores (GPT juzgando a Gemini y viceversa) para detectar sesgos de autogeneración.
• Métrica: Se calculó una puntuación neta sumando las comparaciones de 25 pares por libro, con un rango de -25 (favorable al texto completo) a +25 (favorable a la memoria interna).

3. Contribuciones Clave

1. Primera Evaluación Comparativa: Realizan, hasta donde se conoce, la primera evaluación sistemática que compara resúmenes de libros generados con memoria interna frente a memoria externa utilizando modelos de ventana de contexto masiva.
2. Reproducibilidad: Crearon un repositorio abierto con el código, los libros y los resúmenes generados para facilitar futuras investigaciones.
3. Hallazgo Contraintuitivo: Demostraron que, aunque el texto completo suele mejorar el rendimiento, en ciertos casos, la memoria interna supera al procesamiento del texto completo.
4. Análisis de Factores: Discuten las razones potenciales detrás del mejor rendimiento de los resúmenes internos, sugiriendo que la complejidad estructural y el género influyen en la capacidad del modelo para integrar información contextual larga.

4. Resultados Principales

• Tendencia General: Para la mayoría de los libros, los resúmenes generados con el texto completo (lectura) obtuvieron puntuaciones superiores a los basados en memoria interna. Esto confirma que, en general, proporcionar el contexto completo mejora la calidad y el detalle.
• Excepciones Significativas: Para ciertos libros, los resúmenes de memoria interna (recordar) obtuvieron mejores puntuaciones. Los casos más notables fueron:
  • La Divina Comedia y Hamlet: Gemini-2.5 generó mejores resúmenes internos que externos.
  • Ulises: Mostró resultados positivos para la memoria interna en la mayoría de los casos, con alta variabilidad.
  • El Conde de Montecristo: En algunas configuraciones, la memoria interna superó significativamente al texto completo.
• Análisis de las Excepciones:
  • Estructura y Complejidad: Los libros con estructuras no lineales, poesía o dramas complejos (Ulises, La Divina Comedia) parecen ser más difíciles de resumir correctamente a partir del texto completo debido a problemas de fragmentación del contexto o la "pérdida en el medio" (Lost in the Middle).
  • Fallos en el Texto Completo: En el caso de La Divina Comedia, los resúmenes externos de Gemini tendían a seguir una estructura capítulo por capítulo que resultaba incompleta, mientras que la memoria interna capturaba mejor la esencia global.
  • Sesgo del Juez: Se observó que GPT-4.1 tendía a favorecer ligeramente los resúmenes internos al evaluar, mientras que Gemini mostró puntuaciones más negativas (prefiriendo el texto externo) en general.

5. Significado e Implicaciones

El estudio desafía la suposición de que "leer" (procesar el texto completo) es siempre la estrategia óptima para los LLMs.

• Límites del Contexto Largo: Sugiere que, a pesar de las ventanas de contexto de millones de tokens, los modelos aún luchan para integrar información de manera coherente en textos extremadamente largos, complejos o poéticos.
• Calidad del Conocimiento Paramétrico: Para obras muy conocidas y bien representadas en los datos de entrenamiento, la memoria interna del modelo puede ser más robusta y estructurada que el procesamiento en tiempo real de un texto masivo.
• Recomendación Práctica: La estrategia de resumen debe adaptarse al tipo de texto. Para obras complejas o muy famosas, confiar en el conocimiento interno del modelo podría ser superior a intentar procesar el libro entero, mientras que para textos menos conocidos o técnicos, el contexto completo es indispensable.

En conclusión, el artículo establece que "recordar puede ser mejor que leer" en escenarios específicos de literatura clásica compleja, poniendo de manifiesto las limitaciones actuales de los LLMs en la comprensión profunda de contextos extremadamente largos frente a su conocimiento paramétrico consolidado.