Resumen Técnico: Caracterización del Contenido Narrativo en Datos de Preentrenamiento de Escala Web para LLM

Declaración del Problema

Si bien las narrativas son un modo fundamental de la comunicación humana y un caso de uso primario para los Grandes Modelos de Lenguaje (LLM), la composición narrativa de los corpus de preentrenamiento a escala web permanece en gran medida inexplorada. La investigación existente ha examinado los datos de preentrenamiento a lo largo de dimensiones como la calidad, la toxicidad y la distribución de temas, pero no ha analizado sistemáticamente la estructura narrativa. Esta brecha es crítica porque las prácticas actuales de curación de datos tratan las fuentes (por ejemplo, libros, Reddit, noticias) como narrativamente homogéneas. En consecuencia, las mezclas de entrenamiento pueden reducir desproporcionadamente la exposición narrativa de un modelo o sesgar sus estructuras de eventos y perspectivas sin que el equipo de curación lo sepa. Los autores postulan que las cualidades narrativas probablemente están distribuidas de manera desigual entre fuentes y temas de formas que las prácticas actuales ni miden ni tienen en cuenta.

Metodología

Los autores presentan un marco integral para medir la estructura narrativa a escala utilizando DOLMA, un corpus de preentrenamiento abierto de 3 billones de tokens. Su enfoque involucra cuatro etapas principales:

1. Marco Teórico y Dimensiones de Anotación

Basándose en la teoría narrativa (Herman, 2011; Piper et al., 2021), los autores definen la narrativa no como una clasificación binaria, sino como una estructura continua y multidimensional. La operacionalizan en 11 dimensiones interpretables agrupadas en tres elementos centrales:

• Agencia (5 dimensiones): Focalización (perspectiva), Emoción Interna, Cognición Interna, Cambio de Estado y Conflicto. Estas se califican en una escala Likert de 1 a 5.
• Entorno (4 dimensiones): Concreción, Anclaje Temporal, Anclaje Espacial y Detalle Sensorial. Estas también se califican en una escala Likert de 1 a 5.
• Relaciones de Eventos (3 dimensiones): Ordenamiento temporal, Relaciones causales y Densidad de Eventos (eventos por token). Estas se derivan de la detección de disparadores de eventos y la extracción de relaciones.

2. Muestreo y Construcción de Datos

Para abordar la heterogeneidad del texto web, los autores desarrollaron un pipeline de muestreo de cuatro pasos a partir de DOLMA:

1. Extracción: Extracción de ~17 millones de pasajes de tres oraciones a partir de ~5 millones de documentos.
2. Calificación: Uso de un clasificador binario basado en DeBERTa para filtrar contenido narrativo coherente.
3. Clasificación de Temas: Aplicación del clasificador WEBORGANIZER a fuentes de Common Crawl para equilibrar los dominios temáticos.
4. Muestreo Estratificado: Creación de dos conjuntos de datos:
   • Dataset de Oro (Gold Dataset): 400 pasajes anotados manualmente por expertos humanos para validación.
   • NARRADOLMA: Un conjunto de datos a gran escala de ~3 millones de pasajes (que abarca ~785 mil documentos) etiquetados mediante un pipeline de destilación.

3. Desarrollo del Modelo: NARRABERT

Para escalar la anotación más allá de la capacidad humana, los autores utilizaron un flujo de trabajo de "validación primero":

• Etiquetado por LLM: Compararon tres LLMs (Claude Sonnet 4.6, Qwen3, Gemma4) contra anotaciones humanas. Se seleccionó a Gemma4 para el etiquetado a gran escala debido a su rentabilidad y disponibilidad de código abierto.
• Destilación de Conocimiento: Los 5,000 pasajes etiquetados por Gemma4 se utilizaron para entrenar NARRABERT, un par de clasificadores basados en RoBERTa. Un codificador maneja las 9 dimensiones de la escala Likert (Agencia y Entorno) como tareas de regresión, mientras que un codificador dedicado maneja las Relaciones de Eventos como tareas de clasificación binaria.
• Validación: NARRABERT fue validado contra un conjunto de anotación humana no visto, logrando puntuaciones de acuerdo comparables con los modelos maestros de LLM para Agencia y Entorno, aunque con un rendimiento ligeramente inferior en Relaciones de Eventos debido al desequilibrio de clases.

4. Análisis

Los autores aplicaron NARRABERT al corpus completo de NARRADOLMA para generar vectores de características narrativas de 12 dimensiones para cada documento. Analizaron estos vectores utilizando el Análisis de Componentes Principales (PCA) para identificar modos dominantes de variación y examinaron la distribución de estas características a través de diferentes fuentes y temas.

Contribuciones Clave

1. Marco de Anotación: Un marco fundamentado en la teoría que operacionaliza 11 dimensiones narrativas finas a través de la Agencia, el Entorno y los Eventos.
2. NARRABERT: Un clasificador eficiente capaz de predecir las 11 dimensiones narrativas, validado contra anotaciones tanto humanas como de LLM.
3. NARRADOLMA: Un nuevo conjunto de datos que comprende ~3 millones de pasajes etiquetados, muestreados del corpus DOLMA utilizando un pipeline estratificado con principios definidos.
4. Análisis a Gran Escala: El primer mapeo empírico de la estructura narrativa en datos de preentrenamiento, revelando que la narratividad forma una estructura continua y multidimensional en lugar de una cantidad escalar única.

Resultados

El análisis de NARRADOLMA produjo tres hallazgos empíricos centrales:

1. Medibilidad: La estructura narrativa es medible a escala a través de datos extremadamente heterogéneos.
2. Multidimensionalidad: Las cualidades narrativas covariarían en tres componentes principales (ejes) interpretables:
   • Interioridad (PC1): Impulsada por la focalización, la emoción y la cognición.
   • Eventividad Anclada (PC2): Impulsada por el cambio de estado, el conflicto, la densidad de eventos y el anclaje temporal/espacial.
   • Textura del Mundo de la Historia (PC3): Impulsada por la concreción, el detalle sensorial y el anclaje espacial.
3. Distribución Desigual: Estas cualidades narrativas no se distribuyen uniformemente entre fuentes o temas.
   • Variación de Fuente: Fuentes como Reddit y Gutenberg son altas en Interioridad pero bajas en otras dimensiones, mientras que Wikipedia y Crimen/Derecho son altas en Eventividad Anclada pero casi ausentes en Interioridad.
   • Variación de Tema: Temas como Comida y Gastronomía y Viajes puntúan alto en Textura del Mundo de la Historia, mientras que Software y Finanzas puntúan bajo.
   • Diversidad Interna: Las categorías ricas en narrativa (por ejemplo, Reddit, Literatura) muestran una alta varianza interna, lo que indica que las etiquetas a nivel de fuente son demasiado toscas para capturar la diversidad narrativa. Aumentar el peso de una fuente "narrativa" no incrementa uniformemente todas las cualidades narrativas.

Significado y Reivindicaciones

El artículo sostiene que la estructura narrativa debe tratarse como una propiedad medible y multidimensional de los datos de preentrenamiento, complementando los ejes existentes como la calidad y la distribución de temas. Los autores argumentan que las prácticas actuales de curación de datos son demasiado toscas; las decisiones tomadas a nivel de fuente (por ejemplo, qué corpus incluir) no logran tener en cuenta la diversidad narrativa presente dentro de esas fuentes.

Al proporcionar un marco, un conjunto de datos y modelos para caracterizar la distribución narrativa, este trabajo sienta las bases para:

• Comprender cómo la composición de los datos afecta las tareas de razonamiento narrativo.
• Investigar el "déficit de creatividad" en la creación de historias de los LLM vinculándolo a mezclas de entrenamiento específicas.
• Futuros experimentos controlados (por ejemplo, usando RegMix) para establecer vínculos causales entre la composición narrativa del preentrenamiento y las capacidades de los modelos descendentes.

Los autores mantienen la modestia respecto a las afirmaciones causales, señalando que caracterizan y mapean la estructura narrativa, pero aún no establecen vínculos causales directos con el comportamiento del modelo, identificando esto como una dirección para trabajos futuros. También reconocen limitaciones, incluyendo la naturaleza estratificada de la muestra (sobre-representando el contenido narrativo en relación con el DOLMA bruto) y la dificultad intrínseca de anotar ciertas dimensiones como el ordenamiento temporal.