Resumen Técnico: Modelado de las Expectativas de la Historia con Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

El compromiso de los consumidores con los medios narrativos (libros, películas, series de televisión) está significativamente moldeado por sus expectativas prospectivas sobre lo que sucederá a continuación. Sin embargo, modelar estas expectativas sobre contenido narrativo no estructurado ha sido históricamente un desafío. Los enfoques tradicionales enfrentan dos obstáculos principales:

1. Limitaciones de las Encuestas: Elicitar una distribución completa de posibles continuaciones de la historia de los encuestados humanos es costoso en términos de recursos, mientras que encuestar solo uno o dos aspectos falla en capturar la complejidad del desarrollo narrativo.
2. Supuestos de Modelado: Los modelos económicos estándar suelen asumir expectativas racionales sobre resultados de baja dimensión (por ejemplo, precios futuros). Aplicar esto a las historias requiere modelar cómo una distribución de alta dimensión de posibles continuaciones depende de un historial de la historia de alta dimensión, para lo cual no existe un punto de partida obvio.

Consecuentemente, existe una falta de métodos escalables para aproximar las creencias de los consumidores sobre el contenido narrativo, lo que limita la capacidad de los creadores y las plataformas para entender cómo el contenido anticipado impulsa el compromiso.

Metodología

Los autores proponen un marco generativo utilizando Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) para aproximar las creencias prospectivas de los consumidores. El marco consta de cuatro componentes:

1. Generación de Continuación de la Historia Imaginada

El mecanismo central consiste en utilizar un LLM preentrenado para generar múltiples continuaciones plausibles de una historia dado el texto leído hasta el momento (por ejemplo, capítulos 1 al $t$).

• Proceso: Se le pide al LLM que genere el siguiente capítulo ($t+1$). Para aproximar una distribución de creencias en lugar de un único resultado determinista, el modelo genera $N$ continuaciones (típicamente 50) por capítulo.
• Parámetros: Los autores utilizan una temperatura de 1.0 para equilibrar la diversidad y la coherencia.
• Racional: Los LLM, entrenados en vastos corpus de texto narrativo, capturan patrones de narración complejos y pueden generar una distribución de continuaciones que refleja las expectativas de un consumidor representativo.

2. Extracción de Características

El texto no estructurado de las continuaciones imaginadas se convierte en características interpretables y motivadas por la teoría.

• Características: El marco extrae características predefinidas asociadas con el compromiso, como la emoción (valencia, activación) y la trayectoria semántica (velocidad, sinuosidad). También extrae dimensiones narrativas "aprendidas" (por ejemplo, tensión, curiosidad, intensidad del cliffhanger, ritmo).
• Cálculo de la Expectativa: La expectativa para una característica $z$ en el capítulo $t$ se calcula como el promedio de los valores de las características extraídas de las $N$ continuaciones imaginadas:
  $$E_t^n[e_{i,t+1}^n] = \frac{1}{N} \sum_{n=1}^N e_{i,t+1}^n$$
  También se pueden calcular momentos de orden superior (varianza, desviación), aunque el artículo se centra principalmente en el primer momento (la expectativa).

3. Validación

Los autores proponen dos procedimientos de validación complementarios para evaluar si las expectativas derivadas de los LLM son proxies válidos de las creencias humanas:

• Validación Basada en Encuestas: Compara las expectativas derivadas de los LLM frente a las creencias reportadas por humanos recolectadas mediante encuestas. Los encuestados informan distribuciones de probabilidad sobre los resultados de las características (por ejemplo, contenedores de valencia) para el siguiente capítulo.
• Validación de Expectativas Racionales: Compara las expectativas derivadas de los LLM frente a las continuaciones reales de la historia. Bajo el supuesto de que los consumidores (y el LLM) entienden cómo se desarrollan típicamente las historias, la distribución predicha por el LLM debería alinearse con la distribución objetiva de los resultados reales de la historia. Esto se prueba mediante la regresión de los valores reales de las características sobre los valores esperados derivados del LLM.

4. Análisis de Compromiso

El marco se utiliza para modelar el compromiso del lector (interés, decisión de continuar, votar, comentar) como una función tanto del contenido realizado (características del capítulo recién leído) como del contenido esperado (características del próximo capítulo imaginado). Los autores emplean un modelo de utilidad esperada lineal donde el compromiso depende de las características actuales y de la expectativa de las características futuras.

Aplicaciones Empíricas y Resultados

El marco fue probado en dos entornos: un experimento de encuesta controlado y un estudio observacional de una plataforma de lectura en línea.

1. Datos de Encuesta (Entorno Controlado)

• Datos: 263 participantes leyeron historias cortas a través de cinco géneros e informaron creencias emocionales (valencia/activación) e intenciones de compromiso.
• Validación: Las expectativas derivadas de los LLM para la valencia y la activación se correlacionaron significativamente con las expectativas reportadas por humanos (pendientes de 0.57 y 0.56, respectivamente), aunque los LLM tendieron a comprimir el rango de las creencias.
• Hallazgos de Compromiso:
  • Interés Declarado: La activación esperada predijo significativamente el interés en continuar leyendo, incluso después de controlar la valencia y la activación del capítulo actual. La valencia esperada no fue significativa.
  • Decisión de Continuar: La activación esperada fue un predictor significativo de la decisión binaria de leer el siguiente capítulo.
  • Desempeño como Proxy: Reemplazar las expectativas elicitadas por encuestas con las expectativas derivadas de los LLM en los modelos de regresión arrojó resultados comparables, confirmando a los LLM como un proxy escalable.

2. Datos Observacionales (Plataforma en Línea)

• Datos: 8,399 capítulos de 937 libros en una plataforma en línea, con el compromiso medido mediante las tasas de voto para leer y de comentario para leer.
• Validación (Expectativas Racionales): Las expectativas derivadas de los LLM para 15 características (incluyendo emoción, trayectoria semántica y dimensiones narrativas) fueron predictores positivos significativos de las características reales de los capítulos. Los coeficientes fueron positivos y significativos, aunque atenuados (por ejemplo, pendiente de valencia 0.69, pendiente de activación 0.62).
• Hallazgos de Compromiso:
  • Las expectativas prospectivas (valencia, activación, velocidad, sinuosidad) fueron predictores significativos de las tasas de votación y de comentarios, más allá de las características del contenido ya consumido.
  • Específicamente, las expectativas de mayor negatividad/menor energía y de mayor velocidad/menor sinuosidad se asociaron con un mayor compromiso.
  • Análisis de Sensibilidad: Los autores demostraron que los coeficientes para las características focales (por ejemplo, la activación esperada) son sensibles a la inclusión de otras dimensiones narrativas (por ejemplo, tensión, cliffhangers), resaltando la importancia del marco para refinar las preguntas causales.

Contribuciones Clave

1. Marco Escalable para Expectativas No Estructuradas: El artículo introduce un método para modelar las creencias de los consumidores sobre contenido narrativo de alta dimensión y no estructurado, extendiendo la literatura de expectativas más allá de los espacios de estados estructurados.
2. Estrategia de Validación Dual: Propone e implementa dos enfoques de validación distintos (basados en encuestas y basados en expectativas racionales), demostrando que los LLM pueden servir como proxies informativos de las creencias humanas sin requerir la recolección de datos costosa en todos los contextos.
3. Impulsores de Compromiso Prospectivos: El estudio proporciona evidencia empírica de que lo que los lectores esperan que suceda (específicamente las características de activación y trayectoria semántica esperadas) impulsa el compromiso independientemente de lo que ya han leído.
4. Descubrimiento de Características y Refinamiento Causal: Al generar continuaciones, el marco permite a los investigadores extraer una amplia gama de dimensiones narrativas y probar cómo el control de estas dimensiones afecta el impacto estimado de las características focales, ayudando así a diagnosticar el sesgo de variable omitida en los estudios narrativos.

Significado y Afirmaciones

Los autores afirman que este marco proporciona un método escalable para modelar las creencias de los consumidores sobre el contenido narrativo. Sostienen que:

• Los LLM entrenados en textos narrativos pueden servir como un "punto de partida razonable" para modelar la anticipación del lector.
• Las expectativas prospectivas son un impulsor distinto y significativo del compromiso, lo que sugiere que los creadores de contenido y las plataformas deben considerar cómo las decisiones narrativas dan forma a las expectativas futuras, no solo a las reacciones inmediatas.
• El método complementa el análisis de contenido existente al añadir una dimensión prospectiva, la cual es crucial para comprender el comportamiento dinámico en los medios narrativos.

El artículo mantiene la modestia respecto a la causalidad, señalando que sus resultados son asociacionales y que las expectativas derivadas de los LLM son aproximaciones (lo que introduce error de medición). Reconocen las limitaciones respecto a la heterogeneidad de los lectores (tratando al LLM como un lector "promedio") y la naturaleza puramente textual de su implementación actual, sugiriendo que trabajos futuros podrían explorar entradas multimodales y segmentos de consumidores heterogéneos.