Agenda-based Narrative Extraction: Steering Pathfinding Algorithms with Large Language Models

Título: Extracción de Narrativas Basada en Agendas: Dirigiendo Algoritmos de Búsqueda de Caminos con Modelos de Lenguaje Grande (LLM)

1. Problema

El artículo aborda una limitación fundamental en los métodos existentes de extracción de narrativas a partir de colecciones de documentos: el compromiso (trade-off) entre coherencia, interactividad y soporte para múltiples líneas argumentales.

• Narrative Maps: Ofrece interactividad rica y genera múltiples líneas argumentales, pero a menudo sacrifica la coherencia individual de cada camino debido a sus restricciones de cobertura.
• Narrative Trails: Logra una alta coherencia mediante la optimización de caminos de máxima capacidad (el "enlace más débil" más fuerte posible), pero produce una única salida determinista sin mecanismo para guiar al usuario o incorporar perspectivas alternativas.
• Brecha: No existe un método que permita a un usuario definir una perspectiva específica (agenda) para explorar un corpus manteniendo al mismo tiempo la alta coherencia narrativa.

2. Metodología

Los autores proponen la extracción de narrativas basada en agendas, un enfoque que integra Modelos de Lenguaje Grande (LLM) en el proceso de búsqueda de caminos del algoritmo Narrative Trails.

• Base Algorítmica (Narrative Trails):

  • Se construye un grafo de coherencia donde los nodos son documentos y los pesos de las aristas representan la coherencia entre pares (combinando proximidad espacial en un espacio de incrustación 2D y similitud temática basada en distribuciones de probabilidad de clusters).
  • El objetivo es encontrar el camino de máxima capacidad (maximizar el peso mínimo de la arista) entre un documento fuente y uno objetivo, asegurando que ninguna transición caiga por debajo de un umbral de calidad.

• Innovación: Navegación Guiada por Agenda:

  • Selección de Candidatos: En lugar de seleccionar únicamente el vecino con la mayor coherencia (enfoque voraz), el algoritmo identifica los $k$ mejores candidatos basados en la coherencia del grafo.
  • Clasificación con LLM: Si hay múltiples candidatos ($k > 1$), un LLM (Gemma 3 12B) se utiliza para clasificarlos según su alineación con una agenda definida en lenguaje natural.
  • Prompting: El LLM recibe el contexto de la narrativa actual, la agenda, los títulos de los documentos candidatos y el objetivo. Se le pide que devuelva un ranking JSON.
  • Búsqueda: Los candidatos se insertan en la cola de prioridad basándose en su rango asignado por el LLM. Esto permite que el algoritmo "steer" (dirija) el camino hacia documentos que apoyan la perspectiva del usuario, manteniendo la coherencia estructural.

• Líneas Base de Comparación:

  • Máxima Capacidad: El algoritmo original sin LLM (sin agenda).
  • Coincidencia de Palabras Clave: Usa similitud TF-IDF entre la agenda y los documentos para ponderar la puntuación.

3. Contribuciones Clave

1. Nuevo Paradigma de Interactividad: Introducen el uso de agendas en lenguaje natural para guiar la extracción de narrativas, permitiendo a los usuarios explorar diferentes marcos interpretativos de los mismos eventos sin manipular manualmente la estructura del grafo.
2. Integración LLM en Búsqueda de Caminos: Demuestran cómo un LLM puede actuar como un agente de clasificación en tiempo real dentro de un algoritmo de búsqueda de caminos (pathfinding) para priorizar la relevancia semántica sobre una perspectiva específica.
3. Validación de Compromisos: Proporcionan evidencia empírica de que es posible obtener narrativas alineadas con una agenda específica con un costo mínimo en la coherencia narrativa.
4. Análisis de Límites: Validan que el método no puede fabricar narrativas que contradigan la evidencia del corpus (prueba con "contras-agendas"), estableciendo límites éticos y técnicos del enfoque.

4. Resultados

La evaluación se realizó sobre un corpus de 418 artículos de noticias sobre las protestas en Cuba de 2021, utilizando dos LLMs (Claude Opus 4.5 y GPT 5.1) como jueces para evaluar 64 pares de puntos finales y 6 agendas diferentes.

• Alineación con la Agenda:
  • En agendas semánticas (que requieren inferencia, ej. "Represión del Régimen"), la navegación guiada por LLM superó significativamente a la coincidencia de palabras clave (+9.9% en promedio, p=0.017).
  • Para la agenda específica "Represión del Régimen", la mejora fue del 13.3% (p=0.037).
  • En agendas literales (con superposición de palabras clave exactas), la coincidencia de palabras clave fue competitiva o superior, lo que sugiere que el LLM no es necesario en todos los casos.
• Costo de Coherencia:
  • La reducción de la coherencia al usar LLM fue mínima: solo un 2.2% en comparación con la línea base de máxima capacidad (6.19 vs 6.33 en escala de 1-10).
  • La correlación entre coherencia y alineación fue débil ($r \approx 0.10$), indicando que son dimensiones casi independientes.
• Validación de Contraste (Counter-Agendas):
  • Las agendas que contradicen el material fuente (ej. "El Régimen es Popular") obtuvieron puntuaciones uniformemente bajas (2.2-2.5) en todos los métodos, confirmando que el sistema no inventa hechos no soportados por los datos.
• Análisis de Sensibilidad:
  • El uso de Prompting de Cadena de Pensamiento (Chain-of-Thought) mejoró la alineación en un 25.7%, aunque aumentó el tiempo de extracción en 5 veces.
  • Las agendas vagas funcionaron mejor que las demasiado específicas, sugiriendo que el exceso de detalle puede limitar la capacidad del LLM para reconocer documentos relevantes.

5. Significado e Implicaciones

• Puente entre Interactividad y Coherencia: El trabajo demuestra que es posible combinar la rigurosidad estructural de los algoritmos de optimización de caminos con la flexibilidad semántica de los LLM. Esto permite a los analistas explorar múltiples perspectivas de un mismo conjunto de datos sin sacrificar la calidad narrativa.
• Transparencia en la Construcción de Narrativas: Al hacer explícita la "agenda" como entrada, el método permite estudiar y auditar cómo se construyen las narrativas, en lugar de dejar que la selección de documentos sea una "caja negra" algorítmica o puramente determinista.
• Limitaciones y Ética: El estudio reconoce que el método amplifica las perspectivas presentes en los datos, pero no puede superar los sesgos inherentes del corpus (si los datos no cubren un tema, la agenda no lo generará). Además, advierte sobre el riesgo de mal uso para crear narrativas engañosas mediante la selección selectiva, aunque argumenta que hacer el marco explícito es un paso necesario para detectar y contrarrestar tales manipulaciones.
• Aplicabilidad: El enfoque es prometedor para tareas de análisis de inteligencia, resumen de noticias y herramientas de sentido común (sensemaking) donde se requiere explorar eventos complejos desde múltiples ángulos.

En conclusión, el artículo presenta una solución técnica robusta que supera las limitaciones de los métodos anteriores, ofreciendo un equilibrio óptimo entre la calidad de la narrativa y la capacidad de guiar la exploración de información mediante instrucciones en lenguaje natural.