StrucSum: Graph-Structured Reasoning for Long Document Extractive Summarization with LLMs

Resumen Técnico: StrucSum

Planteamiento del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado sólidas capacidades zero-shot en la sumarización general, enfrentan desafíos significativos al procesar documentos estructurados y extensos. Específicamente, los LLMs suelen tener dificultades para modelar la estructura del documento, identificar información relevante en contextos largos y mantener la consistencia fáctica debido a las ventanas de contexto limitadas y a una falta de conciencia inherente del discurso. Los métodos existentes de sumarización extractiva a menudo dependen del entrenamiento supervisado con resúmenes de referencia escritos por humanos, lo que limita su escalabilidad y adaptabilidad entre distintos dominios. Además, aunque las estrategias de prompting como la Cadena de Pensamiento (Chain-of-Thought) han mejorado el razonamiento en otras áreas, la integración del razonamiento estructural en los prompts para la sumarización extractiva de documentos largos sigue estando poco explorada.

Metodología: StrucSum

Los autores proponen StrucSum, un marco de prompting basado en la estructura y libre de entrenamiento, diseñado para mejorar el razonamiento de los LLM para la sumarización extractiva zero-shot. El mecanismo central consiste en la construcción de un Grafo Atribuido a Texto (TAG) para cada documento, donde las oraciones sirven como nodos y las aristas representan relaciones semánticas o posicionales (derivadas mediante embeddings de Sentence-BERT y similitud de coseno).

StrucSum inyecta señales estructurales de este grafo en los prompts del LLM a través de tres estrategias distintas:

1. Prompting con Conciencia de Vecindad (NAP - Neighbor-Aware Prompting):

   • Mecanismo: Aumenta cada oración en el prompt enumerando explícitamente sus vecinos de 1 salto en el TAG.
   • Objetivo: Proporcionar pistas contextuales locales para mejorar la conciencia del discurso de corto alcance, ayudando al LLM a comprender las dependencias semánticas inmediatas de una oración.

2. Prompting con Conciencia de Centralidad (CAP - Centrality-Aware Prompting):

   • Mecanismo: Anexa una puntuación de centralidad de grado normalizada a cada oración, calculada en función del número de conexiones dentro del TAG.
   • Objetivo: Destacar oraciones globalmente importantes (núcleos de discurso) para guiar al LLM en la distinción entre el contenido estructuralmente prominente y la información periférica.

3. Enmascaramiento Guiado por Centralidad (CGM - Centrality-Guided Masking):

   • Mecanismo: Incluye selectivamente solo las oraciones con mayor rango (basadas en las puntuaciones de centralidad) en el prompt hasta alcanzar un umbral de centralidad acumulada (por ejemplo, 85%), mientras enmascara las oraciones restantes de baja saliencia.
   • Objetivo: Reducir la longitud de la entrada y el uso de tokens, preservando al mismo tiempo el contenido informativo clave, mejorando así el enfoque del razonamiento y la eficiencia.

El marco opera en un entorno totalmente zero-shot sin actualizaciones de parámetros ni ajuste fino (fine-tuning) del LLM subyacente.

Contribuciones Clave

• Propuesta de Marco: Introducción de StrucSum, un novedoso marco de prompting que integra priors estructurales basados en grafos (NAP, CAP, CGM) en las entradas de los LLM para la sumarización extractiva.
• Validación Empírica: Demostración a través de tres benchmarks de formato largo (ArXiv, PubMed, Multi-News) de que el prompting con conciencia de la estructura supera consistentemente tanto al prompting vanilla estándar como a los baselines no supervisados (por ejemplo, Lead, LexRank, TextRank) en calidad de resumen y consistencia fáctica.
• Perspectivas Estratégicas: Identificación de que diferentes estrategias estructurales sirven a objetivos distintos:
  • CGM es más efectivo para maximizar la superposición con los resúmenes de referencia (cobertura de contenido).
  • NAP es más efectivo para mantener la consistencia fáctica y reducir las alucinaciones.
  • CAP ofrece un equilibrio entre el rendimiento y la longitud de la entrada.
  • El estudio señala que combinar todas las estrategias no necesariamente produce mayores ganancias, lo que sugiere que abordan diferentes aspectos de la tarea.

Resultados Experimentales

Los experimentos se realizaron en ArXiv, PubMed y Multi-News utilizando GPT-4o-mini, GPT-4o y LLaMA3-70B.

• Calidad del Resumen: StrucSum mejoró consistentemente las métricas ROUGE y BERTScore en comparación con el prompting vanilla. Por ejemplo, en ArXiv con GPT-4o-mini, la estrategia de Centrality-Aware Prompting (CAP) alcanzó una puntuación R-2 de 15.39, superando al baseline vanilla (14.14).
• Consistencia Fáctica: Se observaron mejoras significativas en las métricas de fidelidad. En ArXiv, NAP aumentó FactCC en 19.2 puntos porcentuales (de 38.44 a 57.67) y SummaC en 8.0 puntos, demostrando una alineación más fuerte entre el resumen generado y el contenido de la fuente.
• Eficiencia: CGM redujo el uso de tokens en un 40–50% en comparación con el prompting vanilla manteniendo o mejorando el rendimiento, lo que lo convierte en una opción viable para escenarios con restricciones de latencia.
• Evaluación Humana: Evaluadores humanos en el conjunto de datos PubMed confirmaron que las estrategias de StrucSum, particularmente NAP, mejoraron las puntuaciones de fluidez, informatividad y fidelidad en comparación con los prompts vanilla.
• Ablación y Análisis:
  • Combinar múltiples estrategias (NAP + CAP + CGM) no produjo ganancias claras de rendimiento sobre las estrategias individuales, lo que indica que apuntan a diferentes objetivos de optimización.
  • El análisis de las entradas de solo grafo (sin el texto de la oración) mostró que, si bien las pistas estructurales son útiles, no pueden reemplazar la información textual para obtener resultados óptimos.
  • El análisis de correlación confirmó que los LLM siguen las pistas de centralidad cuando se proporcionan explícitamente (CAP), aunque esto no siempre se traduce en las puntuaciones ROUGE más altas en comparación con NAP o CGM.

Significado y Reivindicaciones

El artículo afirma que StrucSum representa una dirección prometedora y poco explorada para avanzar en la sumarización extractiva zero-shot. Al integrar priors de grafos simbólicos simples en los prompts, el marco guía a los LLM de caja negra para razonar sobre la estructura del documento sin requerir entrenamiento o supervisión adicional. Los autores enfatizan que este enfoque aborda las limitaciones específicas de los LLM en contextos de documentos largos —a saber, la falta de conciencia estructural y la tendencia a la inconsistencia fáctica—, proporcionando una solución escalable y agnóstica al modelo que mejora tanto la calidad como la fiabilidad de los resúmenes generados por máquinas. El trabajo sugiere que el razonamiento estructural es un componente crítico para mejorar el rendimiento de los LLM en tareas complejas de formato largo.