ScholarSum: Student-Teacher Abstractive Summarization via Knowledge Graph Reasoning and Reflective Refinement

Resumen Técnico de ScholarSum: Resumen Abstractivo de Estudiante-Profesor mediante Razonamiento de Grafos de Conocimiento y Refinamiento Reflexivo

Definición del Problema
El resumen abstractivo de la literatura científica enfrenta una tensión fundamental entre dos requisitos: fluidez lingüística y fidelidad fáctica. Los métodos extractivos existentes suelen preservar los hechos pero interrumpen la coherencia lógica a nivel macro debido al empalme rígido de oraciones. Por el contrario, los enfoques generativos basados en Modelos de Lenguaje de Gran Escala (LLM) sobresalen en fluidez, pero frecuentemente sufren de alucinaciones y una consistencia fáctica limitada, particularmente al manejar textos científicos extensos y complejos. El desafío central abordado por este trabajo es cómo reconciliar estas demandas contrapuestas para producir resúmenes que sean tanto coherentes como estrictamente fundamentados en la evidencia del documento fuente.

Metodología
Los autores proponen ScholarSum, un marco jerárquico reflexivo basado en grafos que emula un proceso de escritura humano de "estudiante-profesor". La metodología opera a través de tres etapas primarias:

1. Construcción de Grafos Jerárquicos:
   El sistema primero segmenta el documento fuente en unidades semánticamente coherentes y construye un grafo de conocimiento $G = (V, E)$. Se extraen y tipifican entidades (por ejemplo, tareas, métodos, conjuntos de datos, métricas), mientras que se detectan relaciones (por ejemplo, aborda, utiliza, evalúa-en) entre ellas. Para capturar la lógica global, el grafo se particiona en comunidades utilizando el algoritmo de Leiden, creando una estructura multicapa donde cada comunidad representa un hilo temático enfocado. Esta estructura sirve como un espacio de trabajo semántico manipulable para la planificación.

2. Generación de Resumen del Estudiante:
   Actuando como el "estudiante", el modelo utiliza el grafo jerárquico para generar un borrador inicial. Este proceso involucra dos operaciones complementarias:

   • Planificación Temática: El modelo navega la estructura de comunidades para determinar el orden y la cobertura de los temas, tratando cada comunidad como un episodio candidato en el resumen.
   • Redacción Fundamentada en Evidencia: El modelo consulta tripletes salientes (por ejemplo, configuraciones experimentales, resultados cuantitativos) del grafo para formar un subgrafo de contexto. Genera sub-resúmenes para cada tema y los concatena en un borrador. Esto asegura que el borrador esté organizado lógicamente y anclado en evidencia específica.

3. Refinamiento tipo Profesor:
   Un módulo "profesor" evalúa iterativamente el borrador del estudiante para imponer consistencia fáctica.

   • Recuperación: El profesor recupera $k$ artículos similares y sus resúmenes de un corpus de referencia para establecer estándares dentro del dominio en cuanto a estructura, terminología y detalle.
   • Evaluación: El borrador se califica frente a estas referencias. El profesor genera una puntuación de calidad y retroalimentación estructurada que identifica contribuciones faltantes, errores fácticos o inconsistencias lógicas.
   • Revisión Iterativa: Basándose en la puntuación, el sistema decide una acción: Aceptar (si la puntuación supera un umbral alto), Revisión Menor (ediciones ligeras para claridad), o Revisión Mayor (devolviendo la retroalimentación al estudiante para la replanificación y reescritura). Este ciclo continúa hasta que se alcanza el umbral de calidad o se agota el presupuesto de iteración.

Contribuciones Clave

• Diseño del Marco: La introducción de un marco de grafo reflexivo jerárquico que separa explícitamente la planificación estructural global (vía detección de comunidades) de la fundamentación de evidencia de grano fino.
• Mecanismo Estudiante-Profesor: Un proceso iterativo novedoso que desacopla la generación de la evaluación, utilizando un revisor tipo profesor para identificar y corregir sistemáticamente el contenido no sustentado, reduciendo así las alucinaciones sin sacrificar la fluidez.
• Integración de Evidencia Estructurada: El método aprovecha un grafo de conocimiento no solo como una representación estática, sino como un espacio de trabajo activo para la planificación estructurada y la recuperación de evidencia dirigida, abordando las limitaciones de los enfoques puramente extractivos y de los generativos estándar.

Resultados Experimentales
Se realizaron experimentos extensos en los benchmarks de resumen científico ArXiv y PubMed. ScholarSum fue comparado contra modelos tradicionales de codificador-decodificador (T5, LED, PEGASUS), estrategias de prompting de LLM (SumCoT, prompting de QA) y líneas base de RAG ingenuo (Naive RAG).

• Desempeño: ScholarSum superó consistentemente a todas las líneas base en métricas léxicas (ROUGE-1, ROUGE-2, ROUGE-L) y métricas semánticas (METEOR, BERTScore). La brecha de desempeño fue particularmente pronunciada en PubMed, un conjunto de datos caracterizado por datos experimentales densos y terminología especializada.
• Consistencia Fáctica: Utilizando la métrica MiniCheck, el marco demostró una fiabilidad fáctica superior. Los estudios de ablación confirmaron que eliminar ya sea la fundamentación fáctica (módulo estudiante) o la revisión guiada por el profesor (módulo profesor) degradaba significamente el desempeño, siendo el módulo profesor crítico para corregir errores de selección de contenido y organización del discurso.
• Estabilidad: El marco mostró una alta consistencia a través de múltiples semillas aleatorias, indicando robustez contra el ruido de decodificación estocástica.

Significancia y Reivindicaciones
El artículo afirma que ScholarSum resuelve efectivamente el conflicto inherente entre fluidez y fidelidad en el resumen científico. Al modelar la estructura a nivel de documento para asegurar la coherencia global y emplear la refinación iterativa para corregir errores fácticos de grano fino, el sistema logra un nivel de completitud y precisión que las líneas base anteriores no pudieron alcanzar. Los autores sostienen que su enfoque es particularmente efectivo para dominios técnicos que requieren alta precisión, como la medicina y la ciencia de la computación, donde mantener la integridad de los resultados experimentales y los detalles metodológicos es primordial. El trabajo destaca el valor de combinar el razonamiento de grafos estructurados con la generación reflexiva impulsada por retroalimentación para mejorar la fiabilidad de los LLM en contextos científicos.