Resumen Técnico: OARelatedWork

Planteamiento del Problema

La generación de secciones de "Trabajos Relacionados" es un desafío crítico pero insuficientemente abordado en el Procesamiento de Lenguaje Natural (NLP). Si bien la generación de trabajos relacionados extiende la síntesis de documentos múltiples, requiere de manera única no solo resumir artículos de referencia, sino también posicionar un trabajo objetivo dentro de la investigación previa mediante un discurso comparativo. Los enfoques existentes enfrentan tres limitaciones primarias:

1. Restricciones de Entrada: La mayoría de los conjuntos de datos y modelos dependen exclusivamente de los resúmenes (abstracts) de los artículos debido a la dificultad técnica de procesar entradas de texto completo extensas. Esto restringe la capacidad del modelo para sintetizar conocimientos profundos y fundamentados en evidencia.
2. Granularidad de Salida: Los benchmarks previos suelen limitar la generación a párrafos únicos, fallando al evaluar la capacidad de un modelo para producir capítulos de trabajos relacionados bien estructurados y de múltiples secciones.
3. Insuficiencia de la Evaluación: Las métricas estándar basadas en referencias (p. ej., ROUGE, BERTScore) son insuficientes para la generación estructurada y de largo formato. Tienen dificultades para evaluar la fidelidad fáctica y a menudo no correlacionan con el juicio humano en escenarios de contexto largo.

Además, el campo carece de un conjunto de datos a gran escala donde cada artículo citado en las divisiones de validación y prueba esté disponible en texto completo, lo que impide una evaluación controlada de las capacidades de síntesis de texto completo.

Metodología

Construcción del Conjunto de Datos: OARelatedWork

Los autores introducen OARelatedWork, el primer conjunto de datos de síntesis de documentos múltiples a gran escala diseñado para generar secciones enteras de trabajos relacionados a partir de fuentes de acceso abierto.

• Fuente del Corpus: El conjunto de datos se construye fusionando el corpus CORE (5.4M de documentos en formato XML/TEI) y el corpus de Semantic Scholar (129.2M de documentos, incluyendo datos de S2ORC y API).
• Pipeline de Procesamiento:
  • Vinculación de Bibliografía: Un proceso de múltiples etapas utilizando Microsoft Academic Graph (MAG), el grafo de citas de Semantic Scholar y un buscador personalizado para vincular las citas con documentos de texto completo. Esto aumentó las entradas bibliográficas identificadas en un 0.6% (aprox. 11.6M de enlaces).
  • Filtrado: Los documentos fueron filtrados para asegurar que las secciones de trabajos relacionados contengan al menos tres oraciones, citen al menos dos documentos y tengan textos completos vinculados para todos los artículos citados en las divisiones de validación y prueba.
  • Estructura: Los datos se representan en JSON con una estructura de árbol jerárquico (secciones, subsecciones, párrafos, oraciones) para facilitar futuros casos de uso.
• Estadísticas: El conjunto de datos final contiene 94,450 artículos con secciones de trabajos relacionados y 5.8 millones de artículos citados únicos. Crucialmente, los conjuntos de validación y prueba garantizan la disponibilidad del 100% del texto completo para las referencias citadas, una característica ausente en conjuntos de datos previos como S2ORC, Delve y Multi-XSci.

Definición de la Tarea

La tarea consiste en generar una sección de trabajos relacionados $Y$ dado:

1. Una combinación de tipos de contenido de entrada (resúmenes y/o textos completos del artículo objetivo y de los artículos citados).
2. Una longitud objetivo $L$.
3. Instrucciones estructurales (si se deben usar subsecciones).

El sistema debe sintetizar información de múltiples fuentes para producir una narrativa coherente y estructurada.

Marco de Evaluación

Para abordar la insuficiencia de las métricas tradicionales, los autores proponen un marco de evaluación a nivel de sentencia (statement-level):

• Jueces LLM: Se utiliza un modelo Gemma 4 31B cuantizado (sin razonamiento) como juez para extraer sentencias fácticas del texto generado y clasificarlas en cuatro categorías: Verdadero, Verdadero pero con cita incorrecta, Inverificable y Falso.
• Evaluación Humana: Se realizó una evaluación humana detallada en 40 artículos (120 secciones, 408 sentencias) para validar los jueces LLM y evaluar la fidelidad, relevancia y calidad del lenguaje.
• Métricas: Además de las métricas de fidelidad a nivel de sentencia, el estudio reporta puntuaciones ROUGE, BERTScore y F1 de cobertura de citas.

Contribuciones Clave

1. Dataset OARelatedWork: Un recurso a gran escala que permite la transición de la síntesis basada solo en resúmenes hacia la generación de trabajos relacionados de texto completo. Proporciona el primer benchmark donde los conjuntos de prueba garantizan el acceso al texto completo de todas las referencias citadas.
2. Análisis Empírico de la Escritura Humana: A través de la evaluación humana, los autores revelan que los autores humanos frecuentemente introducen afirmaciones abstractivas que no están fundamentadas en los textos fuente localizados (altas tasas de "Inverificable" en evaluaciones estrictas).
3. Baselines de LLM vs. Humanos: El estudio demuestra que los LLM avanzados (específicamente GPT-4o-mini) pueden superar a los baselines humanos en cuanto a la fáctica estricta y fundamentada en evidencia cuando se evalúan contra el contexto proporcionado.
4. Meta-evaluación de Métricas: El artículo demuestra que las métricas estándar basadas en referencias son inadecuadas para esta tarea. Valida el uso de jueces basados en LLM para una evaluación confiable de la generación estructurada de largo formato.

Resultados

Rendimiento de los Modelos

Los autores evaluaron un espectro de modelos, incluyendo baselines extractivos (LEAD, TextRank), un modelo de síntesis de documentos múltiples ajustado (PRIMERA) y LLMs zero-shot (Llama 3.2 3B, GPT-4o-mini).

• Impacto de las Entradas de Texto Completo: Proporcionar textos completos en lugar de resúmenes desafía significativamente a los modelos. Para GPT-4o-mini, la tasa de evidencia fundamentada "Verdadera" cayó del 92.9% (solo resúmenes) al 83.8% (textos completos), acompañada de incrementos en las tasas de "Cita Incorrecta" e "Inverificable". Esto sugiere que la síntesis de contextos masivos de texto completo sigue siendo un desafío significativo incluso para los LLM modernos.
• Extractivo vs. Abstractivo: Los baselines extractivos lograron puntuaciones "Verdaderas" muy altas (95–99%), pero esto se atribuye a la reutilización del texto fuente en lugar de la síntesis. Por el contrario, los modelos abstractivos mostraron mayores tasas de alucinación o errores de citación, pero mejor coherencia.
• Humano vs. Modelo: En una evaluación humana por pares, GPT-4o-mini dominó abrumadoramente tanto a PRIMERA como a los autores humanos en Relevancia, Lenguaje y Clasificación General. En Fidelidad, GPT-4o-mini empató estadísticamente con PRIMERA pero superó a los autores humanos en la fáctica estricta a nivel de sentencia.

Comportamiento de la Escritura Humana

El análisis de 408 sentencias escritas por humanos reveló:

• Alta Inverificabilidad: Los autores humanos presentaron una alta tasa de sentencias "Inverificables" (18.5% en el conjunto de oro), a menudo debido a la integración de información distribuida a través del documento en lugar de depender de extensiones de evidencia localizadas.
• Errores de Citación: Los humanos introdujeron frecuentemente afirmaciones no fundamentadas en el texto fuente localizado específico, lo que llevó a una mayor tasa de clasificaciones de "Verdadero pero con cita incorrecta" o "Inverificable" bajo una evaluación estricta.

Validación de Métricas

La meta-evaluación confirmó que las métricas basadas en referencias (ROUGE, BERTScore) correlacionan pobremente con el juicio humano en esta tarea. Los jueces basados en LLM (específicamente Gemini 3.1 Pro y Gemma 4) mostraron una fuerte correlación con las anotaciones humanas, validando el marco de evaluación de nivel de sentencia propuesto.

Significado y Reivindicaciones

El artículo afirma que OARelatedWork desplaza el campo hacia un paradigma de sección completa realista mediante el aprovechamiento de contextos exhaustivos de texto completo. Su principal significancia radica en:

• Desafiar el Status Quo: Demuestra que ir más allá de los resúceres para la síntesis de texto completo es necesario para una generación realista de trabajos relacionados, a pesar del aumento en la dificultad.
• Reevaluar los Baselines Humanos: Desafía la suposición de que la escritura humana es el estándar de oro para la fidelidad fáctica en este contexto, mostrando que los LLM pueden estar más estrictamente fundamentados en la evidencia proporcionada.
• Estándares de Evaluación: Establece que las métricas estándar son insuficientes para salidas estructuradas de largo formato e introduce un marco de evaluación robusto a nivel de sentencia como el nuevo estándar para este dominio.

Los autores concluyen que, si bien los modelos actuales luchan con el volumen masivo de contexto de texto completo, la combinación de datos estructurados, anotaciones fácticas finas y marcos de evaluación especializados proporciona una base necesaria para la investigación futura en la escritura científica automatizada.