RWGBench: Evaluating Scholarly Positioning in Related Work Generation

Resumen Técnico: RWGBench

Definición del Problema
El artículo aborda una brecha crítica en la evaluación de la Generación Automática de Trabajos Relacionados (RWG, por sus siglas en inglés). Si bien los Modelos de Lenguaje de Gran Escala (LLMs) demuestran una fuerte fluidez en la escritura científica, las métricas de evaluación existentes dependen en gran medida de enfoques orientados a la síntesis (por ejemplo, el solapamiento léxico o la similitud semántica con el texto de referencia). Los autores argumentan que la RWG es fundamentalmente distinta de la síntesis genérica; es una tarea de posicionamiento académico. Esta tarea requiere no solo la síntesis de texto, sino una toma de decisiones compleja a nivel de citación: seleccionar trabajos previos relevantes, organizarlos para resaltar vacíos y enmarcar la contribución del artículo objetivo en relación con la investigación existente. Las métricas actuales no logran detectar fallos académicamente críticos, tales como la selección inapropiada de citas, referencias mal ubicadas o la omisión de trabajos previos centrales, incluso cuando el texto generado parece fluido y coherente.

Metodología
Para abordar estas limitaciones, los autores introducen RWGBench, un benchmark diseñado para evaluar la RWG a través del prisma de la toma de decisiones de citación en lugar de la similitud textual superficial.

• Construcción del Conjunto de Datos:

  • Fuente: El benchmark se construye a partir de 40,108 artículos de ciencias de la computación publicados en arXiv entre 2020 y 2025.
  • Corpus de Recuperación: Se construyó un corpus a gran escala de 1.09 millones de documentos alineando las citas de los artículos de origen con el corpus SurGE y suplementando las entradas faltantes mediante la API de arXiv.
  • Conjunto de Prueba: Se curó un conjunto de prueba de alta fidelidad de 100 artículos. Estos artículos presentan secciones de trabajos relacionados escritas profesionalmente y poseen una tasa de cobertura de citación del 97.7% dentro del corpus de recuperación, lo que garantiza restricciones de evaluación realistas.

• Marco de Evaluación:
  En lugar de depender únicamente de ROUGE o BERTScore, los autores proponen un marco multidimensional que evalúa cuatro aspectos clave del posicionamiento académico:

  1. Adecuación de la Citación:
     • Precisión/Recuperación (Precision/Recall): Mide la alineación entre los conjuntos de citaciones generados y los de referencia (gold-standard).
     • Consistencia de Apoyo de la Afirmación (CSC): Utiliza la Inferencia de Lenguaje Natural (NLI) para verificar si el resumen del artículo citado respalda la afirmación específica en la oración generada.
     • Relevancia Temática (TRT): Mide la similitud semántica entre el artículo objetivo y los artículos citados a nivel de documento.
  2. Organización de la Citación:
     • Densidad de Citación (CD): Evalúa la tasa de citas por oración para detectar la sobrecitación o la falta de citas.
     • Equilibrio de Distribución de Citación (CDB): Mide la proporción de citas únicas para evaluar la diversidad frente a la dependencia repetitiva de un pequeño conjunto de artículos.
  3. Coherencia Estructural:
     • Similitud de Estructura de Posicionamiento (PSS): Compara la distribución de los roles discursivos (Antecedentes, Vacío, Posicionamiento) en el texto generado frente a las referencias humanas utilizando la divergencia de Jensen–Shannon.
  4. Calidad del Texto:
     • Incluye métricas estándar (ROUGE-L, BERTScore) y una puntuación de LLM-como-Juez (LLM-as-Judge), aunque los autores señalan que estas son suplementarias a las métricas centradas en la citación.

• Configuración Experimental:
  El estudio evalúa cuatro paradigmas de generación (RAG, ALCE, TAG, Workflow) a través de tres LLMs de vanguardia (DeepSeek-V3, Llama-3-8B, Qwen-2.5-7B) utilizando métodos de recuperación tanto dispersos (BM25) como densos. También se emplea un entorno "Oráculo" (Oracle), donde se proporcionan al modelo las citas de referencia para aislar los fallos de generación de los errores de recuperación.

Resultados Clave
Los experimentos en RWGBench revelan limitaciones sistemáticas en los sistemas actuales de RWG que quedan ocultas por las evaluaciones estándar:

1. Cuellos de Botella de Recuperación vs. Generación: Si bien la recuperación densa mejora la similitud semántica, produce mejoras marginales en la precisión de las citas. Los experimentos de Oráculo muestran que, incluso con las citas correctas, los modelos tienen dificultades con la ubicación y el enmarcado, pero el principal cuello de botella sigue siendo la recuperación.
2. Desacoplamiento de Fluidez y Precisión: Los modelos pueden generar texto fluido y con puntuaciones altas (según LLM-como-Juez o ROUGE) mientras fallan al identificar las citas necesarias o al seleccionar citas irrelevantes. Las métricas de superficie no logran detectar estos errores de razonamiento académico.
3. Desviaciones Organizativas Sistemáticas: Las secciones generadas exhiben una mayor densidad de citación y un menor equilibrio de distribución en comparación con las secciones escritas por humanos, lo que indica una tendencia hacia el énfasis repetitivo y la agrupación de citas.
4. Brecha de Justificación Contextual: Incluso cuando los modelos seleccionan los artículos correctos, tienen dificultades para integrarlos en una argumentación coherente (ubicación y enmarcado retórico). Esta brecha persiste incluso en los entornos de Oráculo.
5. Alineación de Métricas: La evaluación humana confirma que las métricas específicas de citación (CSC, TRT, Recall) se alinean significativamente mejor con el juicio de expertos (60–69% de precisión por pares) que las métricas de superficie como BERTScore (44.4%) o las puntuaciones de LLM-como-Juez (35.8%), que a menudo favorecen salidas fluidas pero deficientes en citación.

Significancia y Contribuciones
El artículo reclama cuatro contribuciones principales:

1. Reformulación: Reencuadra la RWG como una tarea de posicionamiento académico centrada en la toma de decisiones de citación, yendo más allá de la generación de texto.
2. Benchmark: Proporciona RWGBench, un benchmark realista con objetivos curados y un corpus de recuperación masivo para soportar la evaluación de extremo a extremo.
3. Marco de Trabajo: Introduce un marco de evaluación orientado al comportamiento que permite un diagnóstico detallado de los modos de fallo en la selección, ubicación y organización de citas.
4. Perspectiva Empírica: Expone las limitaciones críticas de los sistemas actuales, demostrando que la calidad de la recuperación y el razonamiento de la citación son desafíos distintos que las métricas estándar no logran capturar.

Los autores concluyen que RWGBench ofrece un banco de pruebas necesario para desarrollar sistemas de RWG que se alineen con las prácticas reales de la escritura académica, enfatizando que un benchmarking riguroso es esencial para comprender dónde la asistencia de los LLM es apropiada y dónde queda corta en tareas académicas trascendentales.