Resumen Técnico: Menos es Más: Selección de Datos de Entrenamiento Consciente de la Calidad para la Resumen Científico

Planteamiento del Problema

El resumen de documentos científicos largos enfrenta dos desafíos principales. Primero, los conjuntos de datos existentes suelen tratar los resúmenes (abstracts) escritos por los autores como referencias "oro" sin verificar su alineación con el texto completo de la fuente. Investigaciones previas indican que los resúmenes pueden divergir de los artículos completos mediante omisiones, inconsistencias, reportes selectivos o interpretaciones excesivamente fuertes, lo que conduce a señales de supervisión poco fiables y objetivos de evaluación que pueden no reflejar la veracidad fundamentada en la fuente. Segundo, los conjuntos de datos de resumen científico disponibles públicamente, como el ampliamente utilizado benchmark PubMed, están limitados en escala y carecen de la estructura jerárquica de documentos requerida para los modelos de lenguaje de gran tamaño (LLMs) de contexto largo modernos. Estas limitaciones comprometen la fiabilidad de las señales de supervisión y la adecuación de los benchmarks actuales para los sistemas de resumen contemporáneos.

Metodología

Construcción del Conjunto de Datos: PMC-Large

Los autores construyeron y lanzaron PMC-Large, un conjunto de datos a gran escala derivado de artículos de Acceso Abierto de PubMed Central (PMC).

• Escala: El corpus final contiene 1.88 millones de pares artículo-resumen.
• Estructura: A diferencia de los conjuntos de datos anteriores que utilizan texto plano, PMC-Large serializa los cuerpos de los artículos en un formato de estilo Markdown. Esto preserva la jerarquía de las secciones (usando marcadores de encabezado) y las pistas estructurales directamente en la entrada del modelo, lo cual es crítico para los LLMs de contexto largo.
• Normalización: El contenido no narrativo (p. ej., referencias, agradecimientos, declaraciones de financiación) se filtra mediante un filtro de tres pasos basado en etiquetas XML, atributos JATS y patrones regex. Los elementos no textuales (figuras, tablas, fórmulas, código) se reemplazan con marcadores de posición explícitos (p. ej., [FIG_REF], [MATH], [CODE]) para mantener el contexto estructural sin tokenizar contenido irrelevante.
• Filtrado: El corpus se restringe a artículos en inglés con licencias permisivas (CC BY, CC0). Se eliminan los ejemplos con fuga de objetivo (donde el resumen aparece en el cuerpo). El filtrado de longitud retiene artículos entre los percentiles 10 y 80 de la distribución de tokens para evitar valores atípicos.

Análisis de Calidad

Para evaluar la fiabilidad de los resúmenes escritos por los autores, los autores analizaron un subconjunto de 10,000 artículos utilizando cuatro métricas basadas en modelos y fundamentadas en la fuente, en lugar de las métricas tradicionales basadas en la referencia (como ROUGE):

1. AlignScore: Mide la alineación entre el resumen y la fuente.
2. FineSurE: Detecta errores fácticos a nivel de oración.
3. SummaC (ZS): Una métrica basada en NLI que utiliza un núcleo biomédico (PubMedBERT-MNLI-MedNLI) para verificar si las afirmaciones del resumen están implicadas por la fuente.
4. G-Eval: Un juez basado en LLM que evalúa la consistencia fáctica, coherencia y relevancia.

El análisis reveló que, si bien muchos resúmenes puntúan alto, existe una varianza significativa en la calidad. Las métricas mostraron solo una concordancia parcial (p. ej., SummaC tuvo una correlación débil con las otras), lo que indica que ninguna métrica única captura plenamente la calidad de la referencia.

Experimentos de Selección de Datos Consciente de la Calidad

Los autores realizaron experimentos de Ajuste Fino Supervisado (SFT) utilizando Qwen2.5-3B como modelo base para probar si la selección de ejemplos de alta calidad mejora el rendimiento.

• Configuración: Los modelos fueron entrenados en subconjuntos de tamaños variables (1K, 2K, 5K, 10K) seleccionados según las puntuaciones de las métricas (AlignScore, FineSurE, SummaC, G-Eval o un agregado de todas).
• Baselines: El rendimiento se comparó contra el muestreo aleatorio del mismo tamaño y el entrenamiento en el pool de candidatos completo (5K o 100K).
• Evaluación: Los modelos fueron evaluados en un conjunto de prueba de 500 ejemplos mantenidos fuera del entrenamiento utilizando las mismas cuatro métricas fundamentadas en la fuente.

Contribuciones Clave

1. Conjunto de Datos PMC-Large: Lanzamiento de un conjunto de datos de 1.88M de artículos-resúmenes formateado específicamente para LLMs de contexto largo con estructura jerárquica preservada y elementos no textuales normalizados.
2. Análisis de Calidad de Referencia: Un análisis a gran escala que demuestra que los resúmenes escritos por autores varían significativamente en su alineación con los artículos fuente, desafiando la suposición de una fiabilidad uniforme.
3. Estrategia de Selección Consciente de la Calidad: Evidencia empírica de que el entrenamiento en subconjuntos seleccionados por métricas de calidad fundamentadas en la fuente supera al muestreo aleatorio en tamaños equivalentes. Además, los subconjuntos más pequeños y de alta calidad pueden igualar o exceder el rendimiento de subconjuntos aleatorios más grandes en métricas orientadas a la veracidad.

Resultados

• Varianza de Métricas: En el análisis de 10,000 artículos, los resúberes mostraron una amplia distribución de puntuaciones de calidad. Por ejemplo, AlignScore tuvo una mediana de 0.626 pero un decil inferior por debajo de 0.473.
• Eficiencia de Selección:
  • Escala Pequeña (Pool de 5K): Un modelo entrenado en un subconjunto de 1K seleccionado por una métrica agregada (promediando los rangos de percentiles de las cuatro métricas) superó a un modelo entrenado en un subconjunto aleatorio de 1K en todas las métricas. Notablemente, este modelo de 1K seleccionado igualó o excedió el rendimiento de un modelo entrenado en el pool completo de 5K en la mayoría de las métricas.
  • Escala Grande (Pool de 100K): Al escalar el pool de candidatos a 100K y utilizar AlignScore para la selección, los subconjuntos seleccionados superaron consistentemente a los subconjuntos aleatorios del mismo tamaño. Un modelo de 5K seleccionado por AlignScore logró una puntuación general superior que el modelo entrenado en el pool completo de 100K.
  • Selección en Dos Etapas: Un enfoque de dos etapas (filtrar 100K a 10K vía AlignScore, luego reordenar con múltiples métricas) produjo los mejores resultados generales. El modelo Aggregate-All 5K alcanzó las puntuaciones más altas en toda la tabla para Overall, SummaC y FineSurE.
• Especificidad de la Métrica: Diferentes métricas de selección favorecieron distintos resultados (p. ej., la selección por AlignScore maximizó AlignScore y FineSurE, mientras que la selección por G-Eval maximizó G-Eval), lo que respalda el uso de señales agregadas para un rendimiento equilibrado.

Significado y Afirmaciones

El artículo afirma que la calidad de la referencia es un factor crítico en el resumen científico. Los autores argumentan que los resúmenes escritos por autores son objetivos de supervisión útiles, pero no son uniformemente fiables. En consecuencia, la selección de datos consciente de la calidad sirve como un mecanismo simple pero efectivo para mejorar la eficiencia del entrenamiento y el rendimiento orientado a la veracidad.

Los hallazgos sugieren que "menos es más" en el contexto del entrenamiento de datos: seleccionar un subconjunto más pequeño de ejemplos de alta calidad puede producir resultados mejores o comparables a entrenar con conjuntos de datos mucho más grandes y sin filtrar. Esto desafía la suposición prevalente de que más datos siempre es mejor, proponiendo en su lugar que la calidad de la señal de supervisión, medida por la alineación con la fuente, es un factor más decisivo para el rendimiento del modelo en el resumen científico.

Limitaciones Reconocidas por los Autores:

• Dependencia de métricas automáticas que pueden no capturar todos los aspectos de la calidad y que no fueron diseñadas específicamente para dominios biomédicos.
• Experimentos realizados en subconjuntos del corpus completo de 1.88M debido a restricciones computacionales.
• Resultados basados en un único modelo base (Qwen2.5-3B) y configuración de entrenamiento, lo que limita la generalizabilidad a otras arquitecturas.
• Posible propagación de sesgos desde los resúmenes originales escritos por autores hacia los modelos entrenados.
• El conjunto de datos está limitado a artículos de Acceso Abierto de PMC en inglés.