MedConclusion: A Benchmark for Biomedical Conclusion Generation from Structured Abstracts

1. Planteamiento del Problema

A pesar de las capacidades de razonamiento demostradas por los Modelos de Lenguaje Grandes (LLMs) en tareas complejas, existen recursos limitados para evaluar su capacidad de inferir conclusiones científicas a partir de evidencia estructurada.

• El desafío: La generación de conclusiones es una tarea distinta a la de resumen o respuesta a preguntas. Requiere sintetizar hallazgos (Background, Métodos, Resultados) para derivar una afirmación final sin introducir contexto no proporcionado.
• Limitaciones existentes: Los conjuntos de datos anteriores son demasiado estrechos (enfocados solo en ensayos controlados aleatorios o notas específicas), carecen de metadatos a nivel de revista (como prestigio o categoría biomédica) o tratan la generación de conclusiones solo como un objetivo de entrenamiento en lugar de una tarea de razonamiento reutilizable. Además, la evaluación de este tipo de generación abierta es difícil debido a la variabilidad en la redacción y la falta de métricas robustas más allá de la superposición léxica.

2. Metodología y Construcción del Dataset

Los autores presentan MedConclusion, un dataset a gran escala diseñado específicamente para la generación de conclusiones biomédicas.

• Recopilación de Datos:
  • Se extrajeron 5.7 millones de resúmenes estructurados de PubMed publicados entre 2000 y 2025.
  • Se filtraron utilizando el criterio hasstructuredabstract y se eliminaron duplicados.
  • Se aplicó limpieza basada en reglas para asegurar que los registros tuvieran al menos tres secciones (Background, Methods, Results) y una sección de Conclusión.
• Estructura de la Tarea:
  • Entrada ($x$): Concatenación de las secciones Background, Methods y Results (sin la conclusión).
  • Salida Objetivo ($y^*$): La conclusión original escrita por los autores.
  • Metadatos: Cada instancia incluye información de la revista, categoría biomédica y puntuación SJR (SCImago Journal Rank) para permitir análisis por subgrupos.
• Configuración Experimental:
  • Se evaluaron diversos LLMs (modelos de propósito general, de razonamiento, multimodales y de código abierto).
  • Se probaron cuatro modos de prompting:
    • A y C: Generación de conclusiones (C con restricciones de longitud y estilo).
    • B y D: Generación de resúmenes (D con restricciones).
  • Evaluación Híbrida:
    1. Métricas basadas en referencia: ROUGE, BLEU, similitud de coseno en embeddings, y ratios de longitud.
    2. LLM-as-a-Judge: Un evaluador (GPT-5.4-mini y Gemini 3 Flash) puntuó cinco dimensiones en una escala de 0-100: similitud semántica, similitud de estilo de escritura, tasa de no contradicción, consistencia numérica y similitud de formalidad.

3. Contribuciones Clave

1. Dataset MedConclusion: La creación del primer recurso a gran escala (5.7M ejemplos) que empareja secciones de evidencia no conclusivas con conclusiones originales de autores, cubriendo 3,772 revistas y 141 categorías biomédicas.
2. Análisis de Metadatos: La inclusión de datos de revistas (SJR y categorías) permite estudiar cómo la dificultad de la tarea varía según el prestigio del venue y el subcampo biomédico.
3. Estudio Empírico Inicial: Una evaluación exhaustiva que demuestra que la generación de conclusiones es funcionalmente distinta a la de resúmenes y que las métricas automáticas actuales tienen limitaciones significativas.

4. Resultados Principales

• Distinción Conductual (Conclusión vs. Resumen):
  • Los modelos que generan resúmenes (Modo B/D) tienden a mantener la similitud semántica pero fallan drásticamente en la consistencia numérica y la similitud de estilo en comparación con las conclusiones reales.
  • Esto indica que escribir una conclusión es una función discursiva específica que requiere una selección de detalles y un tono diferente a un resumen general.
• Agrupamiento de Modelos Fuertes:
  • Los modelos más avanzados (GPT-5.4, Gemini 3.1 Pro, DeepSeek-V3.2) muestran un rendimiento muy similar bajo las métricas actuales, con diferencias de apenas unos puntos. Esto sugiere que las métricas de referencia estándar (ROUGE) no logran discriminar bien entre los modelos de vanguardia en esta tarea.
• Sensibilidad del Evaluador (Judge Sensitivity):
  • Los puntajes absolutos varían significativamente dependiendo de qué modelo actúa como "juez" (GPT-5.4 vs. Gemini 3 Flash). Aunque el ranking relativo de los modelos se mantiene estable, la escala de puntuación absoluta es altamente dependiente del juez, lo que subraya la necesidad de protocolos de evaluación robustos.
• Análisis por Categoría y Prestigio:
  • Existe una correlación positiva débil pero significativa entre el SJR de la revista y la facilidad de generar conclusiones (mayor superposición léxica y estilo en revistas de alto prestigio).
  • Las categorías interdisciplinarias y no clínicas (como "Software" o "Aplicaciones de Ciencias de la Computación") presentan la mayor dificultad para la generación de conclusiones, mostrando perfiles de rendimiento irregulares.
  • Hallazgo Crítico: La superposición léxica (ROUGE) no es un proxy confiable para la calidad general. Categorías con alto ROUGE pueden tener baja consistencia numérica o de estilo, mientras que una alta similitud semántica correlaciona mejor con un rendimiento holístico.

5. Significado e Impacto

MedConclusion establece un nuevo estándar para la evaluación del razonamiento científico en IA.

• Más allá del resumen: Demuestra que la capacidad de resumir no implica necesariamente la capacidad de inferir conclusiones científicas precisas, una distinción crucial para la asistencia en la investigación.
• Evaluación Robusta: Propone que la evaluación de tareas científicas abiertas no puede depender únicamente de métricas de superposición léxica, sino que requiere una combinación de métricas basadas en reglas y evaluadores de LLM multidimensionales.
• Recurso Reutilizable: Proporciona a la comunidad científica un recurso masivo para entrenar y probar modelos en la tarea de "evidencia-a-conclusión", facilitando el desarrollo de herramientas de IA que puedan asistir genuinamente en el descubrimiento científico y la síntesis de literatura médica.

El código y los datos están disponibles públicamente en el repositorio de GitHub del laboratorio de Harvard AI and Robotics.