Resumen Técnico: RefQA – Un conjunto de datos de un millón de escalas para la resolución de preguntas de evidencia y citas clínicas entre documentos

Declaración del Problema

En la literatura clínica, las citas suelen poseer un peso semántico que va más allá de simples punteros; estas afirman que un artículo citado respalda afirmaciones específicas. Sin embargo, los estudios de auditoría indican que una fracción no trivial de las citas médicas tergiversa sus fuentes. Los recursos existentes no logran abordar esta brecha a escala: LongCite alinea las citas con respuestas dentro de documentos individuales, pero no sigue las citas hasta sus fuentes; OpCitance escala a millones de citas entre documentos, pero carece de una capa de resolución de preguntas (QA) semántica; y los recursos validados manualmente como CliniFact y MedAESQA son demasiado pequeños para un entrenamiento a gran escala. Existe la necesidad de un conjunto de datos legible por máquina y a gran escala que vincule las citas en el texto con la evidencia de respaldo específica en los artículos citados, expresada como pares de pregunta-respuesta verificables, para permitir la auditoría de las cadenas de atribución y el entrenamiento de sistemas de generación aumentada por recuperación (RAG) fieles.

Metodología

RefQA se construye mediante un flujo de trabajo determinista de múltiples etapas que procesa artículos de acceso abierto de PubMed Central (PMC). El flujo de trabajo consta de tres fases principales:

1. Adquisición y Extracción Estructural

• Fuente: 276 archivos XML JATS de PMC (instantáneas de 2026), que totalizan 145 GB.
• Análisis (Parsing): Un analizador personalizado extrae metadatos de los artículos, secciones del cuerpo (mapeadas a cubetas IMRaD) y eventos de cita en el texto (<xref ref-type="bibr">).
• Captura de Contexto: Para cada cita, el sistema registra el párrafo que la contiene, la oración que cita, el título de la sección, el recuento de cocitación y el ID específico del artículo citado.
• Enriquecimiento de Metadatos: Un índice Parquet ligero une los datos de PMC con los metadatos de PubMed y las métricas de iCite (incluyendo banderas is_clinical, el Ratio de Citación Relativa y el percentil de NIH).

2. Enriquecimiento Clínico-Clínico

Se aplica un estricto filtro "doble-clínico": un registro se conserva solo si tanto el artículo que cita como el artículo citado están marcados como is_clinical = True en iCite. Además, el artículo citado debe tener un resumen de PubMed no vacío para servir como verdad fundamental para las comprobaciones de fidelidad. Este filtro excluye las cadenas traslacionales (ciencia básica citando clínica) para asegurar que la cadena de evidencia permanezca dentro del dominio clínico, resultando en 1,582,658 registros para la extracción semántica.

3. Extracción Semántica con GLM-5.1-FP8

Los registros enriquecidos son procesados por el modelo GLM-5.1-FP8 bajo un prompt de sistema fijo para generar una estructura CitationQA en JSON estricto. El esquema impone:

• Distinciones Duales: Separar QUÉ afirma la cita (propósito) de CÓMO se presenta (tipo de evidencia).
• Fundamentación Verbatim: Si el artículo citado respalda la afirmación, el modelo debe extraer una subcadena literal (verbatim) del resumen citado.
• Mecanismo de Abstención: Si la cita es una discrepancia, el modelo debe poner en cero los campos de afirmación/respuesta y proporcionar un mismatch_reason.
• Extracción Estadística: Las afirmaciones numéricas activan un objeto estructurado de statistic_extraction.

El flujo de trabajo se ejecuta en una flota de cinco nodos de GPUs NVIDIA B200, completando la extracción en aproximadamente 72 horas.

Contribuciones Clave

1. Escala y Alcance: RefQA contiene 1,524,426 registros de evidencia-cita entre documentos, haciendo referencia a 347,247 artículos citados únicos a través de las principales especialidades clínicas (cardiovascular, oncología, enfermedades infecciosas). Este es el primer benchmark de gran escala de su tipo para la literatura clínica.
2. Fidelidad Verificable: El conjunto de datos incluye una cita literal del resumen citado para las afirmaciones respaldadas, lo que permite a los usuarios posteriores verificar la fidelidad mediante la coincidencia de subcadenas.
3. Esquema Estricto y Licenciamiento:
   • La salida sigue un esquema JSON estricto de 12 campos con restricciones condicionales.
   • Aborda la heterogeneidad de licencias proporcionando un subconjunto permisivo (561,795 registros, CC-BY/Dominio Público) y un corpus completo (1,524,426 registros) con columnas de licencia por registro.
4. Reproducibilidad: El flujo de trabajo es determinista, basándose en la extracción estructural basada en reglas e instantáneas fijas de 2026. El código, los prompts y las semillas se liberan bajo la licencia MIT.

Resultados y Validación Técnica

• Validez del Esquema: La ejecución de producción alcanzó una tasa de validación de esquema del 99.99994% (1,582,657/1,582,658 registros pasaron). Un único fallo residual fue excluido del depósito canónico.
• Fidelidad:
  • Coincidencia de Subcadena Laxa: El 96.03% de los registros que requieren cita contienen una subcadena que coincide con el resumen citado (considerando la normalización de espacios en blanco y guiones).
  • Coincidencia de Subcadena Exacta: El 89.12% son idénticos a nivel de bytes.
  • Impacto de la Truncación: Cero registros fallaron en fidelidad debido a la truncación del prompt de 3,500 caracteres, confirmando que la elección de ingeniería no comprometió la calidad de los datos.
• Anotación Humana: Un solapamiento estratificado de 250 registros fue anotado por dos revisores humanos (un candidato a doctorado y un médico certificado).
  • Acuerdo de Relevancia: Coeficiente $\kappa$ de Cohen = 0.68 (sustancial).
  • Fidelidad de la Afirmación: Coeficiente de Correlación Intraclase (ICC) = 0.72 (bueno).
  • Fidelidad de la Respuesta: ICC = 0.25 (bajo, reflejando la subjetividad de la puntuación de respuestas de múltiples frases).
• Acuerdo entre Modelos: Cuando fue re-anotado por GPT-5.4-mini y Claude Sonnet 4.6:
  • Diseño de Estudio: Acuerdo casi perfecto ($\kappa$ 0.80–0.87).
  • Campos Subjetivos: Acuerdo de regular a moderado ($\kappa$ 0.21–0.51) para relevancia y fuerza de soporte, indicando que estos campos están influenciados por el modelo.
• Ablación: Las decisiones de diseño (cubeta de residuo observacional y aclaración de QUÉ/POR QUÉ) redujeron las tasas de fallo del esquema en 234 veces en comparación con un prompt piloto.

Significado y Reivindicaciones

Los autores posicionan a RefQA como un recurso fundamental para:

1. Entrenamiento y Benchmarking: Permitir la resolución de preguntas clínicas fundamentadas en citas donde la cita literal sirve como un objetivo de fidelidad integrado.
2. Detección de Alucinaciones: Proporcionar una clase negativa natural (registros de discrepancia) y un subconjunto adversarial confirmado por humanos (10 registros) para evaluar sistemas de generación aumentada por recuperación.
3. Auditoría de Afirmación-Evidencia: Permitir la verificación de si la afirmación de un artículo que cita está realmente respaldada por la fuente citada.
4. Ajuste Fino Supervisado (SFT): Apoyar el entrenamiento de modelos de lenguaje médico sobre pares estructurados de cita-evidencia.

El artículo afirma modestamente que, si bien el conjunto de datos permite estas aplicaciones, los campos subjetivos (relevancia, fuerza de soporte) deben tratarse como influenciados por el modelo y no como canónicos, y los usuarios que requieran alta precisión en estas áreas deben confiar en el subconjunto de oro adjudicado por humanos o realizar una nueva extracción con modelos alternativos. El conjunto de datos no pretende cubrir cadenas traslacionales o revisiones sistemáticas (excluidas por el filtro is_clinical), centrándose en un corpus defendible de evidencia directa clínica-a-clínica.