BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts

Resumen Técnico: BioDivergence

Planteamiento del Problema
La literatura biomédica contiene frecuentemente hallazgos que parecen estar en desacuerdo entre estudios. Sin embargo, muchos de estos aparentes desacuerdos no son contradicciones lógicas genuinas; más bien, son "divergencias condicionadas por el contexto" donde las afirmaciones siguen siendo localmente válidas bajo diferentes condiciones (por ejemplo, variaciones en cohortes, geografías, protocolos de ensayo o subtipos de enfermedades). Los benchmarks de Inferencia de Lenguaje Natural (NLI) y de verificación de afirmaciones científicas existentes (como FEVER, SciFact, VitaminC) suelen reducir estas relaciones a etiquetas planas (implicación, contradicción, neutral) o categorías de conflicto gruesas. Este enfoque colapsa la divergencia condicionada por el contexto en una única etiqueta de "contradicción", sobreestimando el desacuerdo en la literatura y fallando al evaluar una capacidad crítica para los sistemas de PLN biomédicos aguas abajo: la capacidad de recuperar la estructura contextual específica que explica por qué dos hallazgos divergen.

Metodología
Los autores presentan BioDivergence, un marco de evaluación diseñado para operacionalizar la recuperación de contradicciones contextuales ocultas. El marco se construye sobre tres componentes principales:

1. Ontología y Taxonomía:

   • Taxonomía de Conflictos: Una taxonomía de seis clases que distingue entre sin conflicto, contradicción directa, contradicción contextual, aparente contradicción no especificada, insuficiencia de evidencia y controversia científica no resuelta.
   • Ontología de Divergencia: Una ontología de 13 ejes que captura las dimensiones contextuales que impulsan el desacuerdo (por ejemplo, población, geografía, período de tiempo, protocolo de ensayo, diseño del estudio, subtipo de enfermedad, cepa de organismo, entorno clínico, etc.).

2. Formulación de la Tarea:
   El marco trata el análisis de contradicción como un problema estructurado de múltiples salidas. Para cada par de afirmaciones, el modelo debe predecir cuatro objetivos primarios:

   • Tipo de Conflicto: Selección de la taxonomía de seis clases.
   • Ejes de Divergencia: Identificación del subconjunto de ejes que explican la divergencia.
   • Confundidor Dominante: Selección del eje más explicativo.
   • Explicación de Reconciliación: Una explicación en lenguaje natural de cómo las afirmaciones coexisten o por qué persiste la tensión.
   • (Salida Escopada): La extracción de fragmentos de evidencia a nivel de afirmación se incluye en la v1.0 como una calibración de tiempo de lanzamiento bajo una regla de plata de "afirmación literal" (claim-verbatim), en lugar de como un benchmark de fundamentación maduro.

3. Construcción del Benchmark (BioDivergence-Silver-v1.0):

   • Pipeline de Datos: El benchmark se construye a partir de 202,180 resúmenes normalizados en cinco dominios biomédicos (AMR, oncología, enfermedades infecciosas, genómica, ensayos clínicos/epidemiología), produciendo 527,907 afirmaciones y 50,000 pares candidatos.
   • Anotación: Las etiquetas se generan mediante un pipeline de anotación "de plata" con esquema restringido utilizando LLMs (Qwen2.5-72B para el piloto, Q wen2.5-7B para el lanzamiento completo) con fallos de respaldo heurísticos y validación de esquema.
   • Diseño de División (Split): Una innovación crítica es la división primaria disjunta por artículo (11,865 pares: 10,183 entrenamiento / 840 desarrollo / 842 prueba). Esto asegura que no haya solapamiento de artículos, afirmaciones o IDs de pares entre las divisiones. Este diseño evita que los modelos alcancen puntuaciones altas mediante la memorización a nivel de artículo, forzándolos a aprender el razonamiento contextual. Se retiene una variante heredada a nivel de par únicamente para comparabilidad retrospectiva.

Contribuciones Clave

1. Formalización de la Contradicción Contextual: El artículo formaliza la tarea de recuperar por qué las afirmaciones biomédicas divergen, abordando un vacío dejado por la NLI plana y los benchmarks de conflicto de conocimiento.
2. Marco de Evaluación Estructurado: Introducción de una taxonomía de conflicto de seis clases y una ontología de divergencia de 13 ejes, junto con una especificación de tarea de cuatro objetivos primarios más uno escopado.
3. Lanzamiento de BioDivergence-Silver-v1.0: Un benchmark de plata a gran escala y disjunto por artículo con auditorías de fuga explícitas y análisis de sensibilidad.
4. Lente de Evaluación: Demostración de que la evaluación disjunta por artículo cambia fundamentalmente el ranking de los modelos, separando la memorización de artículos del aprendizaje de razonamiento contextual.

Resultados Experimentales

• Caída de Rendimiento debido al Control de Fuga (Leakage): Al pasar de la variante heredada a nivel de par (que permite el solapamiento de artículos) a la división primaria disjunta por artículo, el F1 de contradicción contextual del modelo de referencia ajustado cae aproximadamente 12 puntos (de ~0.521 a ~0.401). Esto indica que una parte significativa del rendimiento en los benchmarks previos de nivel de par fue impulsada por la memorización a nivel de artículo.
• Rendimiento Zero-Shot: La evaluación de prueba primaria completa de 842 ejemplos con Mistral-7B-Instruct-v0.3 (zero-shot) logra una precisión de 0.5523 y un contextual-F1 de 0.3894. Esto confirma que la señal es recuperable por baselines independientes de la familia de anotadores sin fuga de artículos.
• Dificultad de la Tarea: La extracción del eje de divergencia y la predicción del confundidor dominante siguen siendo difíciles para todos los sistemas, rezagándose respecto a la precisión del tipo de conflicto. Esto sugiere que recuperar por qué las afirmaciones divergen es más difícil que decidir si lo hacen.
• Especialización de Modelos: Los LLM zero-shot dominan la clasificación gruesa y la generación de reconciliación, mientras que los modelos de referencia ajustados rinden mejor en la detección contextual y la predicción de confundidores en los splits heredados. Los baselines basados en recuperación dominan la extracción de fragmentos de evidencia (por construcción de la regla de literalidad).
• Fiabilidad: El benchmark soporta de manera fiable la evaluación para dos clases de conflicto (sin conflicto y contradicción contextual) y nueve de los trece ejes de divergencia en la v1.0.

Significancia y Reivindicaciones
El artículo sostiene que BioDivergence proporciona un lente de evaluación necesario que separa la divergencia contextual de la contradicción directa. Al imponer divisiones disjuntas por artículo, aísla la memorización a nivel de artículo del aprendizaje de la tarea, ofreciendo una evaluación más honesta de las capacidades de razonamiento contextual de un modelo. Los autores posicionan BioDivergence-Silver-v1.0 no como un recurso de oro curado por expertos, sino como un benchmark de plata estructurado y a gran escala que expone tareas de razonamiento de múltiples componentes previamente no evaluadas. El marco destaca que las etiquetas de contradicción planas son insuficientes para el PLN biomédico, ya que oscurecen la naturaleza matizada y dependiente del contexto del desacuerdo científico. Se señala que el trabajo futuro extenderá la anotación, la fundamentación y la calibración de oro, pero la v1.0 se presenta como una herramienta funcional para la evaluación consciente de las fugas de información.