Can Large Language Models Detect Contradicted Biomedical Evidence? A Dual-Annotator Benchmark Audit

Resumen Técnico: ¿Pueden los Modelos de Lenguaje de Gran Escala Detectar Evidencia Biomédica Contradictoria?

Planteamiento del Problema
Los sistemas de respuesta a preguntas (QA) biomédicas dependen cada vez más de la Generación Aumentada por Recuperación (RAG) para fundamentar sus respuestas en la literatura recuperada. Sin embargo, existe un modo de fallo crítico donde las respuestas generadas no están respaldadas por la evidencia recuperada o la contradicen activamente. Este estudio aborda dos brechas específicas en la evaluación actual: (1) si la integración de señales de Grafos de Conocimiento (KG) en la recuperación mejora la precisión de la respuesta, y (2) si los verificadores automatizados (LLMs y clasificadores) pueden detectar de manera fiable cuándo la evidencia contradice una respuesta generada. Los autores señalan que, si bien la precisión a nivel de respuesta es una métrica estándar, es insuficiente para evaluar la confiabilidad de un sistema si la evidencia subyacente no respalda la conclusión.

Metodología
El estudio empleó un diseño experimental de doble vertiente utilizando el conjunto de datos PubMedQA:

1. Auditoría de Recuperación Guiada por KG (KG-RRAG):

   • Configuración: Se comparó un módulo de reordenamiento (KG-RRAG) frente al RAG estándar de similitud vectorial sobre 300 preguntas estratificadas de PubMedQA.
   • Mecanismo: El KG-RRAG construyó grafos biomédicos específicos para cada consulta (vinculando entidades con conceptos de UMLS) y fusionó tres señales para el reordenamiento: similitud vectorial ($\alpha$), traslape de entidades ($\beta$) y centralidad de estructura de grafo ($\gamma$).
   • Generación: Ambos sistemas utilizaron glm-5.1 como generador. El estudio controló las variables de generación, aislando el impacto del ordenamiento de la evidencia.

2. Benchmark de Verificación Evidencia-Respuesta:

   • Conjunto de Datos: Se construyó un conjunto de retención (Set B, $n=150$) con estándares de oro etiquetados por humanos: Respaldado (81), Insuficiente (46) y Contradicho (23).
   • Verificadores: El estudio evaluó un espectro de arquitecturas:
     • Basados en LLM: GPT-5.5, DeepSeek-v4-pro y glm-5.1 utilizando dos estrategias de prompting: una clasificación directa simple (E1) y un prompt estructurado de "contradicción primero" (V2.1).
     • Basados en Clasificadores: DistilBERT-MNLI (dominio general) y PubMedBERT-MedNLI (dominio biomédico).
     • Baselines: Heurísticas basadas en reglas (V1.6), fusión híbrida de regla/LLM (V3.1) y un proxy de clase mayoritaria.
   • Calibración Humana: Un segundo anotador humano (Human2) realizó dos protocolos: una primera pasada ciega sobre una muestra de 30 ítems y una revisión enfocada de todos los 23 casos conocidos como contradichos para evaluar la sensibilidad del protocolo.

Resultados Clave

• Resultado Nulo de KG-RRAG: La integración de señales de KG no mejoró la precisión de la respuesta. El KG-RRAG logró una precisión de 0.500 frente al 0.510 del RAG estándar ($\Delta = -0.010$, McNemar $p=0.766$). El intervalo de confianza del 95% para la diferencia fue $[-0.053, +0.033]$, lo que indica que no hay un beneficio estadísticamente significativo.
• Subdetección Sistémica de Contradicciones: Todos los verificadores automatizados tuvieron dificultades significativas con la clase "Contradicho".
  • Mejor Rendimiento Automatizado: La configuración E1-glm-5.1 detectó solo 5 de 23 contradicciones de oro (Recall $\approx$ 21.7%).
  • Otros Modelos: GPT-5.5 detectó 4/23; las variantes de DeepSeek detectaron entre 1 y 3/23; los clasificadores NLI especializados (PubMedBERT-MedNLI) detectaron solo 2/23.
  • Modo de Fallo: El patrón de error dominante fue la absorción de los casos contradichos en la categoría "Insuficiente" en lugar de identificarlos como conflictos activos.
• Sensibilidad de Protocolo de la Anotación Humana:
  • En una primera pasada ciega, Human2 detectó 0/7 casos contradichos en una muestra.
  • En una revisión enfocada donde el anotador conocía los ítems como contradichos de oro, Human2 detectó 13/23 (Recall $\approx$ 56.5%).
  • Esto indica que la detección de contradicciones no es espontánea, sino que requiere protocolos explícitos y dirigidos por criterios.
• Efectos de Modelo vs. Prompt: Los efectos de la ingeniería de prompts dependieron del modelo. Un prompt que funcionó mejor en glm-5.1 funcionó peor en DeepSeek-v4-pro, lo que sugiere que la selección del modelo es un factor más significativo que el diseño del prompt dentro del rango probado.

Contribuciones Clave

1. Resultado Nulo Controlado para KG-RAG: El estudio proporciona evidencia empírica de que añadir señales derivadas de KG (traslape de entidades y centralidad de grafo) al RAG de similitud vectorial estándar no mejoró la precisión de la respuesta en el entorno de PubMedQA, desafiando la suposición de que el conocimiento estructurado siempre mejora el rendimiento de RAG.
2. Auditoría de Subdetección de Contradicciones: Establece que los LLM y clasificadores NLI actuales fallan en la detección fiable de contradicciones en pares de evidencia-respuesta biomédica, clasificándolos frecuentemente como "insuficientes".
3. Evidencia de Sensibilidad de Protocolo: El documento demuestra que la detección de contradicciones es altamente sensible a los protocolos de anotación. La discrepancia entre la revisión humana ciega y la enfocada sugiere que establecer la "verdad de campo" en la detección de contradicciones es difícil sin criterios explícitos y dirigidos.

Significado y Reivindicaciones
Los autores reivindican modestamente que su trabajo sirve como una auditoría de las capacidades actuales en lugar de una demostración de un problema resuelto.

• Preparación Clínica: Los resultados indican que la verificación basada en LLM actual no está lista para el cribado autónomo de contradicciones en contextos biomédicos de alto riesgo. El fallo en la detección de contradicciones activas plantea un riesgo de seguridad.
• Cambio de Evaluación: El estudio argumenta que la precisión de la respuesta por sí sola es una métrica incompleta para el RAG biomédico. Los sistemas pueden generar respuestas correctas a partir de evidencia incorrecta o no respaldada; por lo tanto, la consistencia evidencia-respuesta debe evaluarse por separado.
• Utilidad Práctica: Aunque no está lista para el despliegue autónomo, la verificación basada en LLM aún puede servir como una herramienta para la auditoría offline y la comparación de sistemas, siempre que se reconozca la alta tasa de falsos negativos (contradicciones omitidas).

El artículo concluye que la dificultad de la detección de contradicciones persiste a través de las escalas de modelos, arquitecturas y estrategias de prompting, debido probablemente a la ambigüedad inherente del texto biomédico, la terminología especializada y la distinción entre la "ausencia de evidencia" y la "evidencia de ausencia".