Trust but Verify: Mitigating Medical Hallucinations via Post-Hoc Adversarial Auditing and Multi-Agent Feedback Loops

Resumen Técnico: Confiar pero Verificar – Mitigación de Alucinaciones Médicas mediante Auditoría Adversaria Post-hoc y Bucles de Retroalimentación Multi-Agente

Declaración del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) se están implementando cada vez más en el sector salud para el apoyo a la decisión clínica; sin embargo, su naturaleza probabilística genera "alucinaciones" que plantean riesgos de seguridad graves. Un modo de falla crítico y a menudo pasado por alto es la obsolescencia del conocimiento regulatorio: los LLM frecuentemente recomiendan fármacos que fueron históricamente correctos, pero que ahora están prohibidos, retirados o con advertencias de caja negra por parte de organismos reguladores (por ejemplo, FDA, EMA). El artículo destaca que incluso los modelos de última generación (SOTA) equipados con Generación Aumentada por Recuperación (RAG) y capacidades de navegación web fallan al no priorizar las restricciones de seguridad actuales sobre los datos paramétricos de entrenamiento, lo que conduce a recomendaciones clínicas peligrosas. Las estrategias de mitigación existentes, como las salvaguardas semánticas estáticas o el RAG simple, suelen carecer de la verificación adversaria activa necesaria para detectar estos vacíos temporales de conocimiento.

Metodología
Los autores proponen una arquitectura modular de cinco agentes titulada "Trust but Verify" (Confiar pero Verificar), diseñada para hacer cumplir el cumplimiento regulatorio mediante un bucle de auditoría adversaria post-hoc. El sistema utiliza un único esqueleto de LLM (probado en las familias GPT-OSS, Llama-3 y Falcon-3) pero diferencia a los agentes mediante la redirección de la personalidad basada en prompts en lugar de pesos de modelos heterogéneos.

El flujo de trabajo consta de cinco roles funcionales:

1. Agente de Enrutamiento (Router Agent): Clasifica las consultas como "Médicas" o "Generales". Solo las consultas médicas activan el flujo de seguridad, optimizando la latencia y el costo.
2. Agente Clínico Médico (Medical Clinical Agent): Actúa como el motor de razonamiento principal, generando recomendaciones de tratamiento candidatas basadas en la consulta de entrada.
3. Agente Extractor de Entidades (Entity Extractor Agent): Analiza la salida de lenguaje natural del agente clínico en un formato JSON estructurado (extrayendo el fármaco y la condición) para facilitar la verificación legible por máquina.
4. Agente Auditor de Seguridad (Safety Auditor Agent): El componente central de seguridad. Realiza búsquedas fundamentadas en la web en tiempo real (vía API de Tavily) contra fuentes regulatorias autorizadas (FDA, NIH) para verificar el estado actual del fármaco extraído. Si un fármaco es marcado como prohibido o retirado, el auditor activa un bucle de retroalimentación, enviando la violación de vuelta al Agente Clínico para forzar un reintento o un rechazo seguro.
5. Agente de Chat General (General Chat Agent): Maneja interacciones no críticas para conservar recursos.

El sistema permite hasta tres intentos de reintento. Si no se encuentra una alternativa segura entre las opciones, el sistema está diseñado para emitir un "rechazo seguro" en lugar de una recomendación alucinada.

Configuración Experimental
El estudio utilizó un conjunto de datos adversarios curado de 103 preguntas de opción múltiple (MCQ) clínicas. En estas preguntas, la respuesta históricamente correcta corresponde a un fármaco que desde entonces ha sido retirado o prohibido. El conjunto de datos fue construido utilizando DrugBank, asegurando que la etiqueta "correcta" en el contexto de los datos de entrenamiento sea en realidad una violación de seguridad en el contexto regulatorio actual.

Se evaluaron tres configuraciones experimentales:

• Experimento I (Vanilla): Inferencia de un solo paso donde el LLM actúa como un experto clínico sin auditoría externa.
• Experimento II (Agéntico): El flujo de trabajo propuesto de cinco agentes con el bucle de retroalimentación adversaria.
• Experimento III (Evaluación SOTA): Pruebas con modelos propietarios líderes (ChatGPT-5.1/5.3, Gemini 3 Flash/3.1 Pro) con navegación nativa habilitada para evaluar si las soluciones comerciales actuales mitigan este modo de falla específico.

Métricas Clave
El desempeño se evaluó mediante:

• Precisión de la Etiqueta (Label Accuracy): Corrección estándar frente a la verdad de campo de este conjunto de datos (que es inherentemente insegura en esta configuración adversaria).
• Puntuación Puntual (Pointwise Score - PS): Una métrica especializada que penaliza las recomendaciones definitivas de fármacos prohibidos (-0.25), premia los rechazos seguros (0.0) y premia las predicciones correctas seguras (+1.0).
• Tasa de Error de Alucinación (Hallucination Error Rate - HER): La frecuencia de recomendaciones definitivas de sustancias retiradas.
• Fidelidad de Componente (Component Fidelity - CF): La relación de salidas funcionales exitosas respecto al total de invocaciones de los agentes, midiendo la confiabilidad de la orquestación multi-agente.

Resultados

• Desempeño Vanilla: Todos los modelos de acceso abierto probados exhibieron una "precisión" alta (coincidiendo con el fármaco prohibido) pero, correspondientemente, altas HERs (oscilando entre 90.29% y 99.03%). Las puntuaciones puntuales se agruparon cerca de -0.25, indicando la máxima penalización de seguridad.
• Desempeño Agéntico: La arquitectura propuesta redujo significamente las HERs en todos los modelos en aproximadamente un 53% en promedio (por ejemplo, Llama-3-70B cayó de 99.03% a 37.86%). Aunque la precisión de la etiqueta disminuyó (ya que el sistema rechazó correctamente la opción prohibida que era "correcta"), la Puntuación Puntual se desplazó de -0.25 hacia 0.0, indicando una transición exitosa hacia rechazos seguros.
• Falla de SOTA: El Experimento III reveló que incluso los modelos propietarios con capacidades avanzadas de razonamiento y navegación fallaron al prevenir la recomendación de fármacos prohibidos. Estos modelos a menudo reconocieron el estado de retiro en sus resultados de búsqueda, pero finalmente priorizaron su conocimiento paramétrico para seleccionar el fármaco prohibido como la respuesta, demostando una "regresión de seguridad clínica".
• Integridad del Sistema: Las puntuaciones de Fidelidad de Componente para el flujo agéntico oscilaron entre 73.82% y 85.71%, confirmando la robustez de la orquestación multi-agente.

Significancia y Reivindicaciones
El artículo afirma demostrar un enfoque práctico y agnóstico al modelo para el despliegue de IA autónoma en entornos de atención médica de alta seguridad. Sus principales contribuciones son:

1. Identificación de una Brecha Crítica: Resaltar que los RAG actuales y los modelos SOTA fallan al integrar eficazmente los datos regulatorios en tiempo real, lo que lleva a la recomendación de sustancias prohibidas.
2. Innovación Arquitectónica: Proponer un bucle de auditoría adversaria no lineal que trata la seguridad como un proceso de verificación determinista en lugar de una tarea de generación probabilística. Al desacoplar el razonamiento clínico (LLM) de la verdad fáctica (auditor en tiempo real), el sistema garantiza el cumplimiento sin requerir el reentrenamiento del modelo.
3. Seguridad sobre Fluidez: El marco prioriza la seguridad del paciente al convertir las recomendaciones peligrosas en rechazos apropiados, cambiando el objetivo del sistema de "responder correctamente" a "responder de forma segura".
4. Escalabilidad: El uso de un único esqueleto con diferenciación de agentes basada en prompts ofrece una solución escalable que no requiere la expansión de parámetros ni reentrenamientos costosos.

Los autores concluyen que, si bien el enfoque multi-agente introduce latencia de inferencia, este compromiso es necesario para la seguridad determinista en entornos clínicos de alto riesgo. Posicionan este trabajo como un paso hacia la integración de datos regulatorios en tiempo real en los flujos de trabajo de LLM para apoyar, en lugar de reemplazar, la toma de decisiones clínicas.