From Attribution to Abstention: Training-Free Attention-Based Auditing for Clinical Summarization

Resumen Técnico: ClinTrace

1. El Problema

La implementación de Modelos de Lenguaje Multimodales (MLLMs) en tareas de documentación clínica (como la resumen de diálogos médico-paciente o informes de radiología) enfrenta dos desafíos críticos:

• Alucinaciones: Los modelos pueden generar afirmaciones fluidas pero no respaldadas por la evidencia del input (texto o imagen), lo cual es peligroso en entornos de alto riesgo como la medicina.
• Falta de Transparencia: Las soluciones actuales carecen de mecanismos para rastrear el origen de cada afirmación (atribución) o para identificar cuándo una oración carece de soporte evidencial sin necesidad de reentrenar el modelo.
• Limitaciones de Métodos Existentes: Los métodos de atribución post-hoc (basados en gradientes o relevancia) están diseñados para clasificación, no para generación abierta. Los métodos de mitigación de alucinaciones (como RLHF o decodificación contrastiva) requieren costosos reentrenamientos y no ofrecen trazabilidad por oración.

2. Metodología: ClinTrace

El artículo presenta ClinTrace, un marco de trabajo libre de entrenamiento (training-free) que extrae señales de auditoría directamente de los pesos de atención del decodificador que todo MLLM basado en transformadores ya calcula durante la generación. No requiere modelos auxiliares, ni reentrenamiento, ni costo adicional de inferencia más allá de habilitar la salida de atención.

El proceso se divide en tres etapas:

1. Fragmentación de la Fuente (Source Chunking): El documento de entrada (texto e imágenes) se segmenta en unidades de evidencia a nivel de oración. Las imágenes se tratan como un bloque contiguo de tokens.
2. Agrupación de Atención (Attention Pooling): Para cada token generado, se extraen los pesos de atención sobre todos los tokens de la fuente a través de todas las capas y cabezas. Se promedian para obtener un vector de atención agrupado ($\bar{a}_t$), actuando como un mecanismo de denoising.
3. Atribución y Puntuación de Anclaje (Attribution & Groundedness):
   • Atribución de Fuente: Se asigna cada token generado a la oración de origen que recibe la mayor suma de atención. A nivel de oración generada, se utiliza un umbral de votación mayoritaria para determinar qué oraciones de origen apoyan la oración generada.
   • Puntuación de Anclaje (Groundedness Score, $\phi$): Se calcula la confianza de la asignación. Una puntuación alta indica atención concentrada en una fuente específica (fuerte anclaje); una puntuación baja indica atención difusa (posible alucinación).
   • Mecanismo de Abstención: Las oraciones con puntuaciones de anclaje por debajo de un umbral ($\phi_{min}$) se marcan para revisión clínica en lugar de presentarse como salida confiable.

3. Contribuciones Clave

• Doble Función de una Señal Única: Demuestran que los mismos tensores de atención utilizados para la atribución de fuentes también sirven como un indicador robusto de riesgo de alucinación.
• Eficiencia Operativa: El sistema opera en una sola pasada de generación, sin costo computacional adicional ni necesidad de modelos externos.
• Descubrimiento sobre el Ajuste Fino (Fine-tuning): Identifican que los modelos ajustados específicamente para medicina generan patrones de atención semánticamente más estructurados y útiles para la autoauditoría que los modelos de propósito general.
• Estrategia de Abstención: Proponen un enfoque de seguridad clínica donde el sistema "sabe cuándo no sabe", permitiendo a los clínicos revisar solo las partes de baja confianza.

4. Resultados Experimentales

El marco se evaluó en dos tareas clínicas (CliConSummation: diálogos médico-paciente; MIMIC-CXR: informes de radiología) utilizando dos modelos:

• Qwen3-8B (Modelo de propósito general).
• HuatuoGPT-Vision-7B (Modelo ajustado en dominio médico).

Hallazgos Principales:

• Atribución de Fuentes: ClinTrace superó significativamente a las líneas base (auto-atribución, similitud de embeddings, aleatorio).
  • Logró un F1 de texto >92% en resumen de radiología y >88% en diálogos con el modelo médico.
  • En la atribución multimodal (texto + imagen), alcanzó un F1 de imagen >80%.
• Detección de Alucinaciones:
  • Con el modelo médico (HuatuoGPT), la puntuación de anclaje alcanzó un AUROC de 0.77, compitiendo con métodos basados en embeddings pero sin costo extra.
  • Con el modelo general (Qwen3), el rendimiento fue menor (AUROC 0.59), confirmando que el ajuste fino mejora la interpretabilidad de la atención.
• Mejora de la Fiabilidad (Abstención):
  • Al retener solo el 80% de la salida (excluyendo el 20% menos anclado) en el modelo médico, la fiabilidad (faithfulness) aumentó del 61.7% al 72.6%.
  • Se observó una correlación directa: las oraciones con atribución correcta tenían puntuaciones de anclaje más altas y mayor fiabilidad.

5. Significado e Impacto

• Recurso Gratuito en la Nube: Demuestran que los pesos de atención, a menudo descartados, son un recurso valioso y gratuito para la auditoría clínica.
• Importancia del Ajuste Fino Médico: Sugiere que, para despliegues clínicos, los modelos ajustados en dominio no solo mejoran el rendimiento en la tarea, sino que también ofrecen señales de seguridad intrínsecas más fiables.
• Seguridad Clínica: El mecanismo de abstención ofrece una estrategia práctica para el despliegue de IA en salud: en lugar de intentar corregir silenciosamente los errores, el sistema expone la incertidumbre al clínico, permitiendo una verificación eficiente y mejorando la confianza en el sistema.
• Generalización: Aunque se probó en dos dominios, la metodología es aplicable a cualquier pipeline de NLP clínico basado en decodificadores de transformadores.

En conclusión, ClinTrace cierra la brecha entre la generación fluida y la responsabilidad clínica, proporcionando una capa de auditoría en tiempo real que vincula cada afirmación con su evidencia y alerta sobre posibles fallos sin incurrir en costos adicionales de computación o entrenamiento.