Resumen Técnico: Potenciadores Universales, Supresores Específicos: Dirección de Modelos de Visión-Lenguaje Médicos mediante Autoencoders Dispersos

Declaración del Problema

Los Modelos de Visión-Lenguaje Médicos (VLM) frecuentemente alucinan hallazgos al generar informes de radiología a partir de radiografías de tórax. Estos errores se manifiestan como la fabricación de hallazgos inexistentes, la omisión de patologías críticas o la mala localización/evaluación de la gravedad de las condiciones observadas. Si bien las estrategias de mitigación existentes dependen de la optimización posterior al entrenamiento, como el Aprendizaje por Refuerzo (RL) con Optimización Directa de Preferencias (DPO) u Optimización de Política Relativa por Grupos (GRPO), estos enfoques incurren en una sobrecarga computacional sustancial (por ejemplo, cientos de horas de GPU por modelo) y requieren actualizaciones de gradiente, señales de recompensa optimizadas y ejecuciones de entrenamiento específicas del modelo. Además, estos métodos de ajuste fino de "caja negra" a menudo carecen de interpretabilidad sobre qué mecanismos internos impulsan errores clínicos específicos.

Metodología

Los autores proponen un enfoque solo de inferencia que dirige VLMs médicos congelados editando sus activaciones internas durante el tiempo de decodificación, utilizando Autoencoders Dispersos (SAE). La tubería consta de cuatro etapas:

1. Recopilación de Activaciones del Flujo Residual: Los estados ocultos por token ($h^{(t)}_\ell$) se recopilan de capas específicas del transformador durante la generación de informes en una división de entrenamiento/validación.
2. Entrenamiento del Autoencoder Disperso: Se entrena un SAE Top-K en cada capa seleccionada para descomponer los estados ocultos densos en representaciones dispersas de alta dimensión ($z^{(t)}_\ell$). Los autores utilizan un tamaño de diccionario de $D=32,768$ y dispersión $K=64$.
3. Identificación de Características (Detección Causal):
   • Prefiltrado: Las características se clasifican por la brecha absoluta en la activación media entre muestras de alto error (cuartil superior) y bajo error (cuartil inferior).
   • Detección Causal: Se realiza una intervención de una sola característica en un conjunto de validación retenido. Para cada característica candidata, los autores la abaten (la ponen a cero) o la amplifican y miden el cambio resultante en las métricas clínicas automáticas, específicamente la taxonomía de errores GREEN (Hallazgos Falsos, Hallazgos Faltantes, Ubicación Incorrecta, Gravedad Incorrecta).
   • Clasificación: Las características se categorizan como candidatas de supresión (la abatación reduce errores) o candidatas de potenciación (la abatación aumenta errores, lo que significa que la característica promueve la calidad). Crucialmente, las características se identifican por tipo de error, reconociendo que una sola característica puede suprimir un tipo de error mientras potencia otro.
4. Dirección Residual: En tiempo de inferencia, se editan las características identificadas en la base del SAE: las características de supresión se ponen a cero y las de potenciación se escalan por $(1+\beta)$. En lugar de reemplazar el estado oculto con la reconstrucción del SAE (lo que introduce error de reconstrucción), los autores aplican una actualización residual pura:
   $$\delta_\ell = \text{decode}_\ell(z'_\ell) - \text{decode}_\ell(z_\ell)$$
   $$h'_\ell = h_\ell + \alpha \delta_\ell$$
   Esto asegura que solo se añada al estado oculto original el delta específico causado por la intervención, preservando el conocimiento no editado del modelo.

Contribuciones Clave

• Mitigación Solo de Inferencia: El documento demuestra que las alucinaciones pueden mitigarse sin actualizaciones de pesos, reentrenamiento o ingeniería de prompts, reduciendo significativamente los costos computacionales en comparación con el ajuste fino por RL.
• Descubrimiento de Características Causales: Los autores identifican que las características significativas clínicamente de los SAE no son "direcciones de alucinación" monolíticas. En cambio, exhiben una estructura compleja donde:
  • Las características de potenciación (que promueven la calidad del informe) son en gran medida universales entre diferentes arquitecturas (RadVLM, LLaVA-Rad, CheXOne), mostrando una alta superposición funcional (similitud coseno ~0.91–0.95).
  • Las características de supresión (que reducen errores específicos) son específicas del modelo, con una superposición funcional baja (similitud coseno tan baja como 0.25). Esto implica que, si bien los mecanismos que promueven la calidad son compartidos, las vías internas que conducen a las alucinaciones son únicas para el régimen de entrenamiento de cada modelo.
• Control Granular de Errores: El método permite listas de dirección separadas para diferentes tipos de errores (por ejemplo, Hallazgos Faltantes vs. Hallazgos Falsos), lo que permite intervenciones dirigidas que abordan los roles causales específicos de las características.
• Transferencia Zero-Shot: La receta de dirección, identificada en MIMIC-CXR, se transfiere efectivamente al conjunto de datos independiente IU-Xray sin reentrenamiento, confirmando que las características identificadas son propiedades de la arquitectura del modelo y no artefactos del corpus de entrenamiento.

Resultados

El método se evaluó en tres VLMs médicos (RadVLM, LLaVA-Rad y CheXOne) en la división de prueba de MIMIC-CXR, con una evaluación adicional zero-shot en IU-Xray.

• Mejoras de Rendimiento:
  • RadVLM: +5.4% de mejora relativa en la métrica compuesta clínica; +3.9% de mejora absoluta en la puntuación GREEN.
  • LLaVA-Rad: +7.2% de mejora relativa en la métrica compuesta; +10.2% de mejora absoluta en GREEN.
  • CheXOne: +17.0% de mejora relativa en la métrica compuesta; +11.7% de mejora absoluta en GREEN. Cabe destacar que se observaron ganancias incluso en CheXOne, que ya había sido ajustado finamente con GRPO, lo que sugiere que la dirección por SAE es complementaria al RL.
• Redistribución de Errores: El mecanismo de dirección recupera principalmente Hallazgos Faltantes (reduciéndolos en 654 en RadVLM) a costa de un aumento moderado en Hallazgos Falsos (+1,112). Debido a la asimetría estructural de la métrica GREEN (donde recuperar un hallazgo faltante tiene un impacto positivo mayor que añadir un hallazgo falso tiene un impacto negativo), el resultado neto es una mejora significativa en la calidad general del informe y la utilidad clínica.
• Alineación Transmodelo: El análisis confirmó que las características de potenciación son altamente consistentes entre modelos, mientras que las características de supresión son distintas. Esto respalda la conclusión de que la dirección transferible debe tratar la supresión sobre una base por columna vertebral.

Significado y Afirmaciones

El documento afirma que su contribución principal es proporcionar una ventana mecánica a los VLMs médicos. Al descomponer el flujo residual en coordenadas dispersas e interpretables, los autores pueden:

1. Nombrar y localizar los mecanismos internos específicos responsables de los errores clínicos.
2. Editar estos mecanismos en tiempo de inferencia para mejorar la seguridad y la precisión sin reentrenar.
3. Comprender que la mitigación de alucinaciones no es una única dirección global, sino un intercambio estructurado entre completitud (potenciación) y especificidad (supresión).

Los autores enfatizan que, si bien las ganancias absolutas de las métricas son moderadas en comparación con el pesado ajuste fino por RL, el enfoque ofrece una ventaja distinta en interpretabilidad y eficiencia. Evita la naturaleza de "caja negra" del RL al exponer los circuitos causales del modelo, permitiendo intervenciones dirigidas y transparentes. El trabajo no afirma reemplazar a los radiólogos ni servir como una herramienta independiente de toma de decisiones clínicas, sino más bien como un marco de investigación para mejorar la fiabilidad de la generación automatizada de informes.