Assessing VLM Reliability for Medical Image Quality Evaluation Under Corruption and Bias

Resumen Técnico: Evaluación de la Fiabilidad de los VLM para la Evaluación de la Calidad de Imágenes Médicas bajo Corrupción y Sesgo

Planteamiento del Problema
Los Modelos de Visión-Lenguaje (VLM, por sus siglas en inglés) se están desplegando cada vez más en tareas médicas como la generación de informes y el cuestionamiento visual. Sin embargo, su fiabilidad en contextos de seguridad crítica, específicamente para la Evaluación de la Calidad de Imágenes Médicas (MIQA), sigue siendo insuficientemente explorada. El despliegue clínico requiere modelos que puedan evaluar robustamente la integridad de la imagen a pesar de las degradaciones del mundo real (por ejemplo, ruido, desenfoque) y que permanezcan objetivos cuando se les presenta metadatos contextuales. La literatura actual carece de un benchmark exhaustivo que cuantifique cómo responden los VLM a las corrupciones sistemáticas de las imágenes y si los sesgos textuales (por ejemplo, prestigio institucional, demografía del operador) influyen inadvertidamente en la puntuación de calidad. Este estudio aborda la brecha en la comprensión del comportamiento de los VLM bajo estas condiciones para prevenir errores diagnósticos y garantizar la seguridad del paciente.

Metodología
Los autores realizaron un estudio de benchmarking zero-shot utilizando el conjunto de datos MediMeta-C, que comprende imágenes médicas limpias y versiones sistemáticamente corrompidas a través de siete tipos de corrupción (Desenfoque de Movimiento, Desenfoque de Zoom, Ruido Gaussiano, Ruido de Impulso, Brillo, Contraste, Pixelación) en cinco niveles de severidad.

• Modelos Evaluados: Se probaron un total de 16 VLM de código abierto, incluyendo 11 modelos de propósito general (por ejemplo, LLaVA, Qwen, InternVL) y 5 modelos orientados a la medicina (por ejemplo, MedGemma, Lingshu Medical).
• Pipeline de Evaluación:
  1. Robustez Visual: Se instó a los modelos a calificar la calidad de la imagen en una escala de 1 a 5 para imágenes limpias y corrompidas. El estudio cuantificó el porcentaje de cambio en las puntuaciones con respecto a las bases de referencia limpias.
  2. Geometría de Incrustación (Embedding Geometry): Para comprender la representación interna de la calidad, los autores analizaron la distancia euclidiana entre los centroides de las incrustaciones de imágenes limpias y las incripciones de imágenes corrompidas en el espacio latente.
  3. Análisis de Sesgo Textual: El estudio introdujo sesgos controlados en los prompts del sistema mediante la inyección de metadatos relativos a cuatro categorías: Demografía (raza/nombre del médico), Experiencia (estudiante frente a experto), Infraestructura (dispositivo antiguo frente a de alta tecnología) e Institución (local frente a de clase mundial). Se midió el impacto de estas claves no visuales en las puntuaciones de calidad.

Contribuciones Clave

1. Benchmark Exhaustivo: Estableció un marco de evaluación zero-shot para MIQA a través de 16 VLM, siete modalidades (incluyendo Microscopía Celular, Mamografía, OCT y Radiografía de Tórax) y múltiples tipos de corrupción.
2. Mapeo de Sensibilidad a la Corrupción: Mapeó patrones de degradación específicos con reducciones de puntuación, revelando que los VLM son altamente sensibles a la pixelación (que oscurece detalles finos) pero relativamente insensibles a los cambios de brillo.
3. Correlación Incrustación-Desempeño: Demostró una correlación directa entre el desplazamiento geométrico de las incrustaciones de imagen en el espacio latente y la magnitud de los cambios en la puntuación, lo que sugiere que los VLM codifican implícitamente información de calidad dentro de sus representaciones de características.
4. Cuantificación de la Vulnerabilidad al Sesgo: Expuso sistemáticamente cómo los VLM permiten que los metadatos contextuales anulen la evidencia visual, lo que conduce a fluctuaciones significativas en las puntuaciones basadas en atributos textuales irrelevantes.

Resultados

• Impacto de la Corrupción de la Imagen:

  • La Pixelación causó la degradación de desempeño más significativa, con una reducción media de la puntuación de -20.58% en todos los modelos y modalidades. Para la Tomografía de Coherencia Óptica (OCT), esta reducción alcanzó el -34.4%.
  • El Brillo tuvo el menor impacto, con una reducción media de solo -0.81%.
  • Comportamiento Contraintuitivo: Algunos modelos exhibieron puntuaciones de calidad incrementadas para imágenes corrompidas. Por ejemplo, InternVL-8B e InternVL-14B asignaron puntuaciones hasta un +31% más altas para imágenes de mamografía corrompidas con ruido de impulso, potencialmente malinterpretando artefactos de ruido como calcificaciones clínicamente relevantes.
  • Análisis de Incrustación: El mayor desplazamiento de la incrustación (69.99) correspondió a las imágenes de OCT pixeladas, alineándose con las mayores reducciones de puntuación. Esto confirma que los VLM interpretan los grandes desplazamientos en el espacio latente como degradación de calidad.
  • Correlación de Modelos: Los modelos dentro de la misma familia mostraron una alta correlación en el comportamiento de puntuación (0.67–0.83), mientras que algunos modelos (por ejemplo, LLaVA-Med-Mistral-7B) mostraron una correlación casi nula con otros, indicando criterios de evaluación divergentes.

• Impacto del Sesgo Textual:

  • Prestigio Institucional: Los prompts que citaban "instituciones médicas de clase mundial" aumentaron las puntuaciones promedio en un +17.15%.
  • Antigüedad del Equipo: Los prompts que citaban "dispositivos antiguos" disminuyeron las puntuaciones promedio en un -14.7%.
  • Variabilidad Extrema: Los efectos de sesgo dependían del modelo. InternVL-8B mostró un incremento masivo de puntuación del +95.62% para calcificaciones de mamografía bajo prompts sesgados, mientras que los modelos MedGemma mostraron una disminución del -37.7% cuando se les instó con metadatos de "dispositivo antiguo".
  • Demografía y Experiencia: Las puntuaciones variaron significamente según si la imagen se atribuía a un "experto de renombre mundial" frente a un "estudiante de medicina", o según el trasfondo demográfico del médico, indicando una falta de objetividad.

Significancia y Reivindicaciones
El artículo concluye que los VLM actuales poseen limitaciones significativas para la evaluación automatizada de la calidad de imágenes médicas. Los autores afirman que:

1. Compromiso Privacidad-Fiabilidad: La pixelación, utilizada frecuentemente como una transformación de preservación de la privacidad, degrada severamente el desempeño de los VLM, resaltando un compromiso entre la privacidad del paciente y la fiabilidad del modelo.
2. El Metadato como Fuente de Sesgo: La sensibilidad de los VLM a los metadatos contextuales (institución, equipo, demografía) indica una falta de objetividad. Los autores argumentan que el metadato no es meramente administrativo, sino una fuente de sesgo sistemático que puede alterar los juicios clínicos.
3. Requisitos Interconectados: Proteger la privacidad (mediante la eliminación o anonimización de metadatos) y asegurar una evaluación de calidad objetiva son requisitos profundamente interconectados. Los autores sostienen que los pipelines robustos de preservación de la privacidad son técnicamente esenciales para que los VLM funcionen de manera fiable en entornos clínicos, ya que la filtración de metadatos compromete tanto la equidad como la precisión diagnóstica.
4. Necesidad de Evaluación Sistemática: El estudio enfatiza que, sin este tipo de benchmarking, las vulnerabilidades relativas a la sensibilidad a la corrupción y la susceptibilidad al sesgo podrían permanecer ocultas hasta después del despliegue clínico, planteando riesgos para la seguridad del paciente.