Cross-modal linkage risk in clinical vision-language models

Resumen Técnico: Riesgo de Vinculación Transmodal en Modelos Clínicos de Visión-Lenguaje

Definición del Problema
Los Modelos de Visión-Lenguaje (VLM) clínicos, entrenados en pares de imágenes médicas e informes radiológicos, aprenden un espacio de incrustación (embedding) compartido para facilitar tareas como la recuperación, la generación de informes y la transferencia de aprendizaje cero (zero-shot transfer). Si bien esta alineación es una fortaleza funcional, los autores identifican una vulnerabilidad de privacidad específica: el riesgo de vinculación transmodal. En escenarios de despliegue donde las radiografías y los informes se mantienen separados deliberadamente tras su adquisición (por ejemplo, intercambio de datos de solo imagen, acceso controlado a informes o enclaves de datos institucionales), el espacio de incrustación compartido puede preservar inadvertidamente la correspondencia a nivel de instancia. Esto permite que una imagen desidentificada sea vinculada nuevamente a su informe narrativo original, rico en información, únicamente mediante una búsqueda de similitud de coseno, eludiendo las medidas de desidentificación estándar que típicamente eliminan metadatos explícitos pero no borran los vínculos semánticos aprendidos.

Metodología
El estudio formaliza este riesgo como un problema de recuperación de imagen a informe. Los autores evalúan si una radiografía de tórax mantenida fuera del entrenamiento puede recuperar su informe pareado real de un grupo de informes distractores utilizando únicamente el espacio de incrustación compartido.

• Conjuntos de Datos: La evaluación utiliza dos grandes cohortes públicas como puntos de referencia de verdad fundamental (donde los emparejamientos reales son conocidos por diseño): MIMIC-CXR (43,793 pares mantenidos fuera) y CheXpert Plus (29,296 pares). Estos sirven para auditar la estructura interna del modelo en lugar de actuar como el escenario de ataque de privacidad en sí mismo.
• Modelos: Se probaron cuatro VLM disponibles públicamente con niveles crecientes de especialización de dominio:
  1. CLIP: Dominio general.
  2. PubMedCLIP: Dominio biomédico.
  3. BiomedCLIP: Dominio biomédico.
  4. BioViL-T: Especializado en radiología (radiografía de tórax).
• Protocolos de Evaluación:
  • Candidato Aleatorio (Configuración A): El rendimiento de la recuperación se mide a través de tamaños de grupo de candidatos ($N = 100, 1,000, 10,000$ y el conjunto de prueba completo) para evaluar la escalabilidad.
  • Negativos Difíciles Emparejados por Patología (Configuración B): Los informes distractores se seleccionan para que coincidan con el vector de etiquetas de patología de 14 etiquetas de la consulta (por ejemplo, atelectasia, edema, neumotórax) para determinar si la recuperación depende de la similitud de enfermedades generales o de un vínculo de instancia más fino y detallado.
• Estrategia de Mitigación: Los autores proponen una intervención dirigida donde los codificadores de imagen y texto están congelados, y solo se realiza el ajuste fino (fine-tuning) de la capa de alineación compartida (cabezales de proyección).
  • Optimización de Privacidad Diferencial (DP): Aplicada a los cabezales de proyección con $\epsilon = 0.34$ y $\delta = 6 \times 10^{-6}$.
  • Comparador: Se utilizó un ajuste fino de cabezal con regularización de entropía (no privado) para asegurar que cualquier reducción en la vinculación se debiera al mecanismo de privacidad y no simplemente a una perturbación arquitectónica.
• Evaluación de Utilidad: Para asegurar que la mitigación no degrade la utilidad clínica, el rendimiento diagnóstico del lado de la imagen se evaluó mediante sondaje lineal (linear probing) en 14 tareas de anomalías de radiografía de tórax utilizando las incrustaciones modificadas.

Resultados Clave

1. Existencia y Magnitud del Riesgo: Los VLM estándar logran relinkar imágenes desidentificadas con sus informes a tasas significativamente superiores al azar. El riesgo escala con la especialización del dominio:

   • En MIMIC-CXR con $N=100$, BioViL-T alcanzó un Recall@1 del 15.44% (frente al 1% de probabilidad por azar), mientras que el CLIP general estuvo cerca del azar (1.20%).
   • A escala de base de datos ($N=10,000$), BioViL-T aún recuperó el informe correcto 50 veces por encima del azar (0.496% vs. 0.010%).
   • La señal persiste en la transferencia externa (CheXpert Plus) y bajo condiciones de negativos difíciles, lo que indica que los modelos aprenden vínculos a nivel de instancia más allá de las etiquetas de patología generales.

2. Eficacia de la Mitigación: Congelar los backbones y aplicar la optimización DP solo a los cabezales de proyección redujo significativamente el riesgo de vinculación:

   • En MIMIC-CXR ($N=10,000$), el ajuste fino del cabezal con DP redujo el Recall@1 en un 61.8% (de 0.496% a 0.190%).
   • La mitigación se transfirió al conjunto de datos externo CheXpert Plus sin reentrenamiento, reduciendo el Recall@1 de 0.153% a 0.091%.
   • Por el contrario, el comparador de entropía no privado aumentó la vinculación, confirmando que el beneficio de privacidad proviene de la inyección específica de ruido DP que debilita el acoplamiento, no solo de un cambio en el espacio de proyección.

3. Compromiso entre Privacidad y Utilidad: La intervención demostró un compromiso altamente asimétrico que favorece la preservación de la privacidad:

   • Privacidad: El Recall@1 se redujo en aproximadamente un 62%.
   • Utilidad: El macro AUROC para la clasificación de solo imagen a través de 14 etiquetas cambió mínimamente de 79.63% a 79.43% (una disminución de 0.20 puntos porcentuales).
   • El análisis por etiqueta mostró cambios de AUROC pequeños y mixtos, lo que sugiere que las representaciones de imagen subyacentes permanecieron clínicamente útiles a pesar del debilitamiento del vínculo transmodal.

Significancia y Reivindicaciones
El artículo argumenta que la alineación multimodal es tanto una capacidad como una responsabilidad. Los autores afirman que:

• Las prácticas actuales de desidentificación son insuficientes para los VLM porque el propio espacio de incrustación compartido actúa como un canal de fuga, preservando una estructura de instancia recuperable incluso cuando se eliminan los identificadores explícitos.
• Este riesgo no es un artefacto de grupos de candidatos pequeños o de la similitud de enfermedades generales; persiste a escala de base de datos y bajo negativos difíciles clínicamente restringidos.
• La mitigación dirigida es factible: No es necesario reentrenar los grandes backbones multimodales (lo cual es computacionalmente costoso e inestable bajo DP). En su lugar, aplicar la optimización de privacidad diferencial únicamente a la capa de alineación final puede reducir sustancialmente la revinculación transmodal sin degradar materialmente las representaciones de imagen requeridas para la utilidad clínica.
• El estudio aboga por un cambio en la evaluación de los modelos multimodales clínicos, instando a que el despliegue responsable debe considerar no solo lo que los embeddings compartidos permiten (por ejemplo, recuperación, generación), sino también lo que pueden reconectar involuntariamente.

Los autores mantienen un alcance modesto, señalando limitaciones tales como el enfoque en la radiografía de tórax, el uso de conjuntos de datos públicos como sustitutos de escenarios de despliegue privados, y la evaluación de la utilidad mediante sondaje lineal en lugar de una suite completa de tareas clínicas descendentes. Concluyen que, si bien la mitigación propuesta es una reducción dirigida de un mecanismo de vinculación específico y no una solución completa a todos los problemas de privacidad multimodales, ofrece una vía práctica para un despliegue más seguro de los checkpoints existentes de los VLM clínicos.