Cross-modal linkage risk in clinical vision-language models

Resumo Técnico: Risco de Vinculação Cross-Modal em Modelos Clínicos de Visão-Linguagem

Definição do Problema
Modelos de Visão-Linguagem (VLMs) clínicos, treinados em pares de imagens médicas e relatórios radiológicos, aprendem um espaço de incorporação (embedding) compartilhado para facilitar tarefas como recuperação, geração de relatórios e transferência zero-shot. Embora esse alinhamento seja uma força funcional, os autores identificam uma vulnerabilidade de privacidade específica: o risco de vinculação cross-modal. Em cenários de implementação onde radiografias e relatórios são mantidos deliberadamente separados após a aquisição (ex: compartilhamento de dados apenas de imagem, acesso controlado a relatórios ou enclaves de dados institucionais), o espaço de incorporação compartilhado pode inadvertidamente preservar a correspondência ao nível da instância. Isso permite que uma imagem desidentificada seja relinkada ao seu relatório original, rico em informações, exclusivamente através de busca por similaridade de cosseno, contornando medidas padrão de desidentificação que tipicamente removem metadados explícitos, mas não apagam vínculos semânticos aprendidos.

Metodologia
O estudo formaliza esse risco como um problema de recuperação de imagem-para-relatório. Os autores avaliam se uma radiografia de tórax retida pode recuperar seu relatório pareado real de um conjunto de candidatos usando apenas o espaço de incorporação compartilhado.

• Datasets: A avaliação utiliza dois grandes coortes públicas como benchmarks de verdade fundamental (onde os pares reais são conhecidos por design): MIMIC-CXR (43.793 pares retidos) e CheXpert Plus (29.296 pares). Estes servem para auditar a estrutura interna do modelo, em vez de servirem como o próprio cenário de ataque de privacidade.
• Modelos: Quatro VLMs publicamente disponíveis com níveis crescentes de especialização de domínio foram testados:
  1. CLIP: Domínio geral.
  2. PubMedCLIP: Domínio biomédico.
  3. BiomedCLIP: Domínio biomédico.
  4. BioViL-T: Especializado em radiografia de tórax.
• Protocolos de Avaliação:
  • Random-Candidate (Configuração A): O desempenho de recuperação é medido através de tamanhos de pool de candidatos ($N = 100, 1.000, 10.000$ e o conjunto de teste completo) para avaliar a escalabilidade.
  • Pathology-Matched Hard Negatives (Configuração B): Relatórios de distração são selecionados para corresponder ao vetor de patologia de 14 rótulos da consulta (ex: atelectasia, edema, pneumotórax) para determinar se a recuperação depende da similaridade de doença ampla ou de um vínculo de instância mais refinado.
• Estratégia de Mitigação: Os autores propõem uma intervenção direcionada onde os codificadores de imagem e texto são congelados, e apenas a camada de alinhamento compartilhado (cabeças de projeção) é ajustada (fine-tuned).
  • Otimização Diferencialmente Privada (DP): Aplicada às cabeças de projeção com $\epsilon = 0,34$ e $\delta = 6 \times 10^{-6}$.
  • Comparador: Um ajuste de cabeça com regularização de entropia (não privado) foi utilizado para garantir que qualquer redução no vínculo fosse devida ao mecanismo de privacidade e não meramente a uma perturbação arquitetural.
• Avaliação de Utilidade: Para garantir que a mitigação não degrade a utilidade clínica, o desempenho diagnóstico do lado da imagem foi avaliado via linear probing em 14 tarefas de anormalidades de radiografia de tórax usando as incorporações modificadas.

Resultos Principais

1. Existência e Magnitude do Risco: VLMs prontos para uso conseguem relinkar imagens desidentificadas aos seus relatórios em taxas significativamente acima do acaso. O risco escala com a especialização de domínio:

   • No MIMIC-CXR com $N=100$, o BioViL-T alcançou um Recall@1 de 15,44% (vs. 1% de chance), enquanto o CLIP geral ficou próximo ao acaso (1,20%).
   • Na escala de banco de dados ($N=10.000$), o BioViL-T ainda recuperou o relatório correto 50 vezes acima do acaso (0,496% vs. 0,010%).
   • O sinal persiste na transferência externa (CheXpert Plus) e sob condições de hard-negatives, indicando que os modelos aprendem vínculos ao nível da instância além de rótulos de patologia grosseiros.

2. Eficácia da Mitigação: Congelar os backbones e aplicar otimização DP apenas às cabeças de projeção reduziu significativamente o risco de vinculação:

   • No MIMIC-CXR ($N=10.000$), o ajuste de cabeça DP reduziu o Recall@1 em 61,8% (de 0,496% para 0,190%).
   • A mitigação transferiu-se para o dataset externo CheXpert Plus sem retreinamento, reduzindo o Recall@1 de 0,153% para 0,091%.
   • Em contraste, o comparador de entropia regularizada não privado aumentou a vinculação, confirmando que o benefício de privacidade provém da injeção específica de ruído DP que enfraquece o acoplamento, e não apenas da mudança no espaço de projeção.

3. Tradeoff Privacidade-Utilidade: A intervenção demonstrou um tradeoff altamente assimétrico favorecendo a preservação da privacidade:

   • Privacidade: O Recall@1 foi reduzido em ~62%.
   • Utilidade: O macro AUROC para classificação apenas de imagem em 14 rótulos mudou minimamente de 79,63% para 79,43% (uma diminuição de 0,20 pontos percentuais).
   • A análise por rótulo mostrou mudanças pequenas e mistas no AUROC, sugerindo que as representações de imagem subjacentes permaneceram clinicamente úteis, apesar do enfraquecimento do vínculo cross-modal.

Significância e Alegações
O artigo argumenta que o alinhamento multimodal é tanto uma capacidade quanto um passivo em modelos fundamentais clínicos. Os autores afirmam que:

• As práticas atuais de desidentificação são insuficientes para VLMs porque o próprio espaço de incorporação compartilhado atua como um canal de vazamento, preservando a estrutura recuperável ao nível da instância mesmo quando identificadores explícitos são removidos.
• Este risco não é um artefato de pequenos pools de candidatos ou similaridade de doença ampla; ele persiste na escala de banco de dados e sob hard-negatives clinicamente restritos.
• A mitigação direcionada é viável: Não é necessário retreinar grandes backbones multimodais (o que é computacionalmente caro e instável sob DP). Em vez disso, aplicar a otimização diferencialmente privada apenas à camada de alinhamento final pode reduzir substancialmente a re-vinculação cross-modal sem degradar materialmente as representações de imagem necessárias para a utilidade clínica.
• O estudo clama por uma mudança na avaliação de modelos multimodais clínicos, instando que a implementação responsável deve considerar não apenas o que os embeddings compartilhados permitem (ex: recuperação, geração), mas também o que eles podem reconectar involuntariamente.

Os autores mantêm um escopo modesto, observando limitações como o foco em radiografia de tórax, o uso de datasets públicos como proxies para cenários de implementação privados, e a avaliação de utilidade via linear probing em vez de uma suíte completa de tarefas clínicas subsequentes. Eles concluem que, embora a mitigação proposta seja uma redução direcionada de um mecanismo específico de vinculação e não uma solução completa para todos os problemas de privacidade multimodal, ela oferece um caminho prático para a implementação segura de checkpoints de VLMs clínicos existentes.