Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

1. O Problema

Os Modelos de Visão e Linguagem Médicos (Med-VLMs) generativos são ferramentas poderosas para suporte à decisão clínica, análise de imagens e geração de relatórios. No entanto, eles apresentam vulnerabilidades de segurança críticas:

• Ataques de Jailbreak: Modelos podem ser manipulados por entradas visuais (ex: ruído imperceptível em imagens) ou textuais (ex: sufixos adversariais) para gerar respostas prejudiciais, como instruções para fraude de seguros ou falsificação de doenças.
• O Dilema Segurança vs. Desempenho (Over-Defense): Mecanismos de segurança existentes tendem a rejeitar excessivamente consultas benignas e clinicamente válidas ("over-defense"), comprometendo a utilidade prática do modelo em ambientes reais.
• Falta de Dados de Segurança Específicos: A criação de conjuntos de dados de alinhamento de segurança para medicina é cara e difícil, pois requer especialistas médicos para anotação, limitando o fine-tuning tradicional.

2. Metodologia

Os autores propõem uma estratégia de defesa no momento da inferência (inference-time) baseada em Aprendizado em Contexto (ICL) utilizando demonstrações sintéticas, eliminando a necessidade de fine-tuning ou novos dados coletados por humanos.

O pipeline consiste em duas etapas principais:

A. Geração de Demonstração Sintética

Para superar a escassez de dados, o sistema gera automaticamente dois tipos de pares de pergunta-resposta (demonstrações) usando Grandes Modelos de Linguagem (LLMs):

1. Demonstrações Benignas-Afirmativas (B-A): Geradas por um LLM alinhado (ex: GPT-4o), contendo perguntas clínicas seguras e respostas afirmativas e plausíveis.
2. Demonstrações Prejudiciais-Recusativas (H-R): Geradas por um LLM não alinhado (ex: WizardLM) para criar consultas perigosas, que são então pareadas com respostas de recusa curadas ou geradas por LLMs alinhados.

B. Estratégia de Aprendizado em Contexto (ICL)

Durante a inferência, o Med-VLM recebe o contexto de entrada (imagem médica + consulta) junto com um conjunto de demonstrações mistas ($c_m$).

• Estratégia Mista: O contexto combina demonstrações H-R e B-A.
• Razão de Mistura ($\alpha$): Um hiperparâmetro controla a proporção de exemplos de recusa (H-R) versus exemplos afirmativos (B-A).
• Objetivo: Ensinar o modelo a reconhecer e recusar consultas perigosas (aprendendo o padrão de recusa) enquanto mantém a capacidade de responder adequadamente a consultas benignas (reforçando o conhecimento médico).

3. Principais Contribuições

1. Geração de Dados Sintéticos sem Especialistas: Criaram um pipeline escalável para gerar demonstrações de segurança multimodais (imagens + texto) para diversas modalidades (CT, MRI, Raio-X, etc.) sem depender de anotação humana cara.
2. Estratégia de Defesa em Tempo de Inferência: Demonstraram que o ICL com demonstrações sintéticas é eficaz para proteger Med-VLMs existentes (como LLaVA-Med) contra ataques de jailbreak visuais e textuais, sem necessidade de re-treinamento.
3. Solução para o Problema de "Over-Defense": Identificaram que o uso exclusivo de demonstrações de recusa (H-R) em orçamentos de few-shot (poucas demonstrações) causa rejeição excessiva de consultas benignas. Propuseram a Estratégia de Demonstração Mista como solução de compromisso (trade-off) para equilibrar segurança e usabilidade.
4. Análise de Mecanismos: Investigaram por que a defesa funciona, mostrando que as demonstrações H-R alteram a paisagem de perda (loss landscape), tornando ataques de otimização (como PGD) mais difíceis de executar.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados O2M (660 imagens de 9 modalidades) utilizando os modelos LLaVA-Med-v1 e v1.5.

• Redução de Taxa de Sucesso de Ataque (ASR):
  • O uso de apenas demonstrações H-R reduziu drasticamente o ASR (ex: de 72,58% para 17,88% no LLaVA-Med-v1 com 2 demonstrações).
  • A estratégia mista manteve o ASR baixo mesmo sob ataques de jailbreak visuais (PGD) e textuais (GCG).
• Mitigação de Over-Defense (Taxa de Recusa - RR):
  • Demonstrou-se que o uso exclusivo de H-R em orçamentos baixos (ex: $n=2$) elevou a RR (rejeição de consultas benignas) para ~30%.
  • A Estratégia Mista (com $\alpha$ ajustado) reduziu significativamente a RR, mantendo-a próxima da linha de base, enquanto preservava a segurança.
• Impacto do Orçamento de Demonstração:
  • O problema de over-defense diminui à medida que o número de demonstrações ($n$) aumenta, mas a estratégia mista oferece a melhor solução para orçamentos restritos (few-shot).
• Método de Mistura: A mistura aleatória (intercalando H-R e B-A) mostrou-se superior a colocar todos os exemplos de um tipo antes do outro, equilibrando robustez e usabilidade.

5. Significância e Impacto

Este trabalho é pioneiro ao abordar a segurança de Med-VLMs generativos sem depender de fine-tuning custoso ou dados de segurança anotados manualmente.

• Viabilidade Prática: A abordagem é computacionalmente eficiente e adaptável a modelos de caixa preta, tornando-a viável para implementação clínica rápida.
• Equilíbrio Crítico: Resolve o dilema fundamental de segurança em IA médica: como proteger o sistema de usos maliciosos sem prejudicar sua capacidade de auxiliar médicos em diagnósticos legítimos.
• Direção Futura: Abre caminho para estratégias de seleção adaptativa de demonstrações e validação com feedback de profissionais de saúde, estabelecendo um novo padrão para a segurança de modelos multimodais na saúde.

Em resumo, o artigo demonstra que demonstrações sintéticas bem projetadas e misturadas podem transformar Med-VLMs vulneráveis em sistemas seguros e úteis, sem sacrificar sua capacidade diagnóstica.