Visual concept ranking uncovers medical shortcuts used by large multimodal models

1. Problema e Motivação

A confiabilidade de modelos de aprendizado de máquina em domínios críticos como a saúde exige métodos de auditoria capazes de revelar falhas e "atalhos" (shortcuts) que os modelos utilizam para tomar decisões.

• Contexto: Grandes Modelos Multimodais (LMMs), que combinam codificadores de visão e Grandes Modelos de Linguagem (LLMs), estão sendo aplicados a tarefas médicas complexas.
• O Desafio: Embora performem bem, esses modelos frequentemente exibem comportamentos indesejados, como disparidades de desempenho entre subgrupos demográficos (ex: tons de pele diferentes) ou dependência de características espúrias (ex: marcadores de hospitalidade em vez de patologia real).
• Limitações das Técnicas Atuais:
  • Mapas de Saliência: Identificam dependências espaciais localizadas (ex: texto no canto da imagem), mas falham em capturar conceitos abstratos ou difusos (ex: "brilho geral" ou "parte do corpo").
  • Abordagens Correlacionais (ex: MA-MONET): Identificam correlações entre recursos visuais e saídas do modelo. No entanto, podem falhar em distinguir entre causalidade e correlação espúria, especialmente quando há shift de distribuição entre os dados de treinamento e de teste (ex: um marcador hospitalar correlacionado com a doença apenas no conjunto de teste, mas não usado pelo modelo).

2. Metodologia: Visual Concept Ranking (VCR)

Os autores propõem o Visual Concept Ranking (VCR), um método para identificar e classificar os conceitos visuais mais importantes que um LMM utiliza para completar tarefas específicas. O método é projetado para ser "livre de hipóteses" (hypothesis-free), testando dezenas de milhares de conceitos simultaneamente.

Fluxo do Algoritmo VCR:

1. Rótulos de Conceito com VLM:

   • Utiliza-se um Modelo Visão-Linguagem pré-treinado (VLM), como o OpenCLIP, para rotular um conjunto de imagens de sondagem (probe set) com uma vasta lista de conceitos (ex: 20.000 palavras comuns + listas específicas de domínio).
   • Calcula-se a similaridade de cosseno entre os embeddings de imagem e texto do VLM para gerar uma matriz de rótulos de conceito ($Y$).

2. Aprendizado de Vetores de Ativação de Conceito (CAV):

   • Extraem-se as ativações do modelo alvo (LMM) em uma camada específica (geralmente a última camada do residual stream) para cada imagem do conjunto de sondagem.
   • Treina-se um modelo de regressão linear regularizado ($L2$) para prever a presença de cada conceito ($Y$) a partir das ativações do modelo ($A$).
   • Os pesos dessa regressão formam os Vetores de Ativação de Conceito (CAVs), que representam a direção no espaço de ativação correspondente a cada conceito.

3. Medição de Sensibilidade (Derivadas Direcionais):

   • Para cada conceito, calcula-se a derivada direcional da pontuação da tarefa (ex: log-probabilidade normalizada da classe "maligno") em relação ao vetor de ativação do conceito.
   • Isso mede quão sensível é a saída do modelo a perturbações ao longo da direção daquele conceito específico.

4. Teste de Significância Estatística:

   • Utiliza-se bootstrap resampling do conjunto de sondagem para gerar distribuições de pontuações de importância.
   • Aplica-se um teste-t e correção de Bonferroni para identificar quais conceitos têm uma influência estatisticamente significativa e causal na decisão do modelo.

Diferencial: Diferente de métodos puramente correlacionais, o VCR utiliza gradientes e ativações internas do modelo, permitindo distinguir entre características que o modelo realmente usa (causais) e aquelas que apenas correlacionam com a saída no conjunto de dados de avaliação.

3. Principais Contribuições e Resultados

A. Validação em Dados Sintéticos

• Os autores criaram um benchmark sintético onde as dependências verdadeiras entre recursos e rótulos eram conhecidas e controladas.
• Resultado: O VCR mostrou uma forte correlação (Pearson $r \approx 0.53$) entre suas pontuações de sensibilidade e os efeitos intervencionais reais (ground truth).
• Robustez a Shift de Distribuição: Em cenários adversariais onde um recurso "espúrio" era fortemente correlacionado com o rótulo no conjunto de teste, mas não no treinamento (o modelo aprendeu a ignorá-lo), o VCR corretamente identificou que o recurso não era causal (92% de precisão). Em contraste, métodos puramente correlacionais (como uma abordagem baseada apenas em CLIP) falharam, identificando erroneamente o recurso espúrio como importante (apenas 18% de precisão).

B. Descoberta de Atalhos em Dermatologia

Aplicando o VCR a modelos de classificação de lesões de pele (OpenFlamingo) usando o conjunto de dados DDI:

1. Disparidades Demográficas e ICL: Confirmou-se que, ao usar In-Context Learning (ICL) com exemplos demonstrativos, o desempenho do modelo melhora para peles escuras (FST V/VI) mas piora para peles claras (FST I/II).
2. Identificação de Atalhos (Tatuagens e Marcas Azuis/Roxas): O VCR identificou que conceitos como "tatuagem" e "Púrpura/Petequias" eram altamente significativos. A análise visual revelou que o modelo estava reagindo a marcas de tinta azul/roxa usadas por dermatologistas para marcar lesões para biópsia, e não à patologia em si.
   • Intervenção Manual: Ao adicionar artificialmente pontos roxos/azuis em imagens de pele neutra, confirmou-se que essas marcas aumentavam a probabilidade de "maligno" para peles escuras em configurações ICL, mas não para peles claras, validando a hipótese gerada pelo VCR.
3. Viés de Localização Anatômica: O modelo tendia a prever menor probabilidade de malignidade para lesões em fundos de rosto ou couro cabeludo (conceitos "pescoço", "cabelo") em comparação com fundos de pele genérica.
   • Intervenção: Ajustes manuais confirmaram que lesões em fundos de rosto/couro cabeludo recebiam pontuações de malignidade significativamente menores, um viés que poderia levar a diagnósticos perdidos.

C. Experiências Suplementares

• Radiografia de Tórax (CheXpert): O VCR identificou o conceito "fiação" (wiring) como um preditor importante para radiografias anormais. A análise mostrou que o modelo estava detectando dispositivos médicos (marcapassos, cabos de EKG) — um sinal de que o paciente está doente — em vez de analisar a patologia pulmonar diretamente.
• Imagens Naturais (Imagenette): Demonstrou a versatilidade do método em tarefas não médicas, identificando conceitos semânticos coerentes (ex: "logos" para bolas de golfe).

4. Significado e Implicações

• Auditoria Causal vs. Correlacional: O trabalho demonstra a importância crítica de usar métodos baseados em gradientes (como o VCR) para auditoria de modelos em saúde, especialmente quando há risco de shift de distribuição. Métodos puramente correlacionais podem levar a conclusões errôneas sobre o que o modelo está "olhando".
• Descoberta de Viés Dinâmico: O estudo revela que o uso de atalhos em LMMs não é estático; ele muda dependendo do prompt (Zero-shot vs. ICL) e varia entre subgrupos demográficos. Isso sugere que a curadoria de exemplos demonstrativos é crucial para a equidade.
• Ferramenta de Geração de Hipóteses: O VCR atua como uma ferramenta poderosa para gerar hipóteses testáveis sobre o comportamento interno de modelos "caixa-preta", que podem então ser validadas por intervenções manuais.
• Limitações: O método requer acesso aos gradientes do modelo (não aplicável diretamente a APIs fechadas) e tem dificuldade com conceitos puramente espaciais (posição na imagem), onde mapas de saliência tradicionais ainda são superiores.

Conclusão

O artigo apresenta o VCR como um avanço significativo na interpretabilidade de modelos multimodais na saúde. Ao permitir a identificação de dependências causais de conceitos visuais em larga escala, o método expõe falhas sutis e perigosas (como o uso de marcas de tinta ou viés anatômico) que passariam despercebidas por métricas de desempenho padrão ou métodos de interpretabilidade existentes. Isso é fundamental para garantir a segurança e a equidade na implantação clínica de IA.