A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks

Resumo Técnico: Uma Auditoria Controlada de Contaminação de Pré-treinamento em Benchmarks Públicos de Visão-Linguagem Médica

Declaração do Problema
Modelos de Visão-Linguagem (VLMs) médicos são avaliados em um pequeno conjunto de benchmarks públicos (ex: SLAKE, PathVQA, VQA-RAD) que estão disponíveis para download gratuito há 3 a 7 anos. As métricas de acurácia relatadas assumem implicitamente que esses exemplos estavam ausentes do pré-treinamento do modelo. No entanto, esses conjuntos de dados aparecem em misturas abertas amplamente coletadas (scraped), como o PMC-OA-beta, criando um risco de "vazamento de benchmark", onde os modelos memorizaram exemplos de teste, inflando as métricas de desempenho. Embora a contaminação de LLMs de texto e de VLMs gerais tenha sido auditada, a contaminação de VLMs médicos permanece amplamente não auditada. Além disso, os detectores de vazamento existentes não foram rigorosamente testados contra baselines externos no domínio médico, levantando preocupações sobre falsos positivos impulsionados pela heterogeneidade de calibração de coorte, em vez de exposição real aos dados.

Metodologia
Os autores realizam uma auditoria controlada de quatro VLMs abertos (InternVL3-8B, Qwen2.5-VL-7B-Instruct, CheXagent-8b, LLaVA-OneVision-Qwen2-7B) em três benchmarks de VQA médico mantidos à parte (SLAKE-En, PathVQA, VQA-RAD). Uma extensão do lado do texto inclui um quinto modelo, MedGemma-4B-IT, em um espelho público do OmniMedVQA.

O estudo emprega e testa o estresse de quatro detectores de contaminação distintos:

1. Sobreposição de Vizinho Próximo do Lado da Imagem: Incorpora imagens de benchmark e figuras do PMC-OA-beta (1,85M de imagens) usando backbones SigLIP (ViT-B-16 e ViT-SO400M). Sinaliza imagens com proximidade extrema de distância de cosseno em relação às figuras do PMC.
2. Troca de Ordem Canônica: Testa se a log-verossimilhança conjunta de um conjunto de dados é invariante à ordenação. Um desvio significativo sugere que o modelo foi treinado nos dados em sua ordem de lançamento canônica.
3. Enriquecimento de Cauda Min-K%++ Relativo à Coorte: Identifica exemplos onde a "surpresa" de um modelo alvo (escore Min-K%++) é anormalmente baixa em comparação com a mediana da coorte.
4. Sobreposição Top-K entre Modelos: Mede a similaridade de Jaccard dos exemplos mais fáceis Top-K entre diferentes modelos, assumindo que o compartilhamento de dados de treinamento causa um compartilhamento de facilidade.

Mecanismos de Controle
Crucialmente, cada detector é calibrado contra baselines externos pré-domínio para distinguir o vazamento real de artefatos:

• Lado da imagem: Adjudicação manual de imagens sinalizadas e controles negativos usando imagens fora do domínio (pinturas, fotografias naturais) e imagens limpas dentro do domínio (VQA-RAD).
• Lado do texto: Introdução do BLIP-2 (um baseline não médico, pré-2023) e InstructBLIP como baselines externos. Se um detector sinaliza um modelo médico mas também sinaliza o BLIP-2 (que não pode ter exposição a VQA médico), o sinal é atribuído à calibração da coorte ou estrutura do benchmark, em vez de memorização.
• Ablação de Ordenação: Reexecução de testes de troca de ordem em ordenações derivadas de conteúdo (ex: baseadas em hash) para distinguir entre exposição ao treinamento e artefatos de ordem de lançamento (ex: agrupamento por slide de origem).

Resultos Principais

• Sobreposição de Fonte do Lado da Imagem (SLAKE-En): 19,8% das imagens do SLKE-En possuem um vizinho próximo extremo no PMC-OA-beta sob o SigLIP-B-16 (4,2% sob SO400M). A adjudicação manual de 20 imagens sinalizadas revelou que estas são imagens de mesma modalidade e mesma projeção de pacientes diferentes, não duplicatas ao nível de pixel. Isso indica sobreposição de fonte/distribucional em vez de memorização verificada por imagem. O efeito na verossimilhança da resposta padrão (gold-answer) é negligenciável (abaixo do ruído entre modelos).
• Troca de Ordem do Lado do Texto:
  • Qwen2.5-VL × SLAKE-En: Produziu um sinal significativo ($p = 5,0 \times 10^{-4}$) que sobreviveu à ablação de ordenação e aos testes de baseline externo (BLIP-2 e InstructBLIP estavam limpos). Este é o único evidência robusta de vazamento do lado do texto no audit mantido à parte.
  • LLaVA-OneVision × PathVQA: Produziu um sinal significativo, mas este foi retraído como um artefato de ordem de lançamento. O BLIP-2 reproduziu o sinal, e o sinal desapareceu sob a reordenação baseada em hash, implicando o agrupamento do benchmark por slide de origem em vez de exposição específica do modelo.
  • OmniMedVQA: A troca de ordem disparou para todos os cinco modelos médicos/gerais, mas permaneceu limpa para o BLIP-2, sugerindo que o espelho público está contaminado para avaliação do lado do texto.
• Falha dos Detectores Relativos à Coorte (Min-K%++ e Top-K):
  • No SLAKE-En, os Detectores 3 e 4 sinalizaram o CheXagent e o LLaVA-OneVision para enriquecimento de cauda e sobreposição Top-K.
  • Falsificação: Adicionar o BLIP-2 à coorte reproduziu esses exatos sinais (o BLIP-2 mostrou o mesmo enriquecimento de cauda e sobreposição Top-K). Como o BLIP-2 não pode compartilhar exposição a VQA médico, os detectores mostram-se não confiáveis como sinais isolados de inferência de pertencimento em pequenas coortes médicas. Os sinais são impulsionados pela heterogeneidade de calibração inter-modelo (alguns modelos são sistematicamente "mais fáceis" em respostas de forma fechada de baixa entropia) em vez de dados de treinamento compartilhados.
• Benchmarks Limpos: O VQA-RAD permaneceu limpo em todos os sinais e modelos, servindo como um controle de sanidade confiável.

Alegações e Significância
O artigo afirma fornecer a primeira auditoria controlada de contaminação de VLMs médicos, oferecendo um framework metodológico que prioriza baselines externos pré-domínio e adjudicação manual sobre scores brutos de detectores.

• Contribuição Metodológica: O estudo demonstra que detectores relativos à coorte (Min-K%++ e sobreposição Top-K) são propensos a falsos positivos devido à heterogeneidade de calibração e devem ser pareados com baselines externos. Valida a detecção de vizinho próximo do lado da imagem como uma medida de sobreposição de fonte (não necessariamente memorização) e a troca de ordem canônica como um sinal robusto do lado do texto quando apoiado por ablação e baselines.
• Recomendações Práticas:
  1. Preferir o VQA-RAD como o benchmark mantido à parte mais seguro.
  2. Inspecionar ou reduzir o peso das imagens do SLAKE-En sinalizadas para sobreposição de fonte antes de relatar resultados.
  3. Tratar o espelho público do OmniMedVQA como contaminado para avaliação do lado do texto.
  4. Nunca usar o Min-K%++ relativo à coorte ou a sobreposição Top-K como sinais isolados de vazamento sem um baseline externo pré-domínio.
• Limitações: A auditoria é limitada a quatro VLMs principais e benchmarks específicos. Os achados identificam sinais estatísticos de contaminação, não inclusão comprovável de dados de treinamento. Os autores enfatizam que os sinais positivos são evidências circunstanciais que exigem interpretação cuidadosa para evitar desacreditar injustamente benchmarks ou modelos.

Conclusão
A auditoria revela que, embora alguns benchmarks médicos (SLAKE-En) sofram de significativa sobreposição de fonte com corpora de pré-treinamento, isso não equivale necessariamente à memorização por imagem que infla o desempenho. Mais criticamente, o estudo expõe uma falha metodológica ao confiar em detectores relativos à coorte sem baselines externos, mostrando que tais sinais podem ser inteiramente impulsionados por diferenças de calibração de modelos, em vez de vazamento de dados. O artigo defende uma abordagem mais rigorosa e controlada para a auditoria de contaminação em IA médica.