A Calibrated Memorization Index (MI) for Detecting Training Data Leakage in Generative MRI Models

Título: Um Índice de Memorização Calibrado (MI) para Detecção de Vazamento de Dados de Treinamento em Modelos Generativos de MRI

1. O Problema

Os modelos de geração de imagens sintéticas estão a ser cada vez mais utilizados na área médica para resolver escassez de dados, desequilíbrio de classes e preocupações com a privacidade. No entanto, uma falha crítica é a memorização (ou vazamento de dados), onde o modelo reproduz exemplos exatos ou quase exatos do conjunto de treinamento em suas saídas.

• Risco: Em aplicações médicas, isso compromete a privacidade do paciente ao expor dados identificáveis.
• Limitação das Métricas Atuais:
  • Métricas de fidelidade de distribuição (como FID e MMD) são contraproducentes para detecção de vazamento: se exemplos duplicados contaminam o conjunto de teste, a distribuição empírica aproxima-se da de treinamento, fazendo com que essas pontuações melhorem artificialmente, mesmo com o aumento da memorização.
  • Métricas específicas para duplicação (CT-score, AuthPct, Vendi Score) são frequentemente desenvolvidas com características de imagens naturais (ex: InceptionV3). Elas transferem-se mal para imagens médicas, que possuem alta regularidade anatômica e diversidade de aparência limitada, falhando em distinguir ruído de aquisição de "diversidade" ou em detectar quase-duplicatas sob aumentações simples.
  • Falta de calibração: As métricas existentes sofrem de escalas arbitrárias que variam entre conjuntos de dados, tornando difícil definir limiares universais.

2. Metodologia

Os autores propõem uma nova métrica calibrada e multi-escala para detectar memorização em nível de amostra (slice) em conjuntos de dados de Ressonância Magnética (MRI). O pipeline consiste em quatro etapas principais:

1. Extração de Características (Feature Extraction):

   • Utiliza o modelo de base (foundation model) MRI-CORE (codificador ViT-B baseado em SAM), pré-treinado em diversos conjuntos de dados de MRI.
   • Extraem-se características de blocos de transformadores específicos (camadas 3, 7 e 11) para capturar desde padrões de textura de baixa nível até estruturas anatômicas de alto nível.
   • As saídas espaciais são agrupadas (pooled) via média adaptativa para obter vetores de características.

2. Branqueamento e Similaridade por Camada (Whitening & Similarity):

   • Aplica-se o branqueamento ZCA (Zero-Phase Component Analysis) às características de treinamento para cada camada, decorrelacionando os dados enquanto mantém o espaço original (diferente do PCA).
   • Para cada amostra de teste, calcula-se a similaridade de cosseno máxima em relação a qualquer amostra de treinamento em cada camada.

3. Agregação Multi-Escala:

   • As similaridades das diferentes camadas são agregadas em uma pontuação única por amostra utilizando a média geométrica.
   • Esta abordagem atua como um "produto de especialistas": uma amostra é considerada altamente similar apenas se estiver próxima em todas as escalas (inicial, média e tardia), penalizando casos onde apenas uma camada encontra um vizinho próximo.

4. Calibração e Índices (MI e ONI):

   • Constrói-se uma distribuição nula empírica através de bootstrapping do conjunto de treinamento (amostras independentes).
   • Calcula-se o Índice de Memorização (MI) padronizando a similaridade observada em relação à média e variância da distribuição nula.
   • O MI é mapeado para um Índice de Sobreajuste/Novelty (ONI) acoplado (bounded) usando a função tangente hiperbólica:
     • ONI ≈ -1: Alta similaridade (potencial memorização/cópia exata).
     • ONI ≈ 0: Similaridade consistente com a distribuição nula (amostras não relacionadas).
     • ONI ≈ +1: Alta novidade.

3. Principais Contribuições

• Métrica Calibrada e Universal: O primeiro índice para dados médicos que oferece uma escala consistente entre diferentes conjuntos de dados (cérebro, coluna, joelho), permitindo o estabelecimento de limiares universais.
• Robustez a Aumentações: O método é significativamente mais estável contra perturbações comuns (ruído, rotações, flips, escalas de intensidade) do que métricas existentes como o CT-score.
• Detecção em Nível de Amostra: Diferente de métricas de conjunto que apenas indicam se há vazamento, o MI/ONI fornece pontuações por amostra, permitindo identificar e remover especificamente as imagens memorizadas.
• Uso de Modelo de Base Específico: A utilização de características extraídas de um modelo treinado especificamente em MRI (MRI-CORE) supera as limitações de modelos treinados em imagens naturais.

4. Resultados

Os experimentos foram realizados em três conjuntos de dados públicos de MRI (BRATS - tumores cerebrais, joelho/cossete e coluna) com níveis de duplicação controlada (5% a 45%) e 8 tipos de aumentações.

• Estabilidade e Robustez:
  • O MI proposto foi 6 a 20 vezes mais estável (menor desvio padrão entre aumentações) do que o CT-score.
  • Enquanto o CT-score apresentava grande dispersão com aumentações, o MI manteve uma tendência quase linear e consistente.
• Consistência entre Conjuntos de Dados:
  • O coeficiente de variação (CV) do MI entre os diferentes conjuntos de dados foi 5,5 vezes menor do que o do CT-score. Isso permite definir um limiar universal (ex: ONI < 0,68 indica vazamento), algo impossível com métricas cujas escalas mudam drasticamente entre datasets.
• Comportamento das Métricas:
  • FID/MMD: Diminuíram com o aumento da duplicação (falso positivo de qualidade).
  • Vendi Score: Mostrou pouco ou nenhum sinal útil.
  • AuthPct: Detectou bem, mas foi altamente sensível a aumentações.
  • MI/ONI: Aumentaram linearmente com a duplicação, independentemente das aumentações.
• Desempenho de Detecção (Nível de Amostra):
  • Para amostras limpas, com ruído e escalas de intensidade, a detecção foi perfeita (AUC ≈ 1.0).
  • Sob transformações geométricas (rotações de ±3° a ±5°, flips), a detecção permaneceu eficaz (AUC médio > 0,72), permitindo a curadoria de dados (flagging/remoção de slices memorizadas).

5. Significado e Conclusão

Este trabalho transforma a avaliação de memorização de uma ferramenta diagnóstica passiva para uma ferramenta prática de curadoria de dados.

• Segurança: Permite que pesquisadores validem a segurança de modelos generativos médicos antes da implantação, garantindo que não haja vazamento de dados de pacientes.
• Generalidade: Embora testado em MRI, a metodologia é geral e aplicável a outras modalidades de imagem médica, desde que um espaço de características específico do domínio seja utilizado.
• Impacto Prático: Ao fornecer pontuações calibradas e por amostra, o método permite a remoção seletiva de dados vazados, melhorando a confiabilidade e a privacidade dos modelos de IA generativa na medicina.

O código da implementação está disponível publicamente no repositório do GitHub dos autores.