Resumo Técnico: FiMMIA – Escalando a Inferência de Membros Baseada em Perturbação Semântica entre Modalidades

1. Declaração do Problema

Os Ataques de Inferência de Membro (MIAs) visam determinar se um dado específico foi incluído no conjunto de treinamento de um modelo alvo. Embora existam diversos métodos para Grandes Modelos de Linguagem (LLMs), sua aplicação a Grandes Modelos Multimodais (MLLMs) é dificultada por dois desafios primários:

1. Deslocamentos de Distribuição (Distribution Shifts): Os benchmarks de MIA multimodais existentes sofrem frequentemente de deslocamentos de distribuição entre os dados membros e não membros. Esses deslocamentos permitem que métodos de linha de base simples (que não consultam o modelo alvo) superem ataques de MIA sofisticados, tornando os benchmarks pouco confiáveis para avaliar as capacidades reais de inferência de membro.
2. Complexidade de Modalidade: MLLMs envolvem múltiplas modalidades (texto, imagem, vídeo, áudio) e pipelines de treinamento complexos (pré-treinamento, ajuste fino). Diferente dos modelos apenas de texto, as entradas multimodais muitas vezes carecem de tokens específicos para modalidades não textuais, tornando a aplicação direta de métodos de MIA baseados em texto ineficaz. Além disso, instabilidades introduzidas durante a adaptação multimodal e potenciais deslocamentos de distribuição entre as entradas complicam a inferência.

O artigo argumenta que, sem abordar esses deslocamentos de distribuição e adaptar os métodos para lidar com entradas multimodais, a detecção confiável de contaminação de dados em MLLMs permanece elusiva.

2. Metodologia: Estrutura FiMMIA

Os autores propõem o FiMMIA (Framework for Multimodal MIA), um sistema modular projetado para detectar vazamento de dados através das modalidades de imagem, áudio e vídeo. O framework opera sob o princípio da perturbação semântica, treinando uma rede neural para analisar o comportamento do modelo alvo em entradas perturbadas para capturar diferenças distributivas entre membros e não membros.

2.1 Detecção de Linha de Base e Deslocamento de Distribuição

Antes de implantar o MIA, os autores estabelecem uma linha de base para detectar deslocamentos de distribuição:

• Extração Heurística: Para cada amostra de entrada (membro ou não membro), características heurísticas comuns (ex: SIFT, histogramas LBP) ou características espectrais são extraídas diretamente do conjunto de dados.
• Classificação Cega: Um modelo de aprendizado de máquina raso (ex: regressão logística ou gradient boosting) é treinado para distinguir membros de não membros usando apenas essas características do conjunto de dados, sem qualquer sinal do modelo alvo.
• Validação: Se a linha de base atingir um AUC-ROC elevado (significativamente acima de 50%), isso indica que existe um deslocamento de distribuição, sugerindo que o conjunto de dados é falho para a avaliação de MIA. Os autores descobriram que a maioria dos benchmarks existentes (ex: WikiMIA, VL-MIA) sofre de tais deslocamentos, enquanto divisões aleatórias do dataset MERA não sofrem.

2.2 Pipeline de Ataque Baseado em Perturbação

O núcleo do pipeline FiMMIA envolve as seguintes etapas:

1. Geração de Vizinhos: Para cada amostra multimodal original $(t, s)$ (onde $t$ é o texto e $s$ é a modalidade), $K=24$ "vizinhos" perturbados $(t'_k, s'_k)$ são gerados.
   • As perturbações de texto incluem: mascaramento aleatório (previsto pelo Fred-T5), exclusão de tokens aleatórios, duplicação e troca. Cada técnica é aplicada 6 vezes.
   • Os dados da modalidade ($s$) permanecem inalterados nos experimentos atuais ($s = s'_k$), embora o pipeline suporte a geração de vizinhos multimodais.
2. Geração de Embeddings: Embeddings de texto para o texto original e seus vizinhos são extraídos usando um codificador fixo (intfloat/e5-mistral-7b-instruct).
3. Computação de Perda (Loss): O modelo alvo $M$ (e um modelo de referência $M_{leak}$) computa as perdas para ambas as entradas originais e perturbadas.
   • $L = L(M, t, s)$
   • $L'_k = L(M, t'_k, s'_k)$
4. Construção de Características: Para cada vizinho $k$, as diferenças de características são calculadas:
   • $\Delta L = L - L'_k$ (Diferença de perda)
   • $\Delta e = e - e'_k$ (Diferença de embedding)
   • Essas características são normalizadas via z-score ($\Delta L_{norm}$) para garantir estabilidade entre conjuntos de dados e modelos.
5. Treinamento do Modelo de Ataque: Um classificador de rede neural binária ($f_{FiMMIA}$) é treinado para prever a probabilidade de que as características de entrada se originem de um modelo treinado nos dados alvo (vazado) versus um modelo que não viu os dados (não vazado). Os rótulos de treinamento são derivados de se a perda veio de $M$ ou de $M_{leak}$.
6. Inferência
   Para testar um modelo alvo $M'$ em um ponto de dado específico, o pipeline computa a diferença de perda e de embedding para $M'$, normaliza-os e tira a média das saídas de probabilidade do detector treinado sobre todos os $K$ vizinhos para produzir um score de vazamento final.

3. Principais Contribuições

1. Identificação de Deslocamentos de Distribuição: Os autores estenderam o trabalho de Das et al. (2024) para dados multimodais, demonstrando que os benchmarks de MIA de imagem e texto existentes sofrem de severos deslocamentos de distribuição. Eles mostraram que baselines estatísticos cegos frequentemente superam métodos de estado da arte de MIA nesses benchmarks.
2. MIA Baseado em Perturbação Estendido: O artigo generaliza métodos de MIA baseados em perturbação semântica para MLLMs, provando sua eficácia e transferibilidade mesmo com modelos de bilhões de parâmetros através das modalidades de imagem, vídeo e áudio.
3. Framework FiMMIA: O lançamento de um framework modular e de código aberto que suporta diversos conjuntos de dados, modalidades e métodos de geração de vizinhos. Inclui modelos pré-treinados e pipelines para pontuação de ataque de linha de base e inferência.
4. Avaliação Robusta: Os autores utilizaram o benchmark MERA (língua russa) com divisões aleatórias para garantir a independência entre membros e não membros, proporcionando uma avaliação mais credível do desempenho de MIA.

4. Resultados Experimentais

Os autores avaliaram o FiMMIA em 9 MLLMs publicamente disponíveis (variando de 3B a 12B de parâmetros) através das modalidades de imagem, vídeo e áudio.

• Desempenho: O FiMMIA alcançou altos escores de AUC-ROC, variando geralmente entre 80% e 90% entre as modalidades.
  • Imagem: AUC-ROC médio de 88,66%.
  • Vídeo: AUC-ROC médio de 88,39%.
  • Áudio: AUC-ROC médio de 81,25%.
• Transferibilidade: O modelo de ataque demonstrou significativa transferibilidade dentro de famílias de modelos (ex: Qwen2.5 para variantes do Qwen2.5), com escores de AUC-ROC frequentemente excedendo 90%. A transferibilidade entre famílias distintas foi menor, mas permaneceu acima de 65%, indicando a robustez do método.
• Transferência Cross-Lingual: Quando treinado em dados russos (MERA) e testado em conjuntos de dados em inglês (ScienceQA, MMStar, COCO), o vazamento detectado pelo FiMMIA alinhou-se de perto com o método MM-DETECT (Song et al., 2025), sugerindo propriedades independentes de linguagem.
• Comparação com Linha de Base: Em contraste com os benchmarks existentes onde as linhas de base superaram os ataques, a abordagem de perturbação do FiMMIA conseguiu distinguir com sucesso membros de não membros quando avaliada em conjuntos de dados com divisões adequadas.

5. Significância e Alegações

O artigo posiciona o FiMMIA não como uma ferramenta para extração maliciosa de dados, mas como um mecanismo de diagnóstico e proteção de privacidade. Sua significância reside em:

• Garantia da Integridade dos Benchmarks: Ao identificar casos onde amostras de benchmarks foram inadvertidamente memorizadas (contaminação de dados), o framework ajuda a prevenir a saturação de benchmarks e garante comparações de modelos justas.
• Auditoria de Pipelines de Treinamento: Oferece um mecanismo prático para pesquisadores verificarem se as melhorias de desempenho decorrem de avanços genuínos ou de overfitting aos conjuntos de avaliação.
• Abordagem de Lacunas Multimodais: Preenche uma lacuna crítica na literatura ao fornecer o primeiro framework abrangente de inferência de membro especificamente adaptado às complexidades dos modelos multimodais, indo além das limitações das abordagens apenas de texto.

Os autores reconhecem limitações, incluindo a dependência de acesso gray-box (computação de perda), o foco em cenários de ajuste fino de adaptador de baixo rank (low-rank adapter) e o custo computacional de gerar vizinhos. No entanto, eles afirmam que o FiMMIA representa um passo necessário em direção a padrões de avaliação resilientes para MLLMs.