Membership Inference Attacks Against Video Large Language Models

1. Definição do Problema

O artigo aborda a vulnerabilidade de privacidade dos Modelos de Linguagem Grandes de Vídeo (VideoLLMs) em relação a Ataques de Inferência de Associação (MIAs).

• A Questão Central: Um auditor externo pode determinar, com acesso de caixa-preta, se um vídeo específico fazia parte do conjunto de dados de treinamento de um modelo?
• O Desafio: Diferente de modelos apenas de texto ou apenas de imagem, os VideoLLMs enfrentam desafios únicos em configurações de caixa-preta:
  • Observabilidade Limitada: Os atacantes veem apenas o texto gerado, não as probabilidades de tokens, logits ou estados internos.
  • Fatores de Confusão: A instabilidade na geração em VideoLLMs não se deve exclusivamente à memorização. Ela é fortemente influenciada por propriedades intrínsecas do vídeo, como complexidade de movimento, espaço temporal (duração) e densidade de amostragem de quadros. Um modelo pode gerar texto instável para um vídeo difícil, mesmo que nunca o tenha visto antes, criando falsos positivos para a inferência de associação.
• Objetivo: Desenvolver um ataque que distinga entre instabilidade causada por memorização (associação) e instabilidade causada por dificuldade de entrada (não associação).

2. Metodologia: TempVideo-MIA

Os autores propõem o TempVideo-MIA, um framework de ataque de caixa-preta que acopla geração perturbada por temperatura com recursos de dificuldade conscientes de vídeo. O método opera em três etapas:

A. Sinal de Resposta Baseado em Temperatura

O ataque explora a hipótese de que amostras associadas (vistas durante o treinamento) induzem um padrão de geração condicional mais nítido e concentrado do que as não associadas.

• Procedimento: O atacante consulta o VideoLLM alvo com o mesmo vídeo e prompt sob duas temperaturas de decodificação diferentes:
  • $\tau_{low}$ (ex.: 0.0): Encoraja geração determinística e de alta confiança.
  • $\tau_{high}$ (ex.: 0.8): Encoraja exploração estocástica de formulações alternativas.
• Métrica: O atacante calcula o desvio semântico entre as duas saídas geradas em relação a um texto de referência (legenda de verdade fundamental).
  • $sim\_low$: Similaridade de cosseno entre a saída de baixa temperatura e a referência.
  • $sim\_high$: Similaridade de cosseno entre a saída de alta temperatura e a referência.
  • $temp\_diff = sim\_low - sim\_high$.
• Intuição: Se uma amostra é associada, o modelo possui um "modo memorizado". Em baixa temperatura, ele permanece próximo a esse modo (alta similaridade). Em alta temperatura, ele diverge significativamente do modo memorizado (menor similaridade), resultando em um $temp\_diff$ maior. Não associados, carecendo de uma âncora memorizada forte, mostram mudanças menos dramáticas.

B. Recursos de Dificuldade Conscientes de Vídeo

Para evitar que o ataque seja enganado por vídeos intrinsecamente difíceis, os autores extraem descritores auxiliares diretamente do vídeo de entrada:

• Complexidade de Movimento: Calculada usando estatísticas de fluxo óptico (magnitude média de movimento). Vídeos de alto movimento são mais difíceis de resumir consistentemente.
• Duração do Vídeo: Vídeos mais longos introduzem mais contexto temporal e potencial para eventos perdidos durante a amostragem esparsa de quadros.
• Transformação: Ambos os recursos são transformados logaritmicamente para reduzir a sensibilidade à escala.

C. Recursos de Interação e Classificação

Os autores modelam explicitamente a interação entre o sinal de temperatura e a dificuldade do vídeo, pois a significância do desvio semântico depende do tipo de vídeo.

• Vetor de Recursos: Um vetor de 6 dimensões é construído para cada amostra:
  1. $sim\_low$
  2. $temp\_diff$
  3. $complexity$ (Movimento)
  4. $duration\_log$
  5. $complex\_temp$ (Interação: Complexidade $\times$ Diff de Temp)
  6. $duration\_temp$ (Interação: Duração $\times$ Diff de Temp)
• Classificador: Classificadores binários padrão (Regressão Logística, Floresta Aleatória, SVM, MLP) são treinados nesses recursos para prever associação ($m \in \{0, 1\}$).

3. Configuração Experimental

• Modelo Alvo: LLaVA-Video-7B-Qwen2-Video-Only.
• Conjuntos de Dados:
  • Associados: 350 amostras do corpus de ajuste por instrução LLaVA-Video-178K.
  • Não Associados: 350 amostras do conjunto de dados VideoChatGPT (disjunto do treinamento).
  • Controle: Amostragem compatível com comprimento garante que os conjuntos de associados e não associados tenham distribuições de duração de vídeo comparáveis para evitar aprendizado de atalhos.
• Protocolo: 100 execuções repetidas com divisões aleatórias de treino/teste para garantir robustez.

4. Resultados Principais

O ataque alcançou resultados estatisticamente significativos em quatro classificadores diferentes:

• AUC Média: 0.68 (melhor alcançado pelo Perceptron Multicamadas).
• Precisão Média: 0.63.
• Consistência: Todos os classificadores (incluindo os lineares como Regressão Logística) performaram de forma similar, sugerindo que o sinal é estável e não depende de fronteiras de decisão não lineares complexas.
• Significância: O desempenho está bem acima do chute aleatório (0.5), provando que sinais de associação são detectáveis mesmo sem acesso aos estados internos do modelo.

5. Contribuições Principais

1. Formulação do Problema: Primeira formalização de inferência de associação de caixa-preta especificamente para VideoLLMs, abordando o desafio único de desvendar a memorização da dificuldade específica de vídeo.
2. Framework de Ataque Inovador (TempVideo-MIA): Introdução de um método que combina análise de sensibilidade à temperatura com descritores em nível de vídeo (movimento, duração) e suas interações para isolar sinais de associação.
3. Evidência Empírica: Demonstração de que VideoLLMs vazam informações mensuráveis de associação em um cenário estritamente de caixa-preta, desafiando a suposição de que modelos multimodais são inerentemente mais privados devido à sua complexidade.

6. Significado e Implicações

• Risco de Privacidade: O estudo revela que VideoLLMs são vulneráveis a ataques de privacidade mesmo quando o atacante não tem acesso a logits, gradientes ou metadados de treinamento. A "pegada" dos dados de treinamento permanece no comportamento de geração do modelo.
• Auditabilidade: Fornece uma ferramenta prática para proprietários de conjuntos de dados e reguladores auditarem se conteúdo de vídeo proprietário ou sensível foi utilizado no treinamento sem necessidade de cooperação do desenvolvedor do modelo.
• Limitações das Defesas Atuais: Os resultados sugerem que defesas padrão (como deduplicação ou privacidade diferencial) projetadas para texto ou imagens podem não se transferir diretamente para vídeo, pois a interação entre compressão visual, esparsidade temporal e geração de linguagem cria padrões de vazamento únicos.
• Direções Futuras: Destaca a necessidade de benchmarks de privacidade especializados e defesas adaptadas à natureza multimodal e temporal dos VideoLLMs.

Em conclusão, o artigo estabelece que VideoLLMs não são privados por associação por padrão. O ataque proposto aproveita com sucesso a interplay entre a temperatura de decodificação e a complexidade do vídeo para expor vazamento de dados de treinamento, instando a comunidade a priorizar a auditoria de privacidade em modelos fundamentais multimodais.