Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

Resumo Técnico: Modelos de Visão-Linguagem Multimodais Inspirados em Neurociência e Resiliência à Inferência de Membros

Definição do Problema
A rápida implantação de Modelos Multimodais (MMs), especificamente Modelos de Visão-Linguagem (VLMs), em aplicações de IA agêntica (ex: robótica, saúde, autenticação), introduziu novas vulnerabilidades de privacidade. Embora pesquisas existentes tenham analisado extensivamente Ataques de Inferência de Membros (MIAs) em sistemas unimodais e Grandes Modelos de Linguagem (LLMs), a resiliência dos VLMs contra MIAs de caixa-preta (black-box) permanece subexplorada. Em um cenário de MIA de caixa-preta, um adversário consulta um VLM implantado com uma imagem e tenta deduzir se um par imagem-texto específico fez parte do conjunto de dados de treinamento do modelo através da análise da legenda gerada. Se bem-sucedido, isso constitui um vazamento de privacidade, revelando dados sensíveis de treinamento. Estudos anteriores sugerem que representações de redes neurais inspiradas biologicamente podem melhorar a resiliência contra ataques adversariais em modelos unimodais, mas não se sabe se a regularização estrutural neuro-inspirada pode mitigar o vazamento de privacidade em VLMs multimodais complexos.

Metodologia
Este trabalho introduz um framework sistemático para avaliar e aumentar a resiliência de VLMs contra MIAs baseados em imagem-texto usando regularização topológica inspirada em neurociência (referida como $\tau$-regularização).

• Modelo de Ameaça: O estudo opera sob um cenário estrito de caixa-preta. O adversário não tem acesso aos pesos do modelo, gradientes ou embeddings internos. Ele pode apenas enviar uma imagem de entrada $u$ para o modelo alvo $M_\tau$ e observar a legenda gerada $v'$. O adversário possui uma legenda de referência $v$ (verdade fundamental/ground truth) e utiliza métricas de similaridade para inferir a participação (membership).
• Regularização Topológica ($\tau$-Regularização): A metodologia central envolve o ajuste fino (fine-tuning) de VLMs pré-treinados com uma função de perda modificada:
  $$J_\tau = J_{cap} + \tau \cdot R_{topo}$$
  Onde $J_{cap}$ é a perda de legendagem padrão (entropia cruzada) e $R_{topo}$ é um regularizador topográfico que incentiva representações internas mais suaves e espacialmente organizadas, alinhando mapas de características com contrapartes borradas. O escalar $\tau$ controla a força deste viés indutivo.
• Configuração Experimental:
  • Modelos: Três VLMs foram avaliados: BLIP, PaliGemma 2 e ViT-GPT2.
  • Datasets: Experimentos foram conduzidos no COCO, CC3M e NoCaps.
  • Variantes: Os modelos foram testados em três configurações:
    • Baseline: $\tau = 0$ (Ajuste fino padrão).
    • NEURO: $\tau = 2$ (Regularização topográfica moderada).
    • NEURO++: $\tau = 3$ (Regularização topográfica forte).
  • Mecanismo de Ataque: O adversário calcula a similaridade entre a legenda gerada $v'$ e a legenda de referência $v$ usando MPNet (similaridade semântica) e ROUGE-2 (sobreposição lexical). Uma alta pontuação de similaridade sugere que a amostra é um "membro" do conjunto de treinamento. O sucesso do ataque é quantificado usando ROC-AUC.

Principais Contribuições

1. Introdução de Framework: O artigo introduz um framework de regularização topológica ($\tau$-regularizado) projetado especificamente para ajustar VLMs multimodais para avaliar sua resiliência contra ataques de privacidade.
2. Primeiro Estudo Empírico sobre Neuro-VLMs: Este trabalho apresenta a primeira investigação sobre se a regularização estrutural neuro-inspirada melhora a resiliência de privacidade de VLMs contra MIAs de caixa-preta.
3. Avaliação Abrangente: Os autores fornecem uma avaliação abrangente através de três arquiteturas distintas de VLM e três conjuntos de dados de referência, comparando modelos baseline com variantes neuro-inspiradas.
4. Análise de Trade-off Privacidade-Utilidade: O estudo oferece evidências quantitativas sobre o equilíbrio entre proteção de privacidade (redução do sucesso do ataque) e utilidade do modelo (qualidade da geração de legendas), demonstrando que a resiliência pode ser alcançada sem degradação significativa de desempenho.
5. Estudos de Ablação: O artigo analisa o impacto da variação do coeficiente de regularização $\tau$ (de 0 a 3) e da granularidade do ataque para identificar padrões na resiliência do modelo.

Resultos
Os experimentos demonstram que os VLMs neuro-inspirados são significativamente mais resilientes a ataques de inferência de membros do que seus respectivos modelos baseline, mantendo uma utilidade comparável.

• Redução do Sucesso do Ataque: No modelo BLIP utilizando o dataset COCO, a taxa de sucesso do ataque MIA (medida por ROC-AUC) caiu aproximadamente 24% para a variante NEURO ($\tau=2$) e 30,5% para a variante NEURO++ ($\tau=3$) em comparação ao Baseline.
  • Baseline BLIP (COCO): ROC-AUC = 94,00%
  • NEURO++ BLIP (COCO): ROC-AUC = 63,46%
• Consistência entre Modelos e Datasets: Tendências semelhantes foram observadas para PaliGemma 2 e ViT-GPT2 nos datasets CC3M e NoCaps. Geralmente, o aumento de $\tau$ reduziu o ROC-AUC, indicando menor vulnerabilidade a MIAs.
• Preservação da Utilidade: Crucialmente, a redução no sucesso do ataque não ocorreu às custas do desempenho do modelo. As pontuações de similaridade (MPNet e ROUGE-2) entre as legendas geradas e de referência para os modelos NEURO permaneceram similares a, ou em alguns casos ligeiramente superiores aos, modelos Baseline. Por exemplo, no dataset COCO, a lacuna de similaridade entre amostras membros e não-membros diminuiu, mas a qualidade geral da geração de legendas (utilidade) foi preservada.
• Mecanismo: A regularização topográfica parece reduzir a dependência do modelo na memorização de exemplos específicos de treinamento. Ao suavizar as representações internas, o modelo gera legendas que são menos distintivamente "memorizadas" para os dados de treinamento, diminuindo assim a lacuna de similaridade entre membros e não-membros que os adversários exploram.

Significância e Alegações
O artigo afirma preencher uma lacuna crítica na compreensão dos riscos de privacidade em IA multimodal. Ele fornece evidências empíricas de que a regularização topográfica neuro-inspirada é um mecanismo eficaz para mitigar o vazamento de privacidade em VLMs sem comprometer sua utilidade.

Os autores concluem que, embora os VLMs sejam suscetíveis a MIAs, a incorporação de princípios biológicos (especificamente a organização topográfica) no processo de treinamento pode aumentar a resiliência de privacidade. Isso sugere um caminho viável para a implantação de soluções de IA agêntica "confiáveis", onde a privacidade é preservada junto com o alto desempenho. O trabalho destaca a necessidade de mais pesquisas para otimizar o parâmetro $\tau$ para trade-offs específicos de privacidade-utilidade e explorar cenários de ataque de caixa-branca (white-box), mas estabelece firmemente a eficácia da $\tau$-regularização como uma estratégia defensiva em ambientes de caixa-preta.