Resumo Técnico: Sobre a Robustez do Esquecimento de Máquina para Modelos Visão-Linguagem

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) estão sendo cada vez mais implantados em aplicações do mundo real, mas correm o risco de memorizar informações indesejadas de seus dados de treinamento, incluindo conteúdo sensível, privado, protegido por direitos autorais ou de outra forma prejudicial. Embora o esquecimento de máquina tenha sido extensivamente estudado para Modelos de Linguagem de Grande Escala (LLMs), sua aplicação a VLMs apresenta desafios únicos. Diferentemente dos modelos de apenas texto, os VLMs armazenam informações por meio de representações visuais e textuais entrelaçadas em múltiplos componentes (codificadores visuais, codificadores de texto e decodificadores multimodais).

O problema central abordado é a robustez dos métodos atuais de esquecimento para VLMs. As avaliações existentes frequentemente dependem de prompts padrão, que podem apenas verificar se um modelo suprime consultas diretas sobre entidades esquecidas. No entanto, permanece incerto se o esquecimento realmente apaga o conhecimento multimodal ou apenas o esconde, deixando associações residuais que podem ser reativadas por meio de consultas alternativas, pistas contextuais ou retreinamento a jusante.

Metodologia

1. Taxonomia e Revisão

Os autores estabelecem primeiro uma taxonomia abrangente dos métodos existentes de esquecimento para VLMs, categorizando-os com base nos componentes otimizados ou modificados durante o processo de esquecimento:

• Ajuste Fino de Parâmetros Completos: Atualiza todos os parâmetros do modelo ($\theta_v, \theta_t, \theta_d$). Inclui adaptações de técnicas de LLM como Ascenso de Gradiente (GA), Descenso de Gradiente (GD) e Otimização de Preferência Negativa (NPO), bem como extensões específicas para VLM que levam em conta o alinhamento visual-textual.
• Ajuste Fino do Codificador Visual: Restringe as atualizações ao codificador visual ($\theta_v$), mantendo os módulos de texto e fusão fixos. Isso visa diretamente a fonte de associações visuais indesejadas.
• Ajuste Fino Seletivo de Parâmetros: Atualiza apenas um subconjunto de parâmetros identificados como críticos para o conhecimento-alvo, visando equilibrar eficiência e eficácia.
• Intervenção no Tempo de Inferência: Modifica entradas ou ativações ocultas durante a inferência sem atualizar parâmetros (por exemplo, mascaramento de características, direção de ativação). Nota: Esta categoria foi excluída dos experimentos de robustez devido à exigência de retreinamento para os ataques propostos.

2. Framework de Avaliação de Robustez

Para determinar se o conhecimento é realmente apagado ou apenas suprimido, o artigo propõe três paradigmas de ataque projetados para reativar o conhecimento multimodal esquecido:

• Ataque em Contexto: Durante a inferência, pistas contextuais semanticamente relacionadas, mas não explícitas (por exemplo, descrever a profissão de uma pessoa sem nomeá-la), são adicionadas ao início da consulta. Isso testa se associações multimodais latentes podem ser reativadas sem atualizações de parâmetros.
• Ataque Dentro da Distribuição (InD): O modelo esquecido é ajustado finamente usando uma pequena proporção de dados amostrados da distribuição original de esquecimento. Os rótulos de supervisão são gerados pelo modelo pré-treinado original. Isso simula um adversário com acesso aos dados originais tentando restaurar o conhecimento.
• Ataque Fora da Distribuição (OOD): O modelo esquecido é retreinado em um conjunto de dados semanticamente diferente, mas relacionado (por exemplo, imagens gerais do PACS em vez das identidades faciais específicas). Isso testa se representações residuais podem ser reativadas por meio de transferência distribucional.

3. Configuração Experimental

• Modelo: Qwen2.5-VL-3B-Instruct.
• Conjunto de Dados: VGGFace2, partitionado em um conjunto de esquecimento (3 identidades de celebridades) e um conjunto de retenção (7 identidades).
• Baselines: Uma ampla gama de métodos das três categorias ativas (Parâmetros Completos, Codificador Visual e Ajuste Fino Seletivo).
• Métricas: Pontuação de esquecimento ($1 - \text{Accuracy}_{\text{forget}}$), Pontuação de retenção ($\text{Accuracy}_{\text{retain}}$) e Utilidade Geral (desempenho em MMStar, OCRBench, MMMU, RealWorldQA). As avaliações foram conduzidas sob configurações de prompt Original, Parafraseado e Discriminativo.

Resultados Principais

Desempenho Inicial vs. Robustez

• Compensações: Os métodos de parâmetros completos geralmente alcançaram altas pontuações de esquecimento em prompts originais, mas sofreram degradação significativa na retenção e utilidade geral, frequentemente exibindo esquecimento catastrófico.
• Prompts Discriminativos: Muitos métodos que pareciam bem-sucedidos sob consultas generativas falharam em suprimir o reconhecimento discriminativo (por exemplo, "Esta pessoa é X?"), sugerindo que associações visuais subjacentes permaneceram intactas.
• Vantagem do Codificador Visual: Métodos focados no codificador visual (por exemplo, HFRU, HFRU-SFT) demonstraram desempenho mais equilibrado, mantendo altas pontuações de esquecimento e retenção em todos os tipos de prompt.

Vulnerabilidade a Ataques

• Ataques em Contexto: Pistas contextuais reativaram com sucesso o conhecimento esquecido na maioria dos paradigmas. Por exemplo, métodos como RMU, SatImp e WGA mostraram degradação perceptível no desempenho de esquecimento quando descrições contextuais foram fornecidas, indicando que suprimiram principalmente a recuperação direta em vez de remover associações.
• Ataques Dentro da Distribuição: O retreinamento com apenas 1% dos dados originais de esquecimento causou uma recuperação rápida do conhecimento esquecido para muitos métodos (por exemplo, a eficácia do esquecimento do SLUG caiu mais de 80%). Isso sugere que muitos processos de esquecimento realizam supressão superficial em vez de remoção fundamental de representações. O Mmunlearner mostrou a maior robustez, exigindo 50-75% de dados de retreinamento para degradar significativamente o desempenho.
• Ataques Fora da Distribuição: Contrariamente ao ataque InD, o retreinamento OOD não restaurou o conhecimento esquecido; em vez disso, prejudicou consistentemente o desempenho de retenção em todos os métodos. Isso indica que, embora representações residuais existam, elas não são facilmente reativadas por distribuições de dados não relacionadas.

Contribuições Principais

1. Taxonomia Sistemática: O artigo fornece a primeira categorização e revisão abrangentes dos métodos de esquecimento para VLMs com base em suas estratégias de otimização.
2. Avaliação Unificada: Realiza uma avaliação minuciosa desses métodos sob múltiplas configurações de prompt (Original, Parafraseado, Discriminativo), revelando inconsistências nas avaliações padrão.
3. Análise de Robustez: O estudo introduz a primeira investigação sistemática sobre a robustez do esquecimento para VLMs por meio de três paradigmas de ataque (Em Contexto, InD, OOD).
4. Descobertas Empíricas: Experimentos extensivos demonstram que as abordagens atuais frequentemente escondem em vez de remover completamente o conhecimento-alvo, destacando a necessidade de estratégias de esquecimento multimodal mais confiáveis.

Significado e Alegações

O artigo afirma que o estado atual do esquecimento para VLMs é insuficiente para garantir a remoção permanente de informações indesejadas. Os autores argumentam que avaliar o esquecimento apenas sob condições de prompts padrão superestima a extensão da remoção de conhecimento. Ao demonstrar que o conhecimento esquecido pode ser facilmente reativado por meio de prompts contextuais ou retreinamento mínimo na distribuição de dados original, o estudo sublinha uma lacuna crítica entre "supressão" e "apagamento".

O trabalho conclui que, embora alguns métodos (particularmente aqueles que visam o codificador visual) mostrem promessa, o campo carece de estratégias robustas que garantam a eliminação de associações multimodais. Os autores enfatizam a necessidade de pesquisas futuras desenvolverem técnicas de esquecimento que sejam resilientes a esses ataques de reativação, garantindo que informações sensíveis ou indesejadas sejam realmente removidas do espaço latente do modelo.

Nota: O artigo afirma explicitamente limitações, incluindo o uso de um protocolo de avaliação unificado que pode simplificar detalhes de implementação para consistência, e a construção manual de prompts contextuais para o ataque em contexto, sugerindo potencial para estratégias mais automatizadas em trabalhos futuros.