Resumo Técnico: Destilação In-Context Guiada por Ruído Visual para Desaprendizado de Modelos de Linguagem Grande Multimodais

1. Definição do Problema

Os Modelos de Linguagem Grande Multimodais (MLLMs) alcançaram progressos significativos em tarefas de visão-linguagem, mas representam riscos substanciais à privacidade e à segurança ao memorizar inadvertidamente informações pessoais sensíveis, conteúdo protegido por direitos autorais ou conhecimento inseguro. Uma vez codificado nos parâmetros do modelo, esse conhecimento pode ser acionado por consultas visuais ou textuais durante a inferência.

Os paradigmas de desaprendizado (unlearning) existentes enfrentam um compromisso crítico:

• Métodos baseados em treinamento (ex: Ascensão de Gradiente, Otimização de Preferência Negativa) atualizam os parâmetros do modelo para remover o conhecimento, mas frequentemente degradam a utilidade e as capacidades gerais do modelo.
• Métodos sem treinamento (ex: Desaprendizado In-Context) preservam a utilidade ao evitar atualizações de parâmetros, mas falham em remover o conhecimento memorizado no nível dos parâmetros. Consequentemente, permanecem vulneráveis a ataques de engenharia reversa e são insuficientes em ambientes multimodais, onde entradas visuais fortes podem sobrepor instruções de segurança textuais.

O desafio central é alcançar um desaprendizado eficaz no nível dos parâmetros em MLLMs, mantendo a utilidade geral e a robustez contra prompts adversários, sem depender de modelos professores externos ou de anotações explícitas de respostas indesejáveis.

2. Metodologia: VGID

Os autores propõem a Destilação In-Context Guiada por Ruído Visual (VGID), um framework de professor-aluno projetado para preencher a lacuna entre a intervenção sem treinamento e o desaprendizado no nível dos parâmetros.

2.1 Intervenção Dual-Modal

A ideia central do VGID é que instruções in-context puramente textuais são insuficientes para suprimir a vazão de privacidade induzida por características visuais salientes. Para abordar isso, o VGID constrói uma distribuição de professor orientada ao desaprendizado a partir de um modelo base congelado usando uma intervenção dual-modal:

1. Perturbação Visual: A imagem de entrada é perturbada (ex: via ruído Gaussiano, substituição por ruído aleatório ou substituição por imagem branca) para enfraquecer a evidência visual sensível ao alvo.
2. Instrução In-Context Textual: Uma instrução de desaprendizado (ex: "recuse-se a identificar a pessoa") é prefixada à consulta textual.

O modelo base congelado processa essa entrada multimodal perturbada para gerar uma distribuição de alvo suave ($\pi_T$). Essa distribuição serve como um sinal de supervisão que captura o comportamento de desaprendizado desejado (suprimir tokens sensíveis, incentivar respostas seguras) sem a necessidade de um professor treinado externamente.

2.2 Framework de Destilação

O VGID emprega um modelo aluno ($\pi_\theta$) treinado para corresponder à distribuição do professor através de destilação de conhecimento:

• Objetivo de Esquecimento (Forget): Para amostras no conjunto de esquecimento ($D_F$), o aluno minimiza a divergência de Kullback-Leibler (KL) entre sua saída na entrada original e a saída do professor na entrada perturbada. Isso guia o aluno para aprender o comportamento de desaprendizado no nível dos parâmetros.
• Objetivo de Retenção (Retain): Para amostras no conjunto de retenção ($D_R$), o aluno minimiza a divergência KL entre sua saída e a saída do modelo base congelado na entrada original. Isso garante a preservação das capacidades multimodais gerais.

A função de perda total é uma combinação ponderada:
$$L_{overall} = \alpha L_{forget} + \beta L_{retain}$$

Essa abordagem permite que o VGID destile o "comportamento de desaprendizado" induzido pela intervenção dual-modal diretamente nos parâmetros do modelo, alcançando robustez sem a necessidade de retreinar do zero ou utilizar professores externos.

3. Principais Contribuições

• Identificação do Gap de Modalidade: O artigo demonstra que instruções de desaprendizado in-context puramente textuais são insuficientes para MLLMs porque as entradas visuais atuam como sinais de condicionamento dominantes que podem sobrepor o condicionamento de segurança baseado em texto.
• Estratégia de Intervenção Dual-Modal: Os autores mostram que combinar a perturbação visual com a instrução in-context de desaprendizado textual fornece sinais complementares, suprimindo o conhecimento privado alvo de forma mais eficaz do que qualquer uma das modalidades isoladamente.
• Framework VGID: Um novo framework baseado em destilação que constrói dinamicamente uma distribuição de professor orientada ao desaprendizado a partir de um modelo base congelado. Ele alcança o desaprendizado no nível dos parâmetros sem modelos professores externos ou anotações explícitas de recusa.
• Validação Empírica: Experimentos extensos no MLLMU-Bench através de múltiplos backbones (Qwen2.5-VL, LLaVA-1.5) demonstram que o VGID alcança uma forte eficácia de desaprendizado enquanto mantém utilidade competitiva e robustez contra ataques de engenharia reversa.

4. Resultados Experimentais

Os experimentos foram conduzidos no MLLMU-Bench com razões de esquecimento de 5%, 10% e 15% através do Qwen2.5-VL-3B, LLaVA-1.5-7B e LLaVA-1.5-13B.

• Eficácia do Desaprendizado: O VGID reduziu significativamente o conhecimento privado alvo. Em um cenário representativo (LLaVA-1.5-7B, razão de esquecimento de 5%), o VGID reduziu o escore ROUGE-L do conjunto de esquecimento de 0,571 (Base) para 0,200, uma redução de 0,371.
• Preservação da Utilidade: Ao contrário das baselines baseadas em gradiente que frequentemente degradam o desempenho do conjunto de retenção, o VGID manteve uma forte utilidade. No mesmo cenário, o ROUGE-L do conjunto de retenção caiu apenas 0,055 (de 0,496 para 0,441), e a precisão de cloze/classificação permaneceu competitiva.
• Robustez: O VGID demonstrou superior robustez contra ataques de engenharia reversa. Enquanto o desempenho do Desaprendizado In-Context (ICU) se recuperou significativamente quando prompts de engenharia reversa foram aplicados (ROUGE-L do conjunto de esquecimento aumentou de 0,462 para 0,518), o VGID permaneceu estável (ROUGE-L do conjunto de esquecimento aumentou de apenas 0,200 para 0,220).
• Estudos de Ablação:
  • Construção do Professor: A intervenção dual-modal (VGID) superou as intervenções de modalidade única (ICU-T ou Noise-T), confirmando a necessidade de combinar pistas visuais e textuais.
  • Estratégia de Perturbação: A substituição por ruído aleatório provou ser mais eficaz do que o ruído Gaussiano ou a substituição por imagem branca, sugerindo que o padrão de perturbação é crítico para remover pistas visuais enquanto mantém uma entrada utilizável para o professor.
  • Estilo de Prompt: Prompts de "Aplicação Estrita" (Strict Enforcement) forneceram o equilíbrio mais estável entre esquecimento e preservação de utilidade.

5. Significância e Alegações

O artigo afirma que o VGID oferece um compromisso superior entre a completude do desaprendizado e a utilidade do modelo em comparação com métodos existentes baseados em treinamento e sem treinamento. Ao destilar uma distribuição induzida por intervenção, o VGID transfere com sucesso a robustez da intervenção em tempo de inferência para os parâmetros do modelo, tornando o comportamento de desaprendizado resistente a ataques de engenharia reversa.

Os autores posicionam o VGID como uma solução prática para o implante de MLLMs preservando a privacidade, que evita o custo computacional de retreinamento e a vulnerabilidade de estratégias puramente de tempo de inferência. Eles reconhecem limitações, observando que o escopo atual foca no desaprendizado orientado à privacidade e que o espaço de design para perturbações visuais permanece subexplorado, sugerindo que trabalhos futuros poderiam estender este paradigma para proteção de direitos autorais e remoção de conhecimento inseguro.