Resumo Técnico: PPU-Bench

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são treinados em vastos corpora em escala web que inevitavelmente contêm informações sensíveis associadas a indivíduos reais, levantando preocupações sobre vazamento de privacidade e o "Direito ao Esquecimento" (RTBF) sob regulamentações como o GDPR. Embora o desaprendizado de máquina ofereça uma alternativa prática ao retreinamento completo, os benchmarks existentes para desaprendizado de MLLMs sofrem de duas limitações críticas:

1. Suposições Irrealistas de Dados: A maioria dos benchmarks depende da injeção de dados sintéticos via ajuste fino, o que se desvia de cenários do mundo real onde o conhecimento está naturalmente embutido nas distribuições de pré-treinamento. Dados sintéticos também podem ficar emaranhados com distribuições de pré-treinamento, potencialmente reativando padrões memorizados.
2. Objetivos de Desaprendizado Desalinhados: Os benchmarks existentes geralmente focam no "Desaprendizado Completo" (remover todas as informações sobre um sujeito). Na prática, os usuários frequentemente solicitam a remoção apenas de atributos sensíveis específicos (por exemplo, histórico privado) enquanto preservam fatos benignos ou públicos. Os benchmarks atuais falham em avaliar essa capacidade de desaprendizado parcial personalizado e de granularidade fina.

Metodologia

1. Construção do PPU-Bench

Os autores introduzem o PPU-Bench, um benchmark do mundo real, sem ajuste fino, projetado para avaliar o desaprendizado parcial personalizado.

• Fonte de Dados: Em vez de injeção sintética, o benchmark utiliza conhecimento pré-existente de 500 figuras públicas do mundo real derivadas da Wikipedia. Isso garante que o conhecimento-alvo esteja naturalmente embutido nos MLLMs.
• Pipeline:
  • Estruturação de Perfis: Páginas brutas da Wikipedia são organizadas em três categorias usando o GPT-5.4-mini: Básico (identidade), Normal (carreira/prêmios públicos) e Sensível (privacidade, saúde, questões legais, trauma).
  • Geração de QA/VQA: Pares de perguntas e respostas diversificados são gerados para cada categoria. Pares de QA apenas em texto são convertidos em amostras de Resposta a Perguntas Visuais (VQA) ao serem emparelhados com imagens correspondentes das figuras públicas.
  • Filtragem de Memorização: As amostras são filtradas usando o Qwen3-VL-8B para garantir que o conhecimento-alvo seja genuinamente memorizado (Token-F1 > 0,5), resultando em 24.334 amostras de alta qualidade (12.167 VQA + 12.167 QA).
• Configurações de Tarefa: O benchmark define três configurações progressivamente desafiadoras:
  • Desaprendizado Completo: Remove todas as informações relacionadas à pessoa (nível de sujeito).
  • Desaprendizado Seletivo: Remove apenas informações Sensíveis enquanto retém informações Básicas e Normais (nível de categoria).
  • Desaprendizado Personalizado: A configuração mais realista onde o conjunto de "esquecer" é determinado pelas preferências individuais do sujeito (simulado via múltiplos LLMs e votação majoritária) em vez de categorias fixas. Isso requer controle de granularidade fina sobre os limites factuais intra-sujeito.
• Avaliação: Inclui eficácia de desaprendizado (Conjunto de Esquecer), preservação de utilidade (Conjunto de Retenção, MMBench) e robustez contra generalização cruzada de imagens e perturbações de texto (Prefixo Aleatório, Paráfrase, Jailbreak).

2. Solução Proposta: Otimização Consciente de Limites (BAO)

Motivados por descobertas de que os métodos existentes lutam com limites intra-sujeito, os autores propõem a Otimização Consciente de Limites (BAO).

• Mecanismo: Diferente da Ascensão de Gradiente (GA) padrão ou GA_diff, que tratam os conjuntos de esquecer e reter como objetivos separados, a BAO modela explicitamente a margem entre fatos de esquecer e de reter dentro do mesmo sujeito.
• Objetivo: Ela impõe que a log-verossimilhança negativa (NLL) dos fatos de esquecer selecionados pela persona exceda a dos fatos de retenção por uma margem $m$.
• Função de Perda: $L = -L_{forget} + L_{retain} + \lambda_b L_{boundary}$, onde $L_{boundary} = \mathbb{E}[\max(0, m - (\ell_\theta(f) - \ell_\theta(r)))]$. Isso incentiva o modelo a aprender limites de deleção intra-sujeito de granularidade fina.

Resultados Principais

Achados do Benchmark

Experimentos em seis métodos representativos de desaprendizado (GA, GA_diff, NPO, KL_Min, MMUnlearner, MANU) em dois modelos base (Qwen3-VL-8B, Gemma3-12B) revelam:

• Supressão Visual vs. Fática: No Desaprendizado Completo, os métodos frequentemente suprimem a identidade visual (falhando em reconhecer a pessoa em imagens) em vez de remover o conhecimento factual subjacente. O desempenho em QA apenas em texto frequentemente permanece alto, apesar da queda no desempenho em VQA.
• Compensações no Desaprendizado Seletivo: Embora os métodos mostrem melhor esquecimento em nível de fato em configurações Seletivas, eles exibem compensações significativas, frequentemente degradando o desempenho de retenção ou a utilidade geral do modelo.
• Desafios no Desaprendizado Personalizado: Esta configuração expõe as dificuldades mais significativas. Os métodos lutam para distinguir entre fatos de esquecer e de reter dentro do mesmo sujeito, levando a sub-esquecimento (vazamento) ou super-esquecimento (perda de utilidade).
• Robustez: Ataques cruzados de imagens são particularmente eficazes contra métodos de Desaprendizado Completo, confirmando sua dependência de supressão visual. Ataques baseados em texto (por exemplo, Jailbreak) revelam vulnerabilidades no Desaprendizado Seletivo, particularmente para o NPO.

Desempenho da BAO

• Aplicar a BAO ao GA_diff e ao MMUnlearner melhora significativamente a supressão de fatos de esquecer selecionados pela persona na configuração de Desaprendizado Personalizado.
• Ela alivia efetivamente o sub-esquecimento ao impor limites intra-sujeito.
• No entanto, os autores observam que impor explicitamente restrições de limites pode amplificar a compensação inerente entre esquecimento e retenção, às vezes levando a desempenho degradado em tarefas de QA de retenção e geração.

Significado e Contribuições

O artigo afirma três contribuições principais:

1. PPU-Bench: O primeiro benchmark multimodal em grande escala e do mundo real para desaprendizado parcial personalizado. Ele vai além de dados sintéticos e remoção de identidade de granularidade grosseira para avaliar cenários de deleção personalizados e centrados no usuário de granularidade fina.
2. Insights Empíricos: Experimentos extensivos demonstram que os métodos atuais de desaprendizado de MLLM falham em alcançar esquecimento consistente em nível de fato e carecem de controle preciso sobre limites intra-sujeito, particularmente em configurações personalizadas.
3. Método BAO: Uma estratégia de otimização simples, mas eficaz, que modela explicitamente limites factuais intra-sujeito, demonstrando desempenho aprimorado em cenários de desaprendizado personalizado em comparação com métodos de base.

Os autores posicionam o PPU-Bench como uma ferramenta de diagnóstico para revelar vieses de categoria e diferenças de estabilidade entre grupos de conhecimento, destacando a necessidade de métodos que possam lidar com as compensações complexas de solicitações de privacidade do mundo real sem comprometer a utilidade do modelo.