🤖 AI

Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models

Este artigo introduz o desaprendizado ao nível de atributo como uma alternativa mais refinada à exclusão ao nível de perfil para Modelos de Linguagem de Grande Escala Multimodais (MLLMs), propõe um benchmark abrangente para avaliar o desafio de esquecer seletivamente atributos específicos enquanto preserva informações relacionadas à identidade e apresenta o CLRP, um framework leve e livre de treinamento que alcança efetivamente esse esquecimento seletivo por meio de localização causal e projeção consciente da retenção.

Autores originais: Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

Publicado 2026-08-04

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Junkai Lin, Junkai Chen, Siqi Hou, Yuhao He, Ruiqi Liu, Chenhan Jin, Shengze Xu, Tieyong Zeng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô superinteligente que consegue olhar para uma foto e te contar uma história sobre ela. Esse robô leu milhões de livros e viu bilhões de fotos, então ele sabe muita coisa. Mas, às vezes, ele se lembra de coisas que não deveria, como o aniversário secreto de uma pessoa ou o endereço da casa dela. No mundo da inteligência artificial, há uma necessidade crescente de ensinar esses robôs a "esquecer" segredos específicos sem fazer com que esqueçam todo o resto. Esse processo é chamado de "desaprendizado de máquina" (machine unlearning). Pense nisso como editar um diário: você quer riscar uma frase embaraçosa sobre suas férias de verão, mas manter todas as outras histórias divertidas sobre seus amigos e familiares intactas. Se você simplesmente arrancar a página inteira, perderá tudo. Se tentar apagar a tinta com um produto químico que dissolve o papel, você arruinará o livro inteiro. O desafio é encontrar uma maneira de remover cirurgicamente apenas a memória ruim, mantendo o restante do cérebro do robô funcionando perfeitamente.

Este artigo aborda uma versão complicada desse problema. Em vez de pedir ao robô para esquecer uma pessoa inteira (como "esqueça tudo sobre meu amigo Bob"), os pesquisadores pediram para ele esquecer apenas uma coisa específica sobre o Bob, como sua cor favorita, enquanto ainda lembra de seu nome, seu trabalho e sua aparência. Eles descobriram que o cérebro do robô é bagunçado; a memória da cor favorita do Bob está emaranhada com a memória do rosto do Bob. Tentar cortar a cor muitas vezes acaba cortando o rosto também. Para resolver isso, os autores construíram um novo teste chamado AMU-Bench para medir o quão bem os robôs conseguem realizar esse esquecimento refinado. Eles então inventaram uma ferramenta inteligente, que não exige treinamento, chamada CLRP (Causal Localization and Retain-Aware Projection). Pense no CLRP como um par de "óculos de memória" que o robô usa apenas ao responder perguntas. Esses óculos não mudam o céreamente do robô; eles apenas ajustam a forma como o robô olha para seus próprios pensamentos naquele exato momento. Usando uma técnica chamada "patching de ativação" (que é como trocar uma peça específica de Lego em uma torre para ver qual parte da torre balança), o CLRP encontra o lugar exato no cérebro do robô onde o segredo está armazenado. Em seguida, ele aplica um filtro matemático que silencia aquele segredo específico enquanto deixa o resto da história clara e alta.

Os pesquisadores testaram isso em três cérebros de robôs diferentes (LLaVA-1.5-7B, LLaVA-1.5-13B e Qwen2.5-VL-3B) e descobriram que o método deles funciona muito melhor do que as tentativas anteriores. Em seus testes principais, onde pediram aos robôs para esquecer 5% dos dados, o CLRP foi capaz de reduzir a habilidade do robô de adivinhar o segredo de 20,00% para apenas 4,00%. Melhor ainda, enquanto outros métodos faziam o robô esquecer as coisas boas também, o CLRP na verdade ajudou o robô a lembrar melhor dos fatos não secretos, aumentando sua precisão nessas perguntas de 14,77% para 17,79%. O artigo sugere que essa abordagem é uma maneira promissora de dar aos robôs a capacidade de serem seletivos sobre o que mantêm e o que deixam ir, sem precisar treiná-los do zero. Eles também descobriram que esquecer números (como um número de telefone) é mais fácil para os robôs do que esquecer descrições longas (como um hobby), mas manter o restante da história da pessoa segura é a parte mais difícil de todas.

Resumo Técnico: Rumo ao Esquecimento de Grão Fino: Unlearning de Atributos para Grandes Modelos de Linguagem Multimodais

Definição do Problema

Grandes Modelos de Linguagem Multimodais (MLLMs) possuem fortes capacidades de visão e linguagem, mas correm o risco de memorizar e divulgar informações sensíveis. Embora a pesquisa atual em machine unlearning foque primariamente na exclusão de nível de perfil (remover todas as informações sobre uma entidade, identidade ou personagem específico), as solicitações de privacidade práticas são frequentemente mais granulares. Os usuários podem desejar excluir um atributo específico (por exemplo, uma data de nascimento, endereço ou afiliação organizacional) enquanto mantêm informações não sensíveis sobre a mesma identidade.

Os benchmarks atuais de unlearning de nível de perfil (ex: MLLMU-Bench, FIUBench) não testam explicitamente a preservação de atributos individuais não-alvo dentro de uma entidade selecionada. Isso cria uma lacuna significativa: os métodos existentes frequentemente falham em alcançar a seletividade de nível de atributo. Como os atributos alvo e os atributos retidos compartilham a mesma identidade e evidência visual, eles frequentemente residem em regiões próximas do espaço de representação e percorrem camódulos causais sobrepostos. Consequentemente, intervenções amplas o suficiente para remover o atributo alvo frequentemente causam degradação colateral aos atributos não-alvo da mesma identidade, enquanto intervenções excessivamente conservadoras falham em suprimir o alvo.

Metodologia: Localização Causal e Projeção Consciente da Retenção (CLRP)

Para abordar o desafio de isolar direções de atributos específicos enquanto preserva as representações de identidade compartilhadas, os autores propõem o CLRP, um framework leve e livre de treinamento (training-free). O CLRP opera sem atualizar os parâmetros do modelo e consiste em dois componentes principais:

Localização de Camada Causal:
- O método utiliza patching de ativação (activation patching) para identificar a camada específica do transformer que medeia causalmente a divulgação do atributo alvo.
- Para cada exemplo alvo, uma consulta alvo (buscando o atributo sensível) é pareada com uma consulta de retenção de mesma identidade (buscando informação não-alvo).
- O sistema armazena em cache as ativações da execução alvo e as aplica (patches) na execução de retenção. A camada que produz o maior efeito de causal patching — onde a evidência do atributo alvo é mais fortemente restaurada — é selecionada como o ponto de intervenção ( $\ell^*$ ).
Projeção Contrastiva Consciente da Retenção (Retain-Aware):
- Uma vez identificada a camada de intervenção, o CLRP estima um subespaço de baixa dimensão representando o atributo alvo.
- Crucialmente, esta estimativa é consciente da retenção (retain-aware). Ele constrói estatísticas tanto de representações condicionadas ao alvo quanto de representações de retenção de mesma identidade (mais prompts neutros).
- O método computa um subespaço de projeção que captura a variação proeminente no alvo, mas suprimida nas representações de retenção. Isso é alcançado branqueando a matriz de covariância do alvo em relação à matriz de covariância de retenção e selecionando os autovetores principais.
- Um operador de projeção atenua este subespaço específico na camada selecionada durante a inferência, removendo efetivamente a direção do atributo alvo enquanto preserva a representação de identidade compartilhada necessária para fatos não-alvo.

Principais Contribuições

O artigo apresenta três contribuições principais:

Definição de Unlearning de Nível de Atributo: Os autores definem formalmente o unlearning de nível de atributo em MLLMs como um cenário onde atributos designados devem tornar-se inacessíveis enquanto fatos não-alvo da mesma identidade permanecem disponíveis. Isso impõe requisitos de localidade mais rigorosos do que a exclusão de nível de perfil.
Construção do AMU-Bench: Os autores introduzem o Attribute-level Multimodal Unlearning Benchmark (AMU-Bench). Diferente de benchmarks anteriores, ele particiona os alvos de exclusão em categorias de texto longo (descritivo), numérico (datas, salários) e texto curto (categórico). Ele avalia sistematicamente o desempenho através de múltiplos ratios de esquecimento (5%, 10%, 15%) e distintos tipos de questões (cloze, classificação, geração) em MLLMs amplamente utilizados (LLaVA-1.5, Qwen2.5-VL).
Framework CLRP: A proposta de um método livre de treinamento que combina localização causal com projeção de subespaço consciente da retenção. O método é projetado para navegar pelo emaranhamento entre atributos alvo e retidos.

Resultados Experimentais

Os autores avaliaram o CLRP contra quatro baselines (Gradient Ascent, Gradient Difference, KL Minimization e Preference Optimization) no LLaVA-1.5-7B, LLaVA-1.5-13B e Qwen2.5-VL-3B.

Dificuldade de Esquecimento: A avaliação revelou que o tipo de atributo impacta significativamente a dificuldade de esquecimento. Atributos numéricos foram consistentemente os mais fáceis de suprimir (frequentemente atingindo precisão próxima de zero), enquanto atributos de texto longo e texto curto retiveram substancialmente mais informação residual em todos os métodos de baseline.
Ganhos de Desempenho: O CLRP demonstrou desempenho superior em equilibrar esquecimento e retenção.
- Nos resultados do ratio de esquecimento de 5% para LLaVA-1.5-7B e Qwen2.5-VL-3B, o CLRP reduziu a precisão de cloze do Conjunto de Esquecimento de Atributos (Attribute Forget Set) em até 16,00 pontos percentuais (ex: de 20,00% para 4,00%) comparado ao baseline mais forte.
- Simultaneamente, melhorou a precisão de cloze do Conjunto de Retenção de Atributos (Attribute Retain Set) em até 3,02 pontos percentuais (ex: de 14,77% para 17,79%), demonstrando melhor preservação de fatos não-alvo do mesmo perfil.
Análise de Trade-off: Métodos existentes exibiram trade-offs instáveis, frequentemente degradando a retenção de atributos do mesmo perfil ao tentar esquecer os alvos. O CLRP alcançou o melhor ou o empate no melhor resultado em 8 de 9 condições de modelo-atributo para a precisão do Attribute Forget Set e mostrou pontuações de retenção aprimoradas, indicando que o esquecimento mais forte do alvo não ocorreu às custas da degradação de todo o perfil.

Significância e Alegações

O artigo alega que o AMU-Bench expõe limitações nas abordagens atuais de unlearning de nível de perfil, especificamente a dificuldade de preservar conhecimento do mesmo perfil enquanto se remove atributos específicos. Os autores afirmam que o CLRP fornece uma solução eficaz para esta tarefa de grão fino ao utilizar localização causal para localizar camadas de intervenção e projeção consciente da retenção para distinguir entre representações específicas do alvo e de identidade compartilhada.

A significância deste trabalho reside na sua mudança da exclusão de entidade de grão grosso para o unlearning de atributo de grão fino, um cenário que se alinha melhor com solicitações de privacidade práticas. Os resultados sugerem que o esquecimento seletivo é viável em MLLMs sem retreinamento, desde que a intervenção seja causalmente localizada e restringida pela geometria consciente da retenção. Os autores concluem que sua abordagem estabelece o estado da arte no equilíbrio entre a supressão de atributos designados e a preservação de informações não-alvo dentro do mesmo perfil.