Resumo Técnico: ASRU – Direcionamento de Ativação encontra Desaprendizado por Reforço para Modelos de Linguagem Grandes Multimodais

1. Declaração do Problema

Modelos de Linguagem Grandes Multimodais (MLLMs) frequentemente memorizam informações sensíveis entre modalidades durante o pré-treinamento, o que representa riscos de vazamento de privacidade e violação de direitos autorais. Embora o Desaprendizado de Máquina (MU) seja crítico para remover tal conhecimento, os métodos existentes enfrentam duas limitações fundamentais:

1. Degradação da Resposta Pós-Desaprendizado: Abordagens atuais frequentemente produzem saídas alucinadas, rígidas ou incoerentes após o desaprendizado. Em vez de expressar naturalmente uma lacuna de conhecimento, os modelos podem gerar conteúdo fabricado ou texto repetitivo e degenerado. Esse comportamento "não natural" pode revelar inadvertidamente que o desaprendizado ocorreu e introduzir riscos de segurança.
2. Compromisso entre Desaprendizado e Utilidade: Existe um conflito persistente entre esquecer efetivamente o conhecimento-alvo e preservar a utilidade geral do modelo. Métodos baseados em ascensão de gradiente tendem a suprimir excessivamente o conjunto de esquecimento, causando mudanças globais de comportamento não intencionais, enquanto métodos que priorizam a utilidade frequentemente falham em alcançar um desaprendizado completo.

As avaliações existentes focam principalmente em desvios de saída em relação à verdade fundamental, negligenciando a qualidade de geração do modelo desaprendido. Este artigo argumenta que um modelo desaprendido deve comportar-se como um modelo base alinhado, expressando lacunas de conhecimento de maneira dinâmica, consciente do contexto e coerente.

2. Metodologia: Framework ASRU

Os autores propõem o ASRU (Direcionamento de Ativação encontra Desaprendizado por Reforço), um framework de dois estágios projetado para alcançar controle fino sobre os limites de recusa, mantendo a utilidade do modelo.

Estágio 1: Direcionamento de Recusa via Redirecionamento de Ativação

O primeiro estágio aborda a falta de comportamento espontâneo de recusa em MLLMs pré-treinados.

• Construção da Direção de Ausência de Conhecimento: O método constrói uma "direção de referência de recusa" contrastando as ativações ocultas médias do Conjunto de Esquecimento ($D_f$) com um Conjunto de Referência-Alvo de Recusa ($D_{target}$). $D_{target}$ consiste em entradas onde o modelo não possui conhecimento prévio (por exemplo, rostos sintéticos não vistos pareados com consultas de privacidade).
• Direcionamento de Ativação: Um vetor de direcionamento ($v_{L^*}$) é calculado como a diferença entre as ativações médias de $D_{target}$ e $D_f$. Este vetor é usado para redirecionar as ativações do fluxo residual das entradas do conjunto de esquecimento para uma região de "nenhum conhecimento relevante".
• Otimização Eficiente: Em vez de ajustar finamente todo o modelo, o ASRU atualiza apenas uma única matriz de projeção descendente em uma camada alvo específica ($L^*$). Isso é alcançado via uma solução de forma fechada que minimiza o desvio entre as ativações reais e as ativações alvo, induzindo um comportamento inicial de recusa controlável.

Estágio 2: Otimização do Limite de Recusa via GRPO

O segundo estágio refina o limite de decisão para prevenir recusas desnecessárias em dados retidos.

• Construção do Conjunto Limite: Um conjunto limite ($\tilde{D}_r$) é amostrado a partir do conjunto retido ($D_r$). Essas amostras são altamente semelhantes ao conjunto de esquecimento no espaço de entrada, mas devem ser retidas, permitindo o aprendizado de uma distinção fina.
• Design de Recompensa Verificável: Uma função de recompensa é projetada para avaliar dois aspectos:
  1. Eficácia do Esquecimento: Penalizar a reprodução do conhecimento-alvo e recompensar recusas naturais e conscientes do contexto (por exemplo, "Isso não pode ser inferido a partir da imagem").
  2. Fidelidade da Retenção: Recompensar respostas corretas e informativas para amostras de limite e retidas, enquanto penaliza a recusa excessiva.
• Otimização de Política Relativa por Grupo (GRPO): O modelo é otimizado usando GRPO. Ao amostrar grupos de execuções para entradas pareadas (esquecimento versus limite), o algoritmo calcula vantagens relativas ao grupo. Isso incentiva o modelo a aprender uma política precisa que recusa quando necessário (para $D_f$), mas responde adequadamente para o conhecimento retido, afinando efetivamente o limite de recusa.

3. Contribuições Principais

• Qualidade de Geração como Métrica Central: O artigo introduz a qualidade de geração como uma dimensão primária de avaliação para desaprendizado, medindo especificamente a Recusa Contextual (coerência e naturalidade das recusas) e o Esquecimento (ausência de vazamento de conhecimento).
• Framework Inovador de Dois Estágios: O ASRU é o primeiro framework a combinar Direcionamento de Ativação (para inicializar a capacidade de recusa com atualizações mínimas de parâmetros) e GRPO (para refinar o limite entre esquecimento e retenção).
• Controle Fino: Ao utilizar um conjunto limite e recompensas verificáveis, o ASRU alcança um compromisso superior entre eficácia do desaprendizado e utilidade do modelo, evitando o comportamento "tudo ou nada" de métodos anteriores.

4. Resultados Experimentais

Os experimentos foram conduzidos em Qwen3-VL (4B e 8B) e LLaVA-1.5-7B usando os conjuntos de dados MLLMU-Bench e CLEAR.

• Eficácia do Desaprendizado: O ASRU supera significativamente as linhas de base (GA, GA Diff, KL Min, NPO, MMUnlearner). No Qwen3-VL-8B com uma taxa de esquecimento de 5%, alcançou uma melhoria média de 24,6% na eficácia do desaprendizado em comparação com a linha de base mais forte.
• Qualidade de Geração: O ASRU demonstrou uma melhoria massiva na qualidade de geração, mostrando um aumento médio de 5,8× sobre as linhas de base. Isso indica uma redução substancial em alucinações e respostas rígidas, com o modelo produzindo recusas conscientes do contexto e dinâmicas.
• Preservação da Utilidade: Apesar do desaprendizado agressivo, o ASRU manteve alto desempenho no conjunto retido e em conjuntos de celebridades do mundo real, utilizando apenas uma pequena fração (aproximadamente 27,3%) dos dados retidos supervisionados.
• Robustez: O método permaneceu eficaz sob variações adversárias de prompts (prefixos aleatórios, paráfrases e tentativas de jailbreak), sugerindo que o limite de recusa aprendido é generalizável e não baseado em modelos.

5. Significado e Alegações

O artigo alega que o ASRU aborda uma lacuna crítica no desaprendizado multimodal: a degradação do comportamento do modelo após a remoção de conhecimento. Ao tratar a qualidade de geração como um objetivo primário, o ASRU garante que os modelos desaprendidos permaneçam seguros, utilizáveis e alinhados.

Os autores enfatizam que sua abordagem permite que os modelos se comportem como "modelos base alinhados" que podem expressar naturalmente lacunas de conhecimento sem alucinar ou vazar informações sensíveis. A integração do direcionamento de ativação para inicialização e do aprendizado por reforço para o refinamento do limite fornece uma solução escalável e controlável para a construção de sistemas MLLM confiáveis. O trabalho é apresentado como um passo em direção a uma IA mais robusta que preserva a privacidade, com potenciais extensões futuras para outras modalidades como áudio e vídeo.