Resumo Técnico: Uma Abordagem de Fusão de Modelos para o Desaprendizado Contínuo de MLLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) frequentemente codificam informações privadas, proprietárias ou obsoletas que necessitam de remoção via desaprendizado de máquina (machine unlearning). Embora os métodos existentes lidem efetivamente com solicitações de desaprendizado de etapa única (one-shot), eles enfrentam dificuldades em cenários contínuos, onde as solicitações de exclusão chegam sequencialmente.

As abordagens sequenciais atuais tipicamente aplicam uma nova atualização de modelo one-shot ou um adaptador ao estado atual do modelo para cada solicitação recebida. Conforme ilustrado no artigo, esse paradigma acopla novas solicitações aos estados precedentes do modelo, levando a três problemas críticos:

1. Rebote de Desaprendizado (Unlearning Rebound): O modelo reaprende informações previamente esquecidas.
2. Deriva de Retenção (Retention Drift): A capacidade do modelo de reter conhecimento útil não relacionado degrada-se ao longo do tempo.
3. Degradação de Utilidade (Utility Degradation): As capacidades multimodais gerais sofrem devido à deriva cumulativa de parâmetros.

O desafio central é acomodar uma sequência expansiva de solicitações de exclusão, preservando tanto os efeitos históricos de desaprendizado quanto a utilidade multimodal geral.

Metodologia: Fusão para Desaprendizado Contínuo (MCU)

Os autores propõem o MCU, um framework que reformula o desaprendizado contínuo como um problema de fusão de modelos (model-merging). Em vez de atualizar sequencialmente o modelo, o MCU funde dinamicamente múltiplos adaptadores de desaprendizado one-shot treinados independentemente em um único adaptador unificado.

Observações Principais

Através de uma análise de fusão "deixar um de fora" (leave-one-out), os autores descobriram a transferência de desaprendizado entre tarefas (cross-task unlearning transfer): adaptadores treinados para solicitações específicas podem inadvertidamente contribuir para o esquecimento de alvos associados a outras solicitações. Isso indica que os adaptadores de desaprendizado exibem fortes dependências entre tarefas. Essas dependências podem ser:

• Sinérgicas: Reforçando o desaprendizado entre as solicitações.
• Interferentes: Enfraquecendo o desaprendizado do alvo ou prejudicando o conhecimento retido.

O Framework MCU

O MCU opera em uma representação de espaço central compartilhado para gerenciar essas dependências. O processo envolve quatro etapas principais:

1. Representação de Espaço Central Compartilhado:
   Em vez de manipular adaptadores de parâmetros completos, o MCU projeta adaptadores LoRA (derivados do mesmo modelo base $M_0$) em uma base ortonormal compartilhada. Isso permite uma análise eficiente das estruturas espectrais e das dependências entre tarefas.

2. Pré-processamento de Preservação de Estrutura:
   Para reduzir a complexidade e evitar a sobreconcentração, o MCU aplica duas operações:

   • Seleção de Direção Dominante: Retém apenas os top-$k$ componentes singulares de cada adaptador, descartando as direções de baixa energia que contribuem pouco para a magnitude da atualização.
   • Controle de Capacidade de Canal: Aplica uma restrição suave de capacidade de linha para evitar que um pequeno número de coordenadas do espaço central domine desproporcionalmente a geometria da atualização.

3. Reconfiguração de Direção Consciente de Dependência:
   Esta é a inovação central. Em vez de impor ortogonalidade completa (que eliminaria tanto a interferência quanto a sinergia benéfica), o MCU realiza uma reconfiguração de Gram:

   • Ele constrói matrizes de Gram das direções singulares esquerda e direita.
   • Resolve um problema de otimização para encontrar uma nova geometria que minimize o desvio da estrutura original, enquanto impõe similaridades de solicitações não negativas para blocos fora da diagonal (reduzindo a interferência antagônica) e mantém blocos de identidade para as direções dentro da própria solicitação.
   • Esta etapa suprime interações prejudiciais entre tarefas enquanto preserva estruturas compartilhadas benéficas que apoiam a transferência de desaprendizado.

4. Recuperação de Direção e Fusão:
   As matrizes de Gram otimizadas são usadas para recuperar as matrizes de direção através de um problema de Procrustes ortogonal. As atualizações processadas são então fundidas no espaço central compartilhado e mapeadas de volta para o espaço de parâmetros original para formar um adaptador unificado.

Crucialmente, o MCU é um procedimento post-hoc livre de treinamento, que não requer otimização adicional baseada em gradiente uma vez que os adaptadores one-shot estejam disponíveis.

Contribuições Principais

1. Framework: Introduziu um framework baseado em fusão para desaprendizado contínuo que substitui modificações repetidas do modelo pela fusão dinâmica de adaptadores one-shot.
2. Descoberta: Revelou e caracterizou a transferência de desaprendizado entre tarefas e as dependências associadas entre adaptadores de desaprendizado, distinguindo entre efeitos sinérgicos e interferentes.
3. Algoritmo (MCU): Desenvolveu um método que preserva estruturas de tarefas dominantes, controla coordenadas sobreconcentradas e reconfigura dependências entre tarefas em um espaço compartilhado para suprimir interações antagônicas enquanto retém a transferência benéfica.
4. Validação Empírica: Demonstrou, através de extensos experimentos, que o MCU suporta desaprendizado contínuo de longo horizonte com eficácia superior em comparação com os baselines sequenciais.

Resultados Experimentais

Os autores avaliaram o MCU no ICU-Bench (protocolo sequencial de 100 tarefas) e no MLLMU-Bench (protocolo de 5 estágios) usando Qwen2-VL-7B e LLaVA-1.5-7B.

• Eficácia do Desaprendizado: O MCU alcançou consistentemente pontuações de "Esquecer" (Forget) mais baixas (indicando melhor remoção do conhecimento alvo) em comparação com os baselines sequenciais como GA-Diff, KL-Min e MMUnlearner. Por exemplo, no Qwen2-VL-7B na Tarefa 100, o MCU reduziu a precisão de VQA de Esquecimento para 28.7 (vs. 33.3 para o MMUnlearner) enquanto melhorou significativamente a retenção.
• Retenção e Utilidade: O MCU manteve altas pontuações de "Reter" (Retain) e utilidade multimodal geral (medida pela Qualidade de Geração e Taxa de Estabilidade de Retenção). Ao contrário de alguns baselines que alcançaram baixas pontuações de Esquecimento causando o colapso geral do modelo, o MCU preservou a capacidade do modelo de realizar tarefas não relacionadas.
• Estabilidade: O MCU demonstrou redução no "Rebote de Esquecimento" (FR) e na "Deriva de Retenção" (RSR) ao longo de sequências longas, confirmando sua capacidade de manter os efeitos históricos de desaprendizado sem degradar o desempenho ao longo do tempo.
• Estudos de Ablação: Experimentos confirmaram que todos os componentes do MCU (seleção de direção, controle de capacidade e reconfiguração consciente de dependência) são necessários. Especificamente, a reconfiguração consciente de dependência mostrou-se crítica para equilibrar o desaprendizado e a retenção, superando métodos de ortogonalização estrita.

Significância

O artigo afirma que o MCU aborda a limitação fundamental dos métodos de desaprendizado contínuo existentes: o acúmulo de deriva de parâmetros e a incapacidade de lidar com dependências entre tarefas. Ao tratar o desaprendizado como um problema de fusão de modelos e modelar explicitamente a geometria dos adaptadores de desaprendizado, o MCU permite o uso de simples adaptadores one-shot para cenários contínuos complexos de longo horizonte. O método oferece uma solução prática, livre de treinamento, que preserva tanto o "esquecimento" de dados sensíveis quanto a "memorização" de capacidades gerais, tornando-o adequado para implantação no mundo real onde as solicitações de exclusão chegam continuamente.