DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

Resumo Técnico do DualOptim+

Enunciado do Problema
O Esquecimento de Máquina (MU) em Modelos de Linguagem de Grande Escala (LLMs) visa eliminar a influência de dados de treinamento específicos (o conjunto de esquecimento) enquanto preserva a utilidade geral do modelo nos dados remanescentes (o conjunto de retenção). Abordagens existentes enfrentam um desafio significativo em equilibrar esses objetivos conflitantes.

• Atualização Conjunta: A maioria dos métodos minimiza a soma das perdas de esquecimento e retenção simultaneamente. Isso frequentemente leva a uma degradação significativa na utilidade do modelo devido ao esquecimento excessivo.
• Atualização Alternada: Alternar entre objetivos de esquecimento e retenção melhora o desempenho, mas sofre de instabilidade e sensibilidade a hiperparâmetros.
• Otimizadores Desacoplados (DualOptim): Uma abordagem anterior, o DualOptim, desacopla os estados do otimizador (por exemplo, termos de momento) para cada objetivo para evitar o emaranhamento de gradientes. Embora eficaz em visão computacional, o DualOptim produz apenas melhorias marginais em LLMs. Os autores observam que, no esquecimento em LLMs, os gradientes para esquecimento e retenção nem sempre estão em conflito direto; eles frequentemente compartilham representações comuns, especialmente nas fases posteriores de treinamento. Estados totalmente desacoplados falham em aproveitar esses recursos compartilhados, enquanto estados totalmente compartilhados falham em lidar com conflitos.

Metodologia: DualOptim+
O artigo propõe o DualOptim+, um framework de otimização plug-and-play projetado para preencher a lacuna entre estados de otimizador totalmente compartilhados e totalmente desacoplados. A inovação central é a decomposição do estado do otimizador em dois componentes:

1. Estado Base Compartilhado ($B$): Este estado captura as representações comuns compartilhadas por ambos os objetivos de esquecimento e retenção. É atualizado conjuntamente usando gradientes de ambos os objetivos ($\nabla_\theta L_f$ e $\nabla_\theta L_r$).
2. Estados Delta Desacoplados ($\Delta_f, \Delta_r$): Esses estados preservam os resíduos específicos do objetivo. São atualizados com base na diferença entre o gradiente do objetivo específico e o estado base corrigido por viés.
   • $\Delta_f \leftarrow \beta \Delta_f + (1-\beta)(\nabla_\theta L_f - \hat{B})$
   • $\Delta_r \leftarrow \beta \Delta_r + (1-\beta)(\nabla_\theta L_r - \hat{B})$

Atualização de Parâmetros:
O termo de momento final usado para atualizações de parâmetros é reconstruído combinando o estado base corrigido por viés com o respectivo estado delta corrigido por viés ($\hat{B} + \hat{\Delta}_f$ ou $\hat{B} + \hat{\Delta}_r$).

Principais Insights Teóricos:
Análises teóricas e numéricas demonstram que o DualOptim+ funciona como um intermediário adaptativo.

• Quando os gradientes são positivamente correlacionados (recursos compartilhados dominam), os estados delta convergem para zero, e o método comporta-se como um esquema Alternado (utilizando a base compartilhada).
• Quando os gradientes são negativamente correlacionados (objetivos conflitantes), o estado base converge para zero, e o método comporta-se como um esquema DualOptim (utilizando estados desacoplados).
  Essa adaptabilidade permite que o otimizador se ajuste dinamicamente com base no conflito direcional entre os gradientes de esquecimento e retenção.

DualOptim+ 8bit
Para abordar a sobrecarga de memória associada ao armazenamento de estados adicionais do otimizador (3x a memória de um otimizador Adam padrão), os autores introduzem o DualOptim+ 8bit. Esta variante quantiza os estados do otimizador para precisão de 8 bits, reduzindo significativamente o consumo de memória (para aproximadamente 3/4 de um Adam padrão) sem comprometer o desempenho.

Principais Contribuições

1. Framework Inovador: A proposta do DualOptim+, que introduz um estado base compartilhado e estados delta desacoplados para conectar efetivamente estados de otimizador compartilhados e desacoplados.
2. Design Plug-and-Play: Um framework compatível com qualquer otimizador que armazena estados (por exemplo, AdamW, Muon) e aplicável à otimização multiobjetivo.
3. Validação Empírica: Experimentos extensivos em conjuntos de dados fictícios (TOFU), cenários do mundo real (esquecimento em Llama-3), alinhamento de segurança e tarefas de aprendizado multi-tarefa.
4. Eficiência: A introdução da variante quantizada em 8 bits que mitiga a sobrecarga de memória.

Resultados Experimentais
O artigo avalia o DualOptim+ contra as bases de referência Joint, Alternate e DualOptim em vários LLMs (Phi-1.5, Llama-2, Llama-3) e tarefas:

• Cenários Fictícios (TOFU): O DualOptim+ alcança consistentemente o melhor Desempenho Geral (OVR), definido como um compromisso entre Eficácia de Esquecimento (FE) e Utilidade do Modelo (MU). Supera o DualOptim, particularmente no esquecimento direcionado, ao aproveitar melhor os recursos compartilhados.
• Cenários do Mundo Real: No esquecimento de indivíduos do mundo real do Llama-3, o DualOptim+ mantém utilidade superior em tarefas subsequentes (ARC-c, MMLU, etc.) em comparação com as bases de referência, enquanto o DualOptim às vezes tem desempenho inferior à abordagem Alternada mais simples.
• Alinhamento de Segurança: Em uma tarefa para esquecer conhecimento inseguro enquanto se retém capacidades de seguimento de instruções, o DualOptim+ alcança o melhor compromisso segurança-utilidade e a menor taxa de recusa excessiva no benchmark XSTest.
• Aprendizado Multi-tarefa: Diferentemente do esquecimento, onde os conflitos de gradiente são altos, no aprendizado multi-tarefa, onde os conflitos são menos pronunciados, o DualOptim+ continua a entregar aumentos substanciais de desempenho, enquanto o DualOptim mostra ganhos negativos.
• Eficiência de Memória: As variantes de 8 bits alcançam paridade quase total no uso de memória com as bases de referência padrão, mantendo os benefícios de desempenho do método de precisão completa.

Significado e Alegações
Os autores afirmam que o DualOptim+ fornece um compromisso mais estável e eficaz entre a eliminação de conhecimento e a preservação da utilidade do que os métodos existentes. Eles posicionam o método não apenas como uma ferramenta de esquecimento, mas como um framework de otimização generalizável aplicável a cenários mais amplos envolvendo múltiplos objetivos de aprendizado conflitantes, como alinhamento de LLM e aprendizado multiobjetivo. O artigo enfatiza que a natureza adaptativa de conectar estados compartilhados e desacoplados é crucial para lidar com as relações de gradiente dinâmicas encontradas no esquecimento em LLMs.