Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

Resumo Técnico: Divergence Decoding (Decodificação de Divergência)

Definição do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente memorizam dados sensíveis de treinamento, criando riscos significativos de privacidade e direitos autorais. Abordar esses riscos removendo conhecimentos específicos de checkpoints de modelos existentes é um desafio. Abordagens tradicionais, como o retreinamento de modelos do zero em conjuntos de dados sanitizados, são computacionalmente inviáveis em escalas de fronteira (exigindo milhões de horas de GPU). Métodos existentes de desaprendizado de máquina (machine unlearning), que modificam os pesos do modelo por meio de técnicas como ascensão de gradiente ou otimização de preferência negativa, frequentemente sofrem de perda catastrófica de utilidade, são frágeis e permanecem caros. Além disso, esses métodos frequentemente degradam o desempenho geral do modelo nos dados retidos.

Metodologia: Divergence Decoding (DD)

Os autores propõem o Divergence Decoding (DD), um mecanismo de desaprendizado em tempo de inferência que direciona os logits de um modelo alvo para longe de dados específicos sem modificar diretamente os pesos do modelo. O método é inspirado no framework Product of Experts e na Amostragem de Importância (Importance Sampling).

Mecanismo Central

O DD utiliza dois modelos auxiliares pequenos, $p$ e $q$, treinados via pipelines de ajuste fino (fine-tuning) padrão para atuarem como proxies da diferença entre o Modelo Alvo atual ($P$, treinado tanto no conjunto de retenção quanto no de esquecimento) e o Modelo de Retreinamento ideal ($Q$, treinado apenas no conjunto de retenção).

• Modelo Auxiliar $p$: Treinado no conjunto de "esquecimento" (ou uma combinação de esquecimento e retenção, dependendo da configuração do benchmark).
• Modelo Auxiliar $q$: Treinado no conjunto de "retenção".

O método aproxima a amostragem do modelo de Retreinamento ideal $Q$ ajustando os logits do modelo Alvo acessível $P$ com base na diferença entre os modelos auxiliares. Dois ajustes específicos são propostos:

1. Linear Divergence Decoding: Uma combinação linear de logits onde a diferença entre os modelos auxiliares direciona o alvo:
   $$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$$
   Aqui, $\alpha$ é um hiperparâmetro. A razão $q/p$ atua como um "Especialista de Domínio" que aumenta o peso de tokens provavelmente presentes no conjunto de retenção e diminui o peso daqueles provavelmente presentes no conjunto de esquecimento.

2. Rank-Based Divergence Decoding: Um ajuste baseado em ranking que suprime os $k$ logits mais divergentes:
   $$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$$
   (Na prática, para evitar escores de privacidade degenerados, os $k$ principais logits são substituídos pelo $k$-ésimo maior logit da distribuição original não modificada).

Destilação de Modelo

Para lidar com a latência e os custos de computação de executar três modelos (Alvo + 2 Auxiliares) simultaneamente durante a inferência, os autores propõem destilar o comportamento do sistema aumentado pelo DD de volta para um único modelo. Um sistema Linear DD congelado atua como professor, e o Modelo Alvo é ajustado via fine-tuning como um aluno usando um objetivo de divergência KL no conjunto de esquecimento. Isso converte o controlador de tempo de inferência em uma rede paramétrica que pode ser servida sem os modelos auxiliares.

Principais Contribuições

O artigo traz as seguintes contribuições para a literatura de desaprendizado de máquina:

• Novo Direcionamento de Logits: Um mecanismo que supera os métodos atuais de estado da arte (SOTA) em benchmarks padrão de desaprendizado (TOFU e MUSE).
• Ponte entre Paradigmas: Uma conexão entre o desaprendizado em tempo de inferência e o desaprendizado baseado em pesos, permitindo uma implantação flexível.
• Eficácia Cross-Domain: Explorações iniciais demonstrando a aplicabilidade do método além da geração de texto, especificamente na geração de imagens baseada em transformadores.
• Ablações Extensas: Análise abrangente cobrindo escolhas de hiperparâmetros, impactos de computação/latência, generalização entre tokenizadores/famílias e robustez adversarial.

Resultados Experimentais

Os autores avaliaram o DD usando o framework Open Unlearning nos benchmarks TOFU (instrução ajustada, consultas complexas) e MUSE (pré-treinado, Q&A de poucos disparos/few-shot).

• Desempenho: O DD supera decisivamente os baselines SOTA (incluindo Ascensão de Gradiente, NPO, RMU e UNDIAL) no benchmark TOFU. No MUSE, ele melhora marginalmente sobre baselines fortes em tarefas de Memorização de Conhecimento e Q&A, embora seja menos eficaz em Memorização Verbatim (onde métodos de filtragem simples costumam se destacar).
• Preservação de Utilidade: Ao contrário de muitos métodos de desaprendizado que causam esquecimento catastrófico, o DD preserva o conhecimento geral e a utilidade do modelo.
• Destilação: O modelo destilado recupera a maior parte dos ganhos de desempenho do Linear DD de tempo de inferência, superando métodos anteriores de desaprendizado baseados em gradiente.
• Escalabilidade e Sustentabilidade: O método escala bem com o aumento dos tamanhos do conjunto de esquecimento e lida com solicitações sequenciais de desaprendizado sem degradação significativa de desempenho.
• Robustez Adversarial: Sob o benchmark Leak@K, que testa se informações esquecidas podem ser recuperadas via prompts adversariais repetidos, o DD destilado iguala o desempenho de um retreinamento completo, indicando que o desaprendizado é robusto e não apenas uma correção superficial.
• Geração de Imagem: Resultados preliminares na geração de imagens baseada em ImageNet mostram que o DD pode reduzir a geração de semânticas visuais específicas (ex: classes de cães no conjunto de esquecimento) enquanto mantém a qualidade perceptual, embora valores de $\alpha$ mais altos sejam necessários para configurações lineares comparado ao texto.

Significância e Alegações

O artigo argumenta que o caminho para uma IA mais segura e em conformidade não reside em "capar" o modelo base através da modificação direta de seus pesos, mas em guiá-lo. Os autores alegam que, para muitos casos de uso práticos (ex: solicitações de "Direito ao Esquecimento", conformidade de direitos autorais e backtesting financeiro para evitar viés de antecipação/look-ahead bias), modificar os pesos do modelo é desnecessário e potencialmente prejudicial à utilidade.

Em vez disso, o DD oferece uma abordagem de "aprender sobre esquecer", onde pequenos e baratos modelos auxiliares direcionam a geração de um modelo grande. Isso fornece uma solução prática para implementações de alto risco onde o desaprendizado frequente e ad-hoc é necessário, redefinindo o desempenho SOTA ao equilibrar o desaprendizado eficaz com a preservação das capacidades do modelo. O método é apresentado como genericamente aplicável a qualquer modelo probabilístico, estendendo sua utilidade além do texto para domínios como a geração de imagens.