Resumo Técnico: Deletabilidade Distinguível (D2)

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) possuem uma tendência a memorizar e reproduzir informações sensíveis, privadas ou prejudiciais, gerando preocupações significativas quanto à privacidade, equidade e segurança. Embora o esquecimento (unlearning) em LLMs vise remover seletivamente tais conhecimentos indesejados sem o retreinamento completo, as abordagens existentes sofrem de limitações fundamentais em dois paradigmas dominantes:

• Deleção de Conhecimento (KD): Métodos como Ascensão de Gradiente (GA) e suas variantes (por exemplo, DPO, NPO, WGA) tentam apagar o conhecimento modificando diretamente os parâmetros do modelo para suprimir sequências específicas de tokens-alvo. No entanto, como as representações de conhecimento em LLMs são inerentemente emaranhadas, a supressão de tokens específicos frequentemente leva a uma deleção enviesada. Isso resulta em comportamentos instáveis, incluindo esquecimento catastrófico do conhecimento retido, esquecimento espúrio (onde o modelo esquece, mas alucina fatos incorretos) e a geração de sem sentido (gibberish).
• Recusa Distinguível (DR): Métodos que mantêm os parâmetros fixos e dependem de engenharia de prompts ou detectores auxiliares para recusar entradas sensíveis. Embora estes mantenham alto desempenho de retenção e respostas coerentes, são frágeis. Como o conhecimento subjacente permanece intacto dentro do modelo, ele pode ressurgir por meio de ataques adversariais ou prompts de jailbreak.

O desafio central é alcançar um paradigma que garanta a remoção completa do conhecimento subjacente (como na KD) enquanto mantém comportamentos de recusa coerentes e seguros (como na DR), sem sucumbir a vulnerabilidades adversariais.

2. Metodologia: Deletabilidade Distinguível (D2) e EUA

Os autores propõem a Deletabilidade Distinguível (D2), um novo paradigma que desloca o objetivo do esquecimento da supressão específica de tokens e rótulos para uma caracterização em nível de distribuição da presença de conhecimento. Para implementar isso, eles introduzem o framework Alinhamento de Esquecimento Baseado em Energia (EUA).

2.1. O Índice de Energia

A base da D2 é um índice de energia derivado de Modelos Baseados em Energia (EBM). Em vez de focar na probabilidade de tokens específicos, o método quantifica a "presença" de conhecimento por meio da energia livre da distribuição de saída do modelo.

• Base Teórica: Para uma dada entrada, uma resposta com baixa energia livre indica que o modelo possui uma resposta estruturada e confiante (o conhecimento está presente). Por outro lado, alta energia livre sugere que o modelo não possui a resposta e está gerando palavras aleatoriamente.
• Eficiência: Diferentemente de estimadores baseados em amostragem, o índice de energia é computado eficientemente usando uma única passagem direta (forward pass) e os logits do modelo, definidos como $E_\theta(v | x, y_{<i}) = -z_\theta(v | x, y_{<i})$.
• Observação: A análise empírica mostra que os métodos existentes baseados em KD frequentemente falham em criar uma separação clara no espaço de energia entre o conteúdo esquecido e o retido, levando a estados de conhecimento interno inconsistentes.

2.2. Alinhamento de Esquecimento Baseado em Energia (EUA)

O EUA é um framework unificado projetado para impor uma separação clara no espaço de energia entre o conteúdo esquecido e o retido.

• Objetivo de Aprendizado: O objetivo de treinamento combina a perda de entropia cruzada padrão para retenção com um termo de regularização ($L_{energy}$) que impõe limites de energia.
  • Para amostras esquecidas, o modelo é penalizado se a energia for menor que uma margem específica ($m_u$), forçando a energia para cima (indicando ausência de conhecimento).
  • Para amostras retidas, o modelo é penalizado se a energia for maior que uma margem ($m_r$), mantendo a energia baixa (indicando presença de conhecimento).
• Margens de Energia de Auto-preferência: Para evitar a instabilidade de hiperparâmetros ajustados manualmente, o EUA introduz margens de auto-preferência. Estas são derivadas da própria distribuição de logits do modelo pré-treinado. Ao classificar os logits e dividi-los em regiões de 50% superior (preferido) e 50% inferior (desencorajado), o método constrói limites de energia ($m_u, m_r$) que estão inerentemente alinhados com a geometria de recursos interna do modelo. Isso garante uma otimização mais suave e previne mudanças abruptas de energia.
• Mecanismo de Recusa em Tempo de Inferência: Após o treinamento, o modelo exibe uma separação distinta nas distribuições de energia. Durante a inferência, o sistema computa a energia livre por amostra (usando uma agregação Top-k de energias em nível de token para garantir invariância de comprimento). Se a energia exceder um limite aprendido ($\tau_{energy}$), o sistema aciona um mecanismo de recusa, substituindo a saída por uma alternativa coerente e segura (por exemplo, "Não posso discutir isso devido a restrições de privacidade/copyright") em vez de gerar sem sentido ou fatos alucinados.

3. Contribuições Principais

1. Paradigma de Deletabilidade Distinguível (D2): O artigo reformula o esquecimento como uma restrição em nível de distribuição sobre a presença de conhecimento, em vez de supressão em nível de token. Esta abordagem distingue naturalmente o conteúdo esquecido do conhecimento retido, permitindo mecanismos de recusa confiáveis.
2. Índice de Energia: Os autores propõem uma medida fundamentada teoricamente e validada empiricamente para a presença de conhecimento baseada em representações latentes. Eles demonstram que a energia reflete com precisão a capacidade do modelo de fornecer respostas estruturadas versus geração aleatória.
3. Alinhamento de Esquecimento Baseado em Energia (EUA): Um framework unificado que impõe separação baseada em energia durante o treinamento e utiliza um limite baseado em energia para recusa na inferência. Este método aborda a instabilidade da KD e a fragilidade da DR.

4. Resultados Experimentais

Os autores avaliam o EUA em três benchmarks: TOFU (autores fictícios), WMDP (segurança bio/cibernética) e MUSE (conhecimento verbatim e factual). Eles comparam com métodos KD de última geração (GradDiff, DPO, NPO, SatImp, etc.) e métodos DR (ICUL, Guardnail, etc.) em várias famílias de modelos (LLaMA-2/3, Qwen-2.5, Zephyr).

• Desempenho vs. Métodos KD: O EUA supera consistentemente os métodos existentes baseados em KD. No TOFU, alcança ganhos significativos em Qualidade de Apagamento (EQ), Qualidade de Retenção (RQ) e Qualidade Linguística (LQ). Por exemplo, no LLaMA-3.2-3B (Esquecer 10%), o EUA alcança uma pontuação agregada de 8,665, significativamente maior que o próximo melhor método (SatImp com 6,484). Crucialmente, o EUA elimina os problemas de sem sentido e alucinação comuns nos métodos KD.
• Desempenho vs. Métodos DR: Embora os métodos DR mantenham boa retenção, eles falham sob ataques adversariais. O EUA demonstra 100% de precisão de detecção e mantém alta qualidade linguística mesmo após ataques de jailbreak, enquanto os métodos baseados em DR sofrem degradação substancial tanto na detecção quanto na qualidade da resposta.
• Robustez: O EUA mostra forte robustez em cenários de ataques cross-lingual, reaprendizado e jailbreak, mantendo desempenho estável onde outros métodos degradam.
• Estudos de Ablação: O estudo confirma que a margem de energia de auto-preferência é crítica; margens definidas manualmente levam a desempenho instável. O método também é robusto a variações no parâmetro Top-k usado para o cálculo da energia.

5. Significado e Alegações

O artigo alega que a D2 e o EUA representam um paradigma de esquecimento superior ao unificar os objetivos de apagamento de conhecimento e recusa segura.

• Resolução de Trade-offs: O método alcança um equilíbrio Pareto-ótimo mais favorável entre o esquecimento de conhecimento alvo e a preservação da utilidade geral do modelo, evitando o "esquecimento catastrófico" ou o "esquecimento espúrio" vistos na KD.
• Robustez: Ao alterar fundamentalmente o estado de conhecimento (via separação de energia) em vez de apenas mascará-lo, o EUA fornece uma defesa robusta contra estratégias adversariais em evolução, ao contrário dos métodos DR que dependem de conhecimento estático que pode ser reextraído.
• Coerência: A abordagem garante que, quando o modelo se recusa a responder, ele o faça com respostas coerentes e conscientes do contexto, em vez de sem sentido, mantendo a usabilidade do modelo.

Os autores concluem que sua abordagem oferece uma solução principista, estável e generalizável para o esquecimento em LLMs, superando as limitações de restrições de tokens específicos para abordar a natureza inerentemente emaranhada do conhecimento em grandes modelos.