A Comprehensive Evaluation of LLM Unlearning Robustness under Multi-Turn Interaction

Título: Uma Avaliação Abrangente da Robustez do Esquecimento (Unlearning) em LLMs sob Interação Multi-turno

1. Problema e Motivação

O aprendizado de máquina para esquecimento (Machine Unlearning) visa remover a influência de dados específicos de treinamento (como informações privadas, prejudiciais ou protegidas por direitos autorais) de modelos de linguagem grandes (LLMs) pré-treinados, sem a necessidade de retreinamento do zero.

No entanto, a maioria das pesquisas atuais avalia a eficácia do esquecimento em cenários estáticos e de turno único (single-turn). O artigo identifica uma lacuna crítica: em implantações do mundo real, os LLMs operam em ambientes interativos e dinâmicos (assistentes de IA, chatbots), onde os usuários realizam múltiplos turnos, fornecem feedback, solicitam correções e acumulam contexto.

A questão central é: O esquecimento permanece estável quando o modelo é submetido a interações comuns não-adversariais? O artigo investiga se o conhecimento que parece ter sido esquecido em avaliações estáticas pode ser recuperado através de mecanismos como autocorreção (self-correction) e consulta condicionada ao diálogo (dialogue-conditioned querying).

2. Metodologia

Os autores realizaram uma avaliação sistemática focada em dois padrões de interação comuns:

• Modelos e Dados:

  • Modelos: LLaMA-3-8B-Instruct e Zephyr-7B-Beta.
  • Conjunto de Esquecimento (Forget Set): Subconjuntos de alto risco do benchmark WMDP (Weapons of Mass Destruction Proxy), especificamente WMDP-Bio (biosegurança) e WMDP-Cyber (cibersegurança).
  • Conjunto de Retenção (Retain Set): Wikidata (para preservar capacidades gerais).
  • Métricas de Utilidade: MMLU (Massive Multitask Language Understanding).

• Métodos de Esquecimento Avaliados:

  1. Gradient Ascent (GA): Maximiza a perda no conjunto de esquecimento.
  2. Negative Preference Optimization (NPO): Trata dados de esquecimento como amostras negativas em um framework de otimização de preferência.
  3. Representation Misdirection for Unlearning (RMU): Desvia as ativações internas (representações) dos conceitos de esquecimento para vetores aleatórios/neutros.

• Protocolos de Avaliação Interativa:

  • RQ1 (Autocorreção): Um protocolo de dois turnos onde o modelo é solicitado a revisar sua resposta inicial sob três estratégias:
    • S1: Feedback explícito de erro ("Sua resposta está errada").
    • S2: Feedback explícito com exclusão da opção anterior (impede repetição).
    • S3: Introspecção implícita ("Reconsidere sua resposta").
  • RQ2 (Consulta Condicionada ao Diálogo): O modelo é submetido a um histórico de diálogo de múltiplos turnos antes da pergunta final de avaliação. Os diálogos variam em:
    • Alinhamento Semântico: Perguntas relacionadas ao tema de esquecimento (WMDP) vs. não relacionadas (MMLU).
    • Alinhamento Estrutural: Formato de Perguntas Múltipla Escolha (MCQ) vs. Perguntas Abertas (QA).

3. Principais Contribuições

1. Novo Paradigma de Avaliação: Propõe mover-se além da avaliação estática de turno único para avaliar a robustez do esquecimento em ambientes interativos realistas.
2. Descoberta de Recuperação de Conhecimento: Demonstra que o conhecimento aparentemente esquecido em testes estáticos é frequentemente recuperado através de interações simples (feedback do usuário ou contexto de diálogo).
3. Trade-off entre Robustez e Utilidade: Revela que métodos que parecem mais robustos (como RMU) muitas vezes não eliminam o conhecimento, mas sim tornam o modelo rígido e pouco responsivo, sacrificando a adaptabilidade e a utilidade geral.

4. Resultados Chave

• Fragilidade sob Autocorreção (RQ1):

  • Métodos baseados em GA e NPO mostram baixa robustez. Quando solicitados a corrigir erros ou reconsiderar respostas, o modelo frequentemente reverte para a resposta original (que continha o conhecimento "esquecido").
  • O RMU mostrou maior estabilidade (menos recuperação de conhecimento), mas com um custo severo: o modelo tornou-se rígido, ignorando instruções de correção e falhando em adaptar sua resposta, indicando uma supressão comportamental superficial em vez de uma remoção real do conhecimento.

• Recuperação via Diálogo (RQ2):

  • Históricos de diálogo, mesmo que semanticamente ou estruturalmente não relacionados ao conjunto de esquecimento, podem induzir a recuperação parcial do conhecimento suprimido.
  • Alinhamento Estrutural: A similaridade estrutural (ex: manter o formato MCQ no histórico de diálogo) foi um gatilho mais forte para a recuperação do que a similaridade semântica pura.
  • Modelos GA e NPO sofreram aumento significativo na precisão (recuperação) em cenários de diálogo, enquanto o RMU manteve-se mais estável, mas novamente com degradação na qualidade da geração.

• Impacto na Utilidade (RQ3):

  • Em geral, a interação por diálogo tende a melhorar o desempenho do modelo em tarefas gerais (MMLU) para métodos GA/NPO, mas isso vem acompanhado da reativação do conhecimento indesejado.
  • Para o RMU, a exposição a conteúdos relacionados ao conjunto de esquecimento no contexto do diálogo causou uma queda drástica na qualidade de geração e na capacidade interativa, sugerindo que a "robustez" do RMU é frágil e prejudica a utilidade do modelo.

• Efeito da Intensidade do Esquecimento:

  • Aumentar a força do esquecimento (via taxa de aprendizado mais alta) reduz a recuperação de conhecimento, mas não por uma remoção mais profunda, e sim por rigidez comportamental. O modelo torna-se menos capaz de responder a qualquer instrução, não apenas às relacionadas ao esquecimento.

5. Significado e Conclusão

O artigo conclui que as avaliações estáticas atuais superestimam drasticamente a eficácia real do esquecimento em LLMs. O fato de um modelo não responder a uma pergunta direta não garante que o conhecimento foi removido; ele pode ser facilmente reativado por um usuário comum através de feedback ou contexto de conversa.

Implicações de Segurança:

• Métodos de esquecimento que dependem apenas da supressão de probabilidades de saída (como GA e NPO) são vulneráveis a recuperações acidentais em cenários interativos.
• Métodos que alteram representações internas (como RMU) podem oferecer maior estabilidade, mas introduzem riscos de degradação severa da utilidade e rigidez comportamental.
• Há uma necessidade urgente de desenvolver novos benchmarks e métodos de unlearning que garantam a remoção estável do conhecimento sob condições de interação multi-turno, equilibrando segurança, robustez e utilidade.

Em suma, o "esquecimento" em LLMs não é um estado binário (esquecido/não esquecido), mas um processo dinâmico que pode ser revertido pela própria natureza interativa da implantação de modelos de linguagem.