Unlearning Isn't Invisible: Detecting Unlearning Traces in LLMs from Model Outputs

Resumo Técnico: O Desaprendizado Não é Invisível: Detectando Traços de Desaprendizado em LLMs a partir das Saídas do Modelo

Definição do Problema
O desaprendizado de máquina (Machine Unlearning - MU) para Grandes Modelos de Linguagem (LLMs) visa remover dados ou conhecimentos específicos indesejáveis (ex: identificadores pessoais, conteúdo protegido por direitos autorais ou capacidades prejudiciais), preservando ao mesmo tempo a utilidade do modelo em tarefas padrão. Embora os métodos de desaprendizado aproximado existentes (como ascensão de gradiente, otimização de preferência e edição de representação) sejam projetados para suprimir a influência de um "conjunto de esquecimento" (forget set), sua eficácia é frequentemente avaliada apenas com base no fato de o modelo falhar em responder a consultas relevantes ao esquecimento.

Este artigo identifica uma vulnerabilidade anteriormente inexplorada: a detecção de traços de desaprendizado. Os autores postulam que o desaprendizado deixa para trás "impressões digitais" persistentes tanto no comportamento quanto nas representações internas do modelo. Esses traços permitem que um adversário determine se um modelo passou por um processo de desaprendizado observando puramente seu comportamento de entrada-saída, mesmo quando o modelo é consultado com prompts irrelevantes ao esquecimento (entradas não relacionadas ao conhecimento apagado). Se um adversário puder detectar que um modelo foi desaprendido, ele pode investir recursos estrategicamente para realizar engenharia reversa da informação esquecida (ex: via ataques de jailbreaking ou relearning), comprometendo assim as garantias de privacidade e segurança do processo de desaprendizado.

Metodologia
O estudo enquadra a detecção de traços de desaprendizado como uma tarefa de classificação supervisionada. A hipótese central é que modelos desaprendidos exibem mudanças comportamentais e representacionais distintas em comparação com seus homólogos originais.

1. Configuração Experimental:

   • Modelos: Quatro LLMs ajustados por instrução foram utilizados: Zephyr-7B, LLaMA-3.1-8B, Qwen2.5-14B e Yi-34B.
   • Métodos de Desaprendizado: Duas abordagens de estado da arte foram avaliadas:
     • RMU (Reengenharia de Representação): Modifica as ativações intermediárias de amostras do conjunto de esquecimento para um vetor aleatório fixo.
     • NPO (Otimização de Preferência Negativa): Trata amostras do conjunto de esquecimento como exemplos negativos em uma estrutura de otimização de preferência para afastar o modelo do comportamento anterior ao desaprendizado.
   • Datasets: O conjunto de esquecimento consistiu em 3.668 questões perigosas de biosegurança/cibersegurança do benchmark WMDP. Dados irrelevantes ao esquecimento foram extraídos do MMLU (utilidade geral) e UltraChat.
   • Inputs: O estudo avalia a detecção utilizando dois tipos de saídas:
     • Respostas Textuais: Saídas discretas "hard" geradas pelo modelo.
     • Ativações Pré-logit: Vetores de ativação contínuos "soft" (estados ocultos) extraídos antes da camada softmax final.

2. Pipeline de Detecção:

   • Um classificador supervisionado leve (um MLP de duas camadas) é treinado para distinguir entre modelos "originais" e "desaprendidos".
   • Para respostas textuais, um codificador LLM2Vec é usado para incorporar o texto gerado antes da classificação.
   • Para ativações, o MLP é treinado diretamente nos vetores pré-logit.
   • Os classificadores são testados em prompts não vistos do WMDP (relevantes ao esquecimento), MMLU e UltraChat (irrelevantes ao esquecimento).

3. Análise Espectral:

   • Para entender o mecanismo por trás da detecção, os autores realizam a Decomposição de Valores Singulares (SVD) em matrizes de ativação centradas. Eles projetam as ativações nos vetores singulares à direita superiores (SV1) para visualizar mudanças distributivas ("impressões digitais espectrais") entre os modelos originais e desaprendidos.
   • Eles também empregam UMAP (Aproximação e Projeção de Variedade Uniforme) para investigar variedades não lineares de baixa dimensão no espaço de ativação.

Principais Resultados

1. Alta Detectabilidade: Classificadores supervisionados simples podem distinguir modelos desaprendidos de originais com alta precisão (>90% em muitos casos), mesmo quando o modelo é provocado com inputs irrelevantes ao esquecimento.

   • Modelos NPO: Exibem forte detectabilidade. Classificadores treinados apenas em respostas textuais alcançam precisão quase perfeita (99–100%) em todos os tamanhos de modelo e tipos de prompt. Isso é atribuído às mudanças comportamentais globais e agressivas impostas pelo NPO.
   • Modelos RMU: Exibem traços mais sutis. A detecção baseada em texto é menos eficaz em prompts irrelevantes ao esquecimento (ex: ~54% para Zephyr-7B no MMLU, próximo ao acaso). No entanto, classificadores treinados em ativações pré-logit alcançam precisão quase perfeita (>95%) mesmo para modelos RMU em dados irrelevantes ao esquecimento.

2. Impressões Digitais Espectrais:

   • NPO: Mostra mudanças distributivas pronunciadas nas ativações da camada final ao longo do primeiro vetor singular (SV1).
   • RMU: Não mostra mudanças claras na camada final. Contudo, impressões digitais espectrais distintas são observadas em camadas intermediárias (especificamente nas subcamadas de projeção descendente das Redes de Feed-Forward, ex: L7.D_PROJ).
   • Separação de Variedades (Manifold Separation): Apesar da falta de separação linear nas ativações finais para o RMU, a análise UMAP revela que as ativações originais e desaprendidas residem em variedades não lineares de baixa dimensão separáveis. Isso explica por que classificadores neurais (que podem aprender fronteiras não lineares) têm sucesso onde a análise espectral linear parece inconclusiva.

3. Escala do Modelo e Generalização:

   • Modelos maiores (ex: Yi-34B) exibem maior detectabilidade do que modelos menores (ex: Zephyr-7B).
   • Classificadores treinados em ativações pré-logit de uma família de modelos (ex: Zephyr) podem se generalizar para detectar o desaprendizado em outras famílias de modelos (ex: Yi, Qwen) com alta precisão, embora o desempenho varie dependendo da arquitetura específica do modelo.

4. Detecção de Dados de Esquecimento:

   • Uma vez identificado como desaprendido, o artigo demonstra que é possível detectar se uma resposta específica originou-se do "domínio de esquecimento" (conteúdo perigoso) versus conhecimento geral, alcançando >70% de precisão ao alavancar mudanças estatísticas na entropia e probabilidades de predição.

Significância e Alegações
O artigo afirma revelar uma vulnerabilidade crítica no paradigma atual de desaprendizado de LLMs. Os autores argumentam que:

• O desaprendizado não é invisível: O processo de remoção de conhecimento deixa assinaturas mensuráveis e persistentes tanto no texto de saída do modelo quanto em seu espaço de ativação interna.
• Risco de Engenharia Reversa: A capacidade de detectar traços de desaprendizado permite que adversários identifiquem modelos "desaprendidos" e potencialmente foquem recursos computacionais para recuperar a informação apagada, efetivamente contornando as proteções de privacidade ou segurança pretendidas.
• Limitações dos Métodos Atuais: O estudo destaca que os métodos atuais de desaprendizado aproximado, embora eficazes em suprimir respostas específicas, falham em apagar a própria "impressão digital" do processo de desaprendizado.
• Necessidade Forense: As descobertas sugerem que avaliar o desaprendizado exige mais do que apenas verificar o desempenho em consultas relevantes ao esquecimento; requer uma análise forense dos traços comportamentais e representacionais do modelo para garantir o apagamento real.

Os autores concluem que os traços de desaprendizado são um subproduto fundamental dos algoritmos de desaprendizado atuais, introduzindo um novo vetor de risco para a engenharia reversa de informações esquecidas em domínios de alto risco.