Natively Unlearnable Large Language Models

Resumo Técnico: Modelos de Linguagem de Grande Escala Nativamente Desaprendíveis (NULLs)

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são treinados em conjuntos de dados de escala web que frequentemente contêm material protegido por direitos autorais, informações pessoais e conteúdo regulamentado. Requisitos legais e éticos podem exigir a remoção de fontes de dados específicas (desaprendizado) de um modelo implantado. No entanto, o treinamento padrão entranha todas as fontes de dados em um único conjunto compartilhado de pesos via gradiente descendente, tornando difícil isolar a contribuição de qualquer fonte individual.

As abordagens existentes enfrentam um compromisso (trade-off):

• Desaprendizado pós-hoc: Aplica atualizações corretivas após o treinamento. Embora preserve o aprendizado conjunto, a influência do alvo permanece emaranhada nos pesos compartilhados, levando a uma remoção incompleta, degradação do conhecimento relacionado e vulnerabilidade ao reaprendizado adversarial.
• Isolamento de fonte (Mistura de Especialistas - Mixture-of-Experts): Treina modelos ou módulos separados para cada fonte. Embora isso facilite a remoção fácil, impede o aprendizado conjunto entre as fontes, sacrificando os benefícios de generalização e falhando em escalar para fontes de granularidade fina (ex: milhões de documentos individuais).

O desafio central é alcançar o desaprendizado ao nível da fonte sem sacrificar o aprendizado conjunto e as capacidades de generalização.

2. Metodologia: Arquitetura NULLs

Os autores propõem os NULLs (Natively Unlearnable LLMs), uma classe de modelo projetada para satisfazer os objetivos opostos de isolar contribuições específicas de fontes enquanto aprende conjuntamente entre as fontes.

Modificações na Arquitetura:

• Backbone e Sinks (Sumidouros): O modelo modifica as camadas Totalmente Conectadas (MLP) do transformer. Os neurônios ocultos são particionados em dois conjuntos:
  1. Backbone Compartilhado ($N_{gen}$): Um conjunto de neurônios ativos para todos os inputs, responsável por aprender capacidades gerais e informações compartilhadas entre as fontes.
  2. Pool de Sumidouro de Memorização ($N_{pool}$): Um pool maior de neurônios onde a informação específica da fonte é localizada.
• Máscaras de Ativação Esparsa: Cada fonte de dados $S_i$ recebe uma máscara determinística e esparsa sobre o pool de sumidouro. Esta máscara é gerada a partir do identificador da fonte usando um gerador de números pseudoaleatórios.
  • Durante o treinamento, um documento ativa os neurônios do backbone compartilhado mais um subconjunto específico de neurônios do sumidouro definido por sua máscara.
  • A razão entre os neurônios do sumidouro ativos e o total do pool ($N_{source}/N_{pool}$) é a razão de sobreposição, controlando a interferência entre as fontes.
• Dinâmica de Treinamento: O mecanismo baseia-se no princípio de que o backbone compartilhado recebe atualizações de gradiente de todas as fontes, criando interferência para fatos específicos de cada fonte. Por outro lado, os neurônios do sumidouro são ativos para apenas uma fração das fontes, recebendo menos interferência. Consequentemente, os fatos específicos da fonte são "ajustados" nos sumidouros antes do backbone, enquanto os fatos compartilhados se acumulam no backbone.
• Mecanismo de Desaprendizado: No momento da inferência, o desaprendizado é realizado ao desativar a máscara do sumidouro correspondente à fonte alvo. Isso pode ser feito por meio de:
  • Sink-Off: Rotear o input para o sumidouro da fonte mais próxima (por similaridade de embedding) ou simplesmente não aplicar a máscara alvo.
  • Remoção Permanente: Zerar os parâmetros dos neurônios ativos na máscara do alvo.
  • Crucialmente, isso requer nenhuma atualização de gradiente e nenhum acesso aos dados retidos.

3. Principais Contribuições

1. Desaprendizado Nativo: O NULLs integra o desaprendizado diretamente na estrutura do modelo, eliminando a necessidade de atualizações de peso pós-hoc.
2. Escalabilidade: Ao usar máscaras esparsas sobre um pool de sumidouro compartilhado, o NULLs pode lidar com um número combinatório de fontes (ex: ~6 milhões de artigos da Wikipedia) sem aumentar linearmente a contagem de parâmetros.
3. Desentranhamento sem Supervisão: O método isola automaticamente o conhecimento específico da fonte sem exigir supervisão explícita para identificar qual informação pertence a qual fonte.
4. Robustez: A arquitetura resiste a ataques de extração e reaprendizado adversarial que tipicamente revertem o desaprendizado pós-hoc.

4. Resultados Experimentais

Os autores avaliaram o NULLs em dois estudos de caso:

A. Desaprendizado ao Nível de Artigo (Wikipedia)

• Configuração: Um modelo de 1 bilhão de parâmetros treinado em ~6 milhões de artigos da Wikipedia.
• Descobertas:
  • Remoção Cirúrgica: Desativar o sumidouro de um artigo específico reduziu drasticamente o recall de fatos únicos daquele artigo (Razão de Verdade $\approx$ 0), preservando fatos compartilhados com artigos semanticamente relacionados.
  • Comparação com Retreinamento: O desempenho do NULLs (Sink-Off) aproximou-se de um modelo padrão (gold-standard) retreinado do zero sem o artigo alvo.
  • Contraste com Baselines: Métodos de gradiente pós-hoc (ex: NPO, ascensão de gradiente) degradaram o conhecimento compartilhado na mesma taxa que o conhecimento específico do alvo, falhando em distinguir entre eles.

B. Desaprendizado ao Nível de Tópico (Harry Potter)

• Configuração: Um modelo de 1 bilhão de parâmetros treinado em uma mistura de corpus C4 e os 7 livros de Harry Potter.
• Descobertas:
  • Mudança de Comportamento: Desativar o sumidouro de "Harry Potter" eliminou referências aos livros no texto gerado, mudando o tópico para conteúdo não relacionado, mantendo a coerência.
  • Robustez Adversarial:
    • Extração: O NULLs (Sink-Off) resistiu à extração via prompting adversarial (otimização GCG) para elicitar texto desaprendido, igualando o desempenho de um modelo que nunca foi treinado nos livros.
    • Reaprendizado: Quando ajustado (fine-tuned) em um pequeno subconjunto de dados de Harry Potter, um transformer padrão com desaprendizado pós-hoc recuperou rapidamente a informação desaprendida (dentro de 10 passos). Em contraste, o NULLs (Sink-Off) exibiu dinâmicas de reaprendizado idênticas às de um modelo que nunca viu os dados.

C. Capacidades Gerais e Escalonamento

• Preservação de Capacidade: O NULLs igualou transformers padrão em benchmarks de tarefas subsequentes (ARC-E, Winogrande, PIQA, SciQ) e manteu a capacidade de conhecimento em fatos específicos de artigos.
• Sensibilidade do Pool de Sumidouro: Aumentar o tamanho do pool de sumidouro (reduzindo a sobreposição) melhorou a capacidade de memorização sem enfraquecer significativamente a habilidade de desaprender. O tamanho do pool de sumidouro determina primariamente quanto é aprendido, não se pode ser desaprendido.

5. Significância e Alegações

O artigo alega que o desaprendizado ao nível da fonte não precisa ser um pensamento tardio, mas pode ser construído nativamente no treinamento de LLMs.

• Reconciliação de Objetivos: O NULLs demonstra que o desentranhamento das contribuições das fontes e o aprendizado conjunto entre as fontes não são mutuamente exclusivos.
• Controle Nativo: Permite o controle sobre grandes modelos ao nível de seus dados, não apenas de seus outputs.
• Atribuição: Como as contribuições das fontes permanecem desentranhadas, os outputs do modelo podem ser atribuídos a fontes específicas de dados de pré-treinamento, e a influência de qualquer única fonte pode ser medida diretamente ao alternar seu sumidouro.

Os autores observam limitações, incluindo o uso de modelos de 1 bilhão de parâmetros e a dependência de definições de fontes pré-definidas no momento do treinamento, reconhecendo que lidar com solicitações de desaprendizado para fontes não definidas continua sendo um problema em aberto. No entanto, os resultados sugerem que o desaprendizado nativo é um caminho viável para sistemas de IA complacentes e controláveis.