Resumo Técnico: Esquecimento Geométrico para LLMs com Divulgação Mínima de Dados

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são implantados em sistemas do mundo real, eles enfrentam restrições regulatórias e de governança crescentes que exigem a remoção post-hoc de conteúdo específico (por exemplo, dados pessoais, tópicos sensíveis) enquanto se preserva a utilidade geral. Isso é conhecido como esquecimento seletivo.

As abordagens existentes geralmente dependem de pipelines orientadas a dados que exigem acesso ao corpus de treinamento original. Esses métodos geralmente se enquadram em duas categorias:

1. Ajuste de recusa no nível de saída: Induzir recusas ou respostas não correspondidas por meio de engenharia de prompts ou intervenções no momento da inferência.
2. Atualizações de parâmetros: Uso de procedimentos baseados em gradiente em conjuntos de dados designados de "esquecimento" e "retenção".

No entanto, essas estratégias enfrentam uma tensão crítica: elas frequentemente exigem acesso aos dados de treinamento originais (que podem estar indisponíveis devido a restrições de privacidade, licenciamento ou governança) e correm o risco de reexpor dados sensíveis durante o processo de esquecimento. Além disso, depender de grandes fluxos de retenção com distribuição correspondida para evitar degradação colateral é frequentemente impraticável em ambientes de implantação. O artigo postula a necessidade de esquecimento seletivo sem corpus original que alcance forte supressão de alvos com divulgação mínima de dados.

Metodologia: Esquecimento Geométrico (EG)

Os autores propõem o Esquecimento Geométrico (EG), uma abordagem no nível de representação que opera diretamente nos estados de planejamento no momento do prompt do modelo, sem acessar o corpus de treinamento original. O método fundamenta-se na observação de que as representações ocultas dos LLMs na fase de prompt codificam sinais linearmente decodificáveis preditivos das propriedades da resposta, e que fatores semânticos de alto nível são frequentemente estruturados em subespaços lineares de baixa dimensão.

O EG procede em três etapas principais:

1. Construção da Geometria de Planejamento de Alvo

Em vez de usar os dados de treinamento originais, o EG define um pequeno conjunto de prompts de referência seguros ($D_{ref}$) projetados para elicitar comportamentos seguros desejados (por exemplo, modelos de recusa ou respostas do tipo "não sei").

• O modelo processa esses prompts para extrair estados ocultos no momento do prompt ($h^{pr}_{\ell}$) em camadas específicas.
• Um subespaço de baixo posto (a "geometria de planejamento segura") é estimado via PCA nessas ativações centralizadas.
• Um projetor ortogonal $P_{\ell}$ é calculado para mapear vetores para este subespaço seguro, enquanto $P^{\perp}_{\ell}$ projeta no complemento ortogonal. Esses buffers são pré-calculados e congelados.

2. Prompts Virtuais Condicionados a Âncoras

Para evitar a necessidade de um conjunto de dados de esquecimento completo, o EG gera um conjunto compacto de prompts virtuais ($D_{virt}$) usando pontos de âncora (por exemplo, a entidade ou tópico específico a ser esquecido).

• Âncoras são inseridas em diversos modelos contextuais (biográficos, instrucionais, comparativos, etc.) para criar prompts sintéticos.
• Para cada prompt, uma janela local de tokens que cercam a ocorrência da âncora é identificada.
• O modelo processa esses prompts para coletar estados ocultos dentro desta janela.

3. Alinhamento Geométrico e Estabilização

O modelo é ajustado finamente para alinhar os estados ocultos dos prompts virtuais com a geometria segura congelada, preservando a utilidade não-alvo.

• Objetivo Central de Esquecimento: Para cada acerto de âncora, o estado oculto agregado pela janela é decomposto em componentes dentro do subespaço e fora do subespaço. A função de perda ($L_{core}$) consiste em:
  • Atração pelo Centróide ($L_{cent}$): Minimizar a distância do estado em relação à média de referência.
  • Confinamento de Dobragem ($L_{fold}$): Penalizar a energia do componente residual ortogonal ao subespaço seguro. Isso é alcançado refletindo o estado através do subespaço e minimizando a dissimilaridade de cosseno, forçando efetivamente o estado a residir dentro da variedade segura.
• Estabilização do Lado de Retenção: Para evitar deriva colateral (degradação de conhecimento não-alvo), o método emprega um modelo professor congelado (inicializado a partir do mesmo ponto de verificação).
  • Perda de Manutenção de Fundo: Alinha a saída do estudante em tokens fora da janela dos prompts de alvo com a do professor.
  • Destilação de Retenção Sintética: Alinha o estudante com o professor em um pool sintético separado de prompts não-alvo (incluindo nomes confusos para prevenir generalização excessiva).

Contribuições Principais

1. Estrutura sem Corpus Original: O EG elimina a necessidade de acesso ao corpus de pré-treinamento original ou grandes conjuntos de dados de retenção, abordando uma barreira primária para a implantação prática.
2. Intervenção no Nível de Representação: Em vez de modificar probabilidades de saída ou pesos diretamente via descida de gradiente em dados, o EG manipula a estrutura direcional dos estados de planejamento ocultos para induzir um estado "difuso" ou incerto para tópicos-alvo.
3. Eficiência de Dados: O método alcança esquecimento eficaz usando apenas um conjunto mínimo de prompts sintéticos gerados a partir de âncoras e um pequeno conjunto de prompts de referência seguros.
4. Regularização Geométrica: A introdução de confinamento de dobragem e projeção ortogonal fornece um mecanismo matematicamente fundamentado para direcionar representações para um subespaço seguro enquanto preserva conteúdo ortogonal.

Resultados Experimentais

Os autores avaliaram o EG em dois benchmarks orientados à privacidade: ToFU (esquecimento factual) e UnlearnPII (esquecimento de informações pessoais identificáveis), usando os modelos LLaMA-2-7B e LLaMA-3.2-1B.

• Eficácia do Esquecimento: O EG alcançou forte supressão de alvos (baixa Força de Extração e ROUGE de Esquecimento), comparável ou superior a bases de gradiente como GA e GradDiff.
• Preservação de Utilidade: O EG manteve alta utilidade do modelo em tarefas não-alvo, superando métodos que induziam saídas "em branco" ou "sem sentido".
• Risco de Privacidade: Em Ataques de Inferência de Membros (MIAs), o EG reduziu o risco de privacidade (medido pelo desvio da chance AUC) para níveis próximos de zero, indicando que os dados esquecidos se tornaram indistinguíveis de dados não de treinamento.
• Características de Saída: Diferentemente das bases que frequentemente produzem respostas "substitutas" (não relacionadas) ou respostas "em branco", o EG produziu consistentemente saídas no estilo de recusa (por exemplo, "não tenho certeza"), representando um comportamento de esquecimento mais estruturado e em conformidade com segurança.
• Estudos de Ablação:
  • Orçamento de Amostra: 20–30 amostras sintéticas por âncora forneceram o equilíbrio ótimo entre força de esquecimento e preservação de utilidade.
  • Seleção de Camada: Alinhar as últimas uma ou duas camadas produziu o melhor compromisso, pois os estados de planejamento de camadas tardias são mais diretamente acoplados à política de geração.

Significado e Alegações

O artigo alega que esquecimento eficaz pode ser alcançado com divulgação mínima de dados sintéticos, apoiando um paradigma de "Menos é Mais". Ao operar na estrutura geométrica dos estados de planejamento no momento do prompt, o EG contorna a necessidade de reexpor dados de treinamento sensíveis.

Os autores enfatizam que, embora o EG alcance alto desempenho em avaliações padrão baseadas em extraibilidade, ele é mais eficaz quando os alvos são invocados de forma confiável por âncoras. Eles reconhecem limitações quanto a apelidos, variantes multilíngues e menções indiretas, notando que o método não certifica a eliminação representacional completa sob auditorias white-box mais fortes. No entanto, o trabalho demonstra que controlar um pequeno conjunto de estados no momento do prompt via alinhamento geométrico é uma estratégia viável e eficiente para esquecimento seletivo em ambientes restritos e sensíveis à privacidade.