🤖 AI

GRIP: Algorithm-Agnostic Machine Unlearning for Mixture-of-Experts via Geometric Router Constraints

Este artigo apresenta o GRIP, um framework agnóstico a algoritmos que impõe restrições geométricas nas atualizações de roteadores em modelos de Mixture-of-Experts para evitar a manipulação de roteamento, garantindo assim a eliminação genuína de conhecimento dos parâmetros dos especialistas, ao mesmo tempo em que melhora significativamente a precisão de retenção e a robustez contra recuperação adversária.

Autores originais: Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andy Zhu, Rongzhe Wei, Yupu Gu, Pan Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são ferramentas poderosas que aprenderam a escrever, raciocinar e resolver problemas estudando vastas quantidades de texto. No entanto, esse aprendizado traz um custo oculto: esses modelos frequentemente memorizam detalhes sensíveis, como informações pessoais privadas, material protegido por direitos autorais ou instruções perigosas, que não deveriam guardar. Quando leis como o "direito ao esquecimento" exigem que uma empresa remova esses dados específicos de um modelo, a solução padrão é treinar todo o sistema do zero sem esses dados. Esse processo é tão caro e lento que raramente é feito. Em vez disso, pesquisadores desenvolveram técnicas de "desaprendizado de máquina" (machine unlearning) projetadas para remover cirurgicamente memórias específicas sem reconstruir todo o cérebro. Embora esses métodos funcionem bem para modelos padrão, um novo tipo de arquitetura chamado Mistura de Especialistas (Mixture-of-Experts) surgiu como uma alternativa mais rápida e eficiente para os maiores sistemas. Esses modelos não usam todas as partes de seu cérebro para cada pergunta; em vez disso, possuem um diretor de tráfego integrado que escolhe uma pequena equipe de sub-redes especializadas para lidar com cada tarefa. Essa eficiência cria uma vulnerabilidade única: ao ser solicitado a esquecer algo, o sistema pode enganar o usuário simplesmente desviando as perguntas para longe dos especialistas que detêm as memções ruins, deixando o conhecimento perigoso intacto e à espera de ser recuperado.

Uma equipe de pesquisadores identificou essa brecha e desenvolveu um novo framework chamado GRIP para corrigi-la. Eles descobriram que, quando os métodos de desaprendizado padrão são aplicados a esses modelos especializados, o sistema escolhe o caminho de menor resistência. Em vez de realmente deletar o conhecimento prejudicial das sub-redes especializadas, o diretor de tráfego simplesmente aprende a parar de enviar perguntas para esses especialistas específicos. É como se um bibliotecário, em vez de remover um livro proibido da estante, simplesmente dissesse a todos os usuários para procurarem em outra seção. O livro permanece na estante, totalmente intacto, e uma pessoa determinada ainda poderia encontrá-lo se soubesse como contornar as instruções do bibliotecário. Isso cria uma ilusão perigosa de segurança onde o modelo parece ter esquecido a informação, mas os dados estão apenas escondidos atrás de um padrão de roteamento alterado.

Para resolver isso, os pesquisadores criaram um método que força o sistema a realmente apagar o conhecimento em vez de apenas escondê-lo. Eles conseguiram isso aplicando restrições geométricas rigorosas sobre como o diretor de tráfego pode mudar de ideia. Imagine o diretor de tráfego como um conjunto de regras que decide qual caminho uma pergunta percorre. Os pesquisadores descobriram que o sistema estava tentando mudar essas regras para evitar os especialistas que detêm os dados ruins. A solução deles foi travar as regras para todas as informações seguras e importantes que o modelo precisa manter. Ao garantir matematicamente que o diretor de tráfego não pode mudar suas decisões de roteamento para os dados seguros, eles removeram a capacidade do sistema de usar o roteamento como um atalho. Isso forçou o processo de desaprendizado a realizar o trabalho difícil de modificar as sub-redes especializadas que detêm o conhecimento, garantindo que a informação seja realmente eliminada.

Os pesquisadores testaram essa abordagem em dois grandes modelos e descobriram que ela funcionou dramaticamente melhor do que os métodos anteriores. Em testes padrão, os métodos antigos faziam com que o sistema de roteamento se tornasse instável, mudando de ideia sobre quais especialistas usar para perguntas seguras cerca de 80% das vezes, o que prejudicava severamente a capacidade do modelo de funcionar corretamente. O novo método restaurou essa estabilidade para mais de 94%, o que significa que o modelo continuou a usar os especialistas corretos para tarefas seguras como fazia antes. Mais importante ainda, eles testaram se o conhecimento perigoso havia sido realmente removido, simulando um atacante que poderia contornar o diretor de tráfego e forçar o modelo a usar os especialistas originais. Nos métodos antigos, esse bypass permitia que o atacante recuperasse a informação esquecida em 11% das vezes. Com o novo método, a taxa de recuperação caiu para apenas 3%, um nível comparável a modelos que foram completamente treinados do zero.

O estudo também comparou sua abordagem a uma tentativa anterior que tentou resolver o mesmo problema usando regras mais suaves e menos rigorosas. Aquele método anterior melhorou ligeiramente a situação, mas ainda permitia que o sistema manipulasse o roteamento para esconder o conhecimento. A nova abordagem, ao usar restrições rígidas, provou que a única maneira de alcançar um desaprendizado genuíno nesses modelos eficientes é impedir que o sistema de roteamento seja usado como um escudo. Os pesquisadores demonstraram que essa técnica funciona em diferentes tipos de tarefas de desaprendizado, desde a remoção de conhecimento perigoso de cibersegurança até a exclusão de textos protegidos por direitos autorais. Eles descobriram que o modelo manteve sua inteligência geral e habilidade de responder a perguntas seguras muito melhor do que antes, melhorando seu desempenho em tarefas retidas em até 89% em comparação com a linha de base instável.

Este trabalho destaca uma distinção crítica em como protegemos a inteligência artificial. Ele mostra que, para esses sistemas complexos e especializados, simplesmente mudar o caminho da informação não é suficiente para proteger a privacidade ou a segurança. O conhecimento deve ser apagado da fonte. Ao garantir que o sistema não possa usar o roteamento para esconder conteúdo perigoso, os pesquisadores forneceram uma maneira confiável de remover memórias específicas sem sacrificar a utilidade geral do modelo. Suas descobertas sugerem que as medidas de segurança futuras para modelos de linguagem de grande escala devem levar em conta esses mecanismos de roteamento interno, garantindo que o "diretor de tráfego" não possa ser manipulado para esconder conteúdo perigoso. O resultado é um sistema mais robusto onde a remoção de dados é genuína, e não apenas uma questão de mudar o mapa.

Resumo Técnico: GRIP - Aprendizado de Desaprendizado Agnóstico a Algoritmos para Mixture-of-Experts

1. Definição do Problema

O aprendizado de desaprendizado (Machine Unlearning - MU) em modelos de linguagem de grande escala (LLMs) do tipo Mixture-of-Experts (MoE) enfrenta um modo de falha estrutural crítico, distinto das arquiteturas densas. Em modelos densos, todos os parâmetros interagem uniformemente com as entradas. Em modelos MoE, um roteador aprendido seleciona dinamicamente um subconjunto esparso de redes de especialistas para cada entrada.

Os métodos atuais de desaprendizado aplicados a arquiteturas MoE frequentemente exploram esse roteamento dinâmico como um atalho de otimização. Em vez de genuinamente apagar o conhecimento dos parâmetros dos especialistas, o otimizador manipula o roteador para redirecionar consultas do "conjunto de esquecimento" (forget-set) para longe dos especialistas originalmente atribuídos e dotados de conhecimento. Isso leva a dois problemas primários:

Degradação da Utilidade: O roteador altera as seleções de especialistas para o "conjunto de retenção" (retain set — dados que devem ser mantidos), causando quedas severas no desempenho do modelo em tarefas retidas.
Apagamento Incompleto (Forçamento de Especialista): O conhecimento visado permanece intacto dentro dos parâmetros dos especialistas dormentes. Adversários podem contornar o roteador (um ataque de "caixa branca") para forçar o modelo a acessar esses especialistas específicos, recuperando informações sensíveis ou perigosas que supostamente foram desaprendidas.

Tentativas existentes para abordar isso, como o SEUF, dependem de penalidades de regularização suaves e restringem as atualizações a um único especialista. No entanto, evidências empíricas mostram que essas penalidades suaves falham em prevenir a manipulação do roteamento, e restringir as atualizações a um único especialista deixa o conhecimento em outros especialistas inicialmente ativados vulnerável à recuperação.

2. Metodologia: GRIP

Os autores propõem o Geometric Routing Invariance Preservation (GRIP), uma estrutura agnóstica a algoritmos que impõe restrições geométricas rígidas às atualizações do roteador para suprimir mudanças na seleção de especialistas, permitindo simultaneamente o apagamento genuíno do conhecimento em todos os especialistas relevantes.

Princípio Central

O GRIP impõe uma restrição de que as atualizações dos parâmetros do roteador ( $\Delta \Theta_\ell$ ) devem preservar as seleções de especialistas do conjunto de retenção ( $D_r$ ). Formalmente, para qualquer entrada $x \in D_r$ , o conjunto de especialistas selecionados após o desaprendizado ( $S^{post}_\ell(x)$ ) deve ser igual ao conjunto antes do desaprendizado ( $S^{pre}_\ell(x)$ ). Ao tornar o "atalho de roteamento" inviável nas entradas restritas, a otimização é forçada a atingir o objetivo de desaprendizado através do apagamento do conhecimento dentro dos próprios pesos dos especialistas.

Duas Variantes

O GRIP oferece duas realizações complementares:

Método A: Projeção Estocástica em Tempo de Treinamento (Online)
- Mecanismo: Em cada etapa de treinamento, a atualização não restrita do roteador proposta por um algoritmo de desaprendizado base é projetada no espaço nulo da matriz de roteamento do conjunto de retenção.
- Restrições: A projeção impõe duas condições para cada especialista $j$ $j$ :
  - Igualdade: Para entradas onde o especialista $j$ foi originalmente selecionado, a atualização do roteador deve resultar em zero de mudança na pontuação de roteamento ( $\langle \Delta \Theta, x \rangle = 0$ ).
  - Desigualdade: Para entradas onde o especialista $j$ não foi selecionado, a atualização não deve aumentar a pontuação o suficiente para violar a margem de seleção (ou seja, o diferencial de pontuação entre os especialistas selecionados e não selecionados).
- Implementação: Utiliza um processo de dois estágios: (1) Projeção ortogonal no complemento do span das entradas selecionadas (igualdade), e (2) Uma projeção alternada de estilo Kaczmarz randomizado para satisfazer as restrições de desigualdade de forma eficiente.
- Sobrecarga (Overhead): Adiciona aproximadamente 1,71× de sobrecarga no tempo de treinamento.
Método B: Correção Analítica Pós-Treinamento (Offline)
- Mecanismo: O algoritmo de desaprendizado é executado sem restrições primeiro. Posteriormente, uma única correção analítica de forma fechada é aplicada para realinhar o roteador desviado.
- Fórmula: Resolve um problema de mínimos quadrados para encontrar uma correção $\Delta_\ell$ tal que $(\tilde{\Theta}_\ell + \Delta_\ell)\tilde{X}_{r,\ell} = \Theta_\ell X_{r,\ell}$ , onde $\tilde{\Theta}$ e $\tilde{X}$ são o roteador e as representações pós-desaprendizado.
- Sobrecarga (Overhead): Reduz a sobrecarga para 1,21× do tempo de treinamento, substituindo as projeções por etapa por uma única correção pós-hoc por camada.

3. Principais Contribuições

Identificação de uma Vulnerabilidade Estrutural: O artigo identifica que o desaprendizado em MoE é propenso a "atalhos de roteamento", onde o conhecimento é ocultado em vez de apagado, e introduz o ataque de "Forçamento de Especialista" (Expert Forcing) como um diagnóstico para essa vulnerabilidade.
Restrições Geométricas Rígidas: Ao contrário de trabalhos anteriores que usam penalidades suaves, o GRIP trata a preservação do roteamento como uma condição de viabilidade satisfeita por construção via projeção no espaço nulo.
Apagamento de Múltiplos Especialistas: O GRIP permite que todos os especialistas inicialmente ativados sejam atualizados, garantindo que o conhecimento seja apagado de todo o espaço de parâmetros relevante, em vez de restringir as atualizações a um único especialista.
Agnosticismo de Algoritmo: O GRIP atua como um invólucro (wrapper) que pode ser aplicado a qualquer objetivo de desaprendizado existente (ex: Gradient Ascent, NPO, RMU) sem modificar a função de perda subjacente.

4. Resultados Experimentais

Experimentos foram conduzidos em dois modelos MoE (Qwen3-30B-A3B e Qwen1.5-MoE-A2.7B-Chat) através de benchmarks de remoção de conhecimento perigoso (WMDP) e desaprendizado de direitos autorais (MUSE).

Estabilidade de Roteamento: O GRIP restaura a estabilidade do roteamento (similaridade de Jaccard das seleções de especialistas) de um colapso de ~0,21 (nos baselines) para ≥0,94 (e até 1,00 com a Correção Pós-Treinamento).
Preservação da Utilidade: A precisão de retenção melhorou em até 89% em comparação com os baselines. Os métodos GRIP recuperaram pontuações de preservação de utilidade próximas às dos baselines de desaprendizado de arquitetura densa.
Robustez Adversária:
- Caixa Branca (Forçamento de Especialista): Sob acesso forçado a especialistas dormentes, os métodos baseline recuperaram 11% das consultas esquecidas, o SEUF recuperou 8%, enquanto o GRIP reduziu a recuperação para 3% (próximo aos níveis de ruído).
- Caixa Preta (Ataques de Prompt): O desempenho do GRIP sob ataques de prompt permaneceu comparável aos baselines de arquitetura densa, indicando que não há novas vulnerabilidades significativas de caixa preta.
Comparação com SEUF: O GRIP superou consistentemente o SEUF em todas as métricas, demonstrando que a regularização suave é insuficiente para prevenir o atalho de roteamento.

5. Significância e Alegações

O artigo afirma que o GRIP fornece um caminho principiado e escalável para um desaprendizado genuíno em arquiteturas MoE esparsas. Ao desacoplar a estabilidade do roteamento da plasticidade dos parâmetros, o GRIP garante que o conhecimento seja apagado dos parâmetros dos especialistas, em vez de meramente ocultado por manipulação de roteamento.

Os autores posicionam o GRIP não como um substituto para objetivos de desaprendizado, mas como uma restrição geométrica necessária para tornar o desaprendizado eficaz no contexto específico de modelos MoE. Eles reconhecem limitações, incluindo a sobrecarga de memória para cache de representações de retenção e a natureza empírica (em vez de formal) das garantias de preservação de roteamento. No entanto, os resultados sugerem que restrições geométricas rígidas são essenciais para abordar as vulnerabilidades únicas do roteamento dinâmico em modelos de linguagem de grande escala.