Resumo Técnico: QR-Erase: Unlearning de Máquina Baseado em Subespaço Eficiente com Localização de Camadas

Problema

O unlearning de máquina (desaprendizado de máquina) visa remover a influência de dados, conceitos ou capacidades específicos de um modelo treinado, preservando o desempenho em tarefas não relacionadas. Isso é cada vez mais crítico devido a regulamentações de privacidade (ex: GDPR, CCPA) e preocupações com a propriedade de dados. As abordagens existentes enfrentam duas limitações principais:

1. Métodos baseados em otimização (ex: Ascensão de Gradiente, DPO) frequentemente degradam capacidades não relacionadas e exigem otimização iterativa que escala mal para modelos de fundação de grande escala.
2. Métodos baseados em subespaço oferecem remoção direta no espaço de pesos, mas dependem da Decomposição de Valores Singulares (SVD) para a recuperação do subespaço. A SVD é computacionalmente dispendiosa, levantando questões sobre se a reconstrução de baixo rank ótima é estritamente necessária para um unlearning eficaz.

Além disso, permanece incerto se o conhecimento específico de uma tarefa está uniformemente distribuído em um modelo ou concentrado em camadas específicas, e se identificar essas localizações é mais crítico do que o método de decomposição específico utilizado.

Metodologia

Os autores propõem o QR-Erase, um framework baseado em subespaço que aborda essas questões por meio de duas escolhas de design complementares: recuperação de subespaço eficiente via QR com pivoteamento e localização de camada.

1. QR-Erase: QR com Pivoteamento para Recuperação de Subespaço

Em vez da SVD, o QR-Erase utiliza a decomposição QR com Pivoteamento de Coluna (CPQR) para identificar e suprimir direções de tarefas de baixa dimensão.

• Construção da Matriz de Tarefa: Dado um conjunto de esquecimento ($D_f$) e um conjunto de retenção ($D_r$), o método constrói matrizes de tarefa por camada ($T_f^\ell$ e $T_r^\ell$) que representam as atualizações de parâmetros associadas a cada partição de dados.
• Decomposição: O CPQR é aplicado à matriz de tarefa de esquecimento: $T_f^\ell \Pi_f^\ell = Q_f^\ell R_f^\ell$. As colunas de $Q_f^\ell$ formam uma base ortonormal para o subespaço da tarefa.
• Discriminação de Subespaço: Para preservar o conhecimento retido, o método projeta o subespaço de esquecimento no complemento ortogonal do subespaço de retenção ($P_r^\ell = Q_r^\ell (Q_r^\ell)^T$). A matriz de tarefa discriminada é reconstruída como $\tilde{T}_f^\ell = (I - P_r^\ell) Q_f^\ell R_f^\ell (\Pi_f^\ell)^T$.
• Atualização de Parâmetros: Os parâmetros do modelo são atualizados subtraindo a matriz de tarefa discriminada: $(W^\ell)' = W^\ell - \tilde{T}_f^\ell$.

Motivação Teórica: Os autores argumentam que um unlearning eficaz depende da recuperação do subespaço dominante da tarefa, em vez de alcançar o erro de reconstrução de baixo rank ótimo. Sob uma condição de gap espectral suave ($\sigma_{k+1} \ll \sigma_k$), o CPQR fornece uma recuperação de subespaço com erro limitado que aproxima a solução ótima da SVD, tornando o CPQR, computacionalmente mais barato, suficiente para o unlearning.

2. QR-Erase Localizado por Camada

Reconhecendo que a informação da tarefa pode não estar distribuída uniformemente, os autores introduzem uma estratégia para restringir as atualizações às camadas com alta "energia de tarefa".

• Energia de Tarefa Normalizada: Para cada camada $\ell$, a energia é definida como $E_\ell = \frac{\|T_f^\ell\|_F}{\sum_{j \in L} \|T_f^j\|_F}$.
• Seleção: Apenas camadas onde $E_\ell \geq 1/|L|$ (acima da contribuição média) são selecionadas para a operação de esquecimento.
• Atualização: A atualização de parâmetros é aplicada apenas a essas camadas selecionadas ($L_{forget}$), deixando as outras camadas inalteradas.

Principais Contribuições

1. Framework QR-Erase: Introduz uma alternativa baseada em QR com pivoteamento à SVD para a recuperação do subespaço de tarefa. Ele alcança um desempenho de esquecimento comparável, reduzindo o tempo de execução da decomposição em mais de 60%.
2. Esquecimento Localizado por Camada: Propõe uma estratégia baseada em energia de tarefa normalizada que restringe as atualizações às camadas de alta energia. Isso melhora consistentemente o tradeoff entre esquecimento e retenção em várias metodologias de unlearning.
3. Avaliação Abrangente: Avalia a abordagem em três domínios diversos:
   • Unlearning de nível de tarefa e texto factual (benchmarks UNLEARN e TOFU).
   • Unlearning factual cross-lingual (benchmark cTOFU).
   • Unlearning de fala (benchmark VoxCeleb2, incluindo esquecimento de amostra e de locutor).
4. Evidência Empírica: Demonstra que a recuperação precisa do subespaço (em vez da reconstrução ótima) e a localização do conhecimento são os principais impulsionadores de um unlearning eficaz, em vez da escolha específica do método de decomposição (SVD vs. QR).

Resultados

O artigo reporta resultados em domínios de texto, multilíngue e fala:

• Eficiência: O QR com pivoteamento reduz o tempo de decomposição em 65–68% em comparação com a SVD em matrizes de tamanhos variando de 768×768 a 8192×8192, com impacto negligível no desempenho de unlearning subsequente.
• Tradeoffs de Desempenho:
  • Texto (TOFU/UNLEARN): O QR-Erase iguala o UNLEARN baseado em SVD em qualidade de esquecimento e utilidade do modelo. As variantes localizadas por camada melhoram ainda mais o tradeoff; por exemplo, o QR-Erase Localizado por Camada alcançou a maior utilidade do modelo (0,6120) enquanto satisfazia o critério de esquecimento.
  • Cross-Lingual (cTOFU): Métodos baseados em subespaço superam significativamente as baselines de otimização (como NPO e FLAT), que frequentemente falham em satisfazer os critérios de esquecimento enquanto preservam a utilidade. O QR-Erase aproxima-se do desempenho da SVD em múltiplos idiomas.
  • Fala (VoxCeleb2): Métodos baseados em otimização frequentemente degradam o desempenho dos conjuntos alvo e de retenção. Métodos de subespaço preservam essas capacidades enquanto reduzem a acurácia do conjunto de esquecimento. Notavelmente, o QR-Erase Localizado por Camada reduziu a acurácia do conjunto de esquecimento de fala de 53,1% para 15,7% no Qwen3-Omni, mantendo alta acurácia nos conjuntos alvo e de retenção.
• Generalização: Os benefícios do localismo de camada foram observados em todas as modalidades, sugerindo que o conhecimento específico da tarefa é espacialmente localizado dentro de um subconjunto de camadas.

Significância e Alegações

O artigo alega que a recuperação precisa do subespaço é suficiente para um unlearning de máquina eficaz, desafiando a necessidade da reconstrução de baixo rank ótima fornecida pela SVD. Ao substituir a SVD pelo QR com pivoteamento, os autores fornecem uma alternativa computacionalmente eficiente que escala melhor para modelos de fundação modernos sem sacrificar a eficácia do unlearning.

Além disso, o trabalho estabelece que identificar onde o conhecimento está localizado (via análise de energia de camada) é mais impactante no tradeoff entre esquecimento e retenção do que o método de decomposição de subespaço específico utilizado. Os achados sugerem que o unlearning eficaz depende de dois fatores: recuperar o subespaço dominante da tarefa e visar as camadas específicas onde esse conhecimento é representado. Isso oferece uma abordagem geral, eficiente e interpretável para o unlearning escalável em modelos de fundação de texto, multilingue e fala.