Resumo Técnico: Sidecar de Processo para Aprendizado Revogável

Declaração do Problema

Modelos de linguagem de grande escala (LLMs) implantados frequentemente passam por um pipeline de treinamento de múltiplos estágios: um modelo base é adaptado para habilidades públicas, depois ajustado finamente em fatos privados ou proprietários (a "fase de memória") e, finalmente, submetido ao treinamento de segurança (a "fase de segurança") para aprender comportamentos de recusa em relação a essas entidades específicas. Um desafio crítico surge quando a memória privada deve ser revogada (por exemplo, para conformidade de privacidade) após a fase de segurança ter sido aplicada.

O objetivo é produzir um "oráculo contrafactual" ($\theta_{AS}$): um modelo que tenha passado exatamente pelo mesmo treinamento de segurança que o artefato implantado ($\theta_{AMS}$), mas que nunca tenha aprendido a memória privada em primeiro lugar. A edição de espaço de pesos padrão, especificamente a aritmética de tarefas (subtraindo o delta de memória $\Delta M = \theta_{AM} - \theta_A$ de $\theta_{AMS}$), falha neste cenário. Isso ocorre porque o otimizador de segurança atua como um mapa não linear $T$ que "transporta" a direção da memória. A direção presente no modelo final é $DT(\theta_A)\Delta M$, não simplesmente $\Delta M$. A aritmética de tarefas ingênua assume implicitamente que o Jacobiano $DT(\theta_A)$ é a identidade, ignorando como o treinamento de segurança dobra a direção da memória.

Metodologia: Sidecars de Processo

O artigo introduz os sidecars de processo, uma família de edição de dois coeficientes projetada para estimar e cancelar a direção de memória transportada. A edição é definida como:
$$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$$
onde $\hat{R}_{S \leftarrow M}$ é uma estimativa da direção de transporte residual.

Estimando a Direção de Transporte

O método estima o produto Jacobiano-vetor (JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$ usando uma secante centralizada através do processo de treinamento de segurança realizado no futuro. Em vez de computar o Jacobiano exato de todo o traço de otimização AdamW, o método computa:
$$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$$
A implementação define $\epsilon = 1$, correspondendo à escala natural da edição de memória. Como $T(\theta_A + \Delta M) = \theta_{AMS}$ é o artefato enviado, o método requer apenas o cálculo de um traço de segurança adicional em $\theta_A - \Delta M$. O sidecar residual é então $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$.

A Família Bidimensional

A família de edição pesquisa sobre dois coeficientes:

1. $\lambda$: Controla a subtração do delta de memória bruto.
2. $\gamma$: Controla a subtração da direção de transporte estimada.

Esta família abrange:

• Aritmética de Tarefas Ingênua: $\gamma = 0$.
• Linha Process-JVP: $\gamma = \lambda$ (subtraindo a direção de transporte completa).
• Família 2D Completa: Permite que $\gamma$ varie independentemente, possibilitando correções fora da diagonal que contabilizam efeitos de curvatura finita no landscape de validação.

Um seletor implantável escolhe $(\lambda, \gamma)$ de uma grade em cache com base em métricas de validação (AUC secreto, retenção de habilidade e margem de recusa) sem acessar o oráculo contrafactual ou os dados de teste.

Principais Contribuições

1. Prova Teórica de Necessidade de Primeira Ordem

O artigo prova que sempre que o treinamento de segurança dobra a direção da memória (ou seja, $DT(\theta_A)\Delta M \neq \Delta M$), qualquer edição escalar restrita à linha de memória bruta deixa um erro contrafactual de primeira ordem.

• Teorema 2: Mostra que a edição exata do sidecar em $(\lambda, \gamma) = (1, 1)$ recupera o oráculo contrafactual $\theta_{AS}$ até o erro de segunda ordem ($O(\|\Delta M\|^2)$), tratando o AdamW como um mapa de estado aumentado sobre parâmetros e momentos.
• Teorema 3: Prova que para qualquer edição de aritmética de tarefa escalar, o erro é limitado inferiormente pela componente da direção transportada ortogonal à linha de memória bruta. O sidecar de processo fornece exatamente esta componente faltante.

2. Vantagem de Segunda Ordem da Família 2D

O artigo demonstra que a família 2D completa oferece vantagens sobre a linha Process-JVP ($\gamma = \lambda$) em segunda ordem.

• Teorema 4: Estabelece uma fronteira quadrática local. Se o objetivo de validação possui propriedades de curvatura específicas (anisotropia de Hessiana e projeções fora da diagonal), a família

2D pode encontrar uma correção fora da diagonal ($\zeta = \lambda - \gamma \neq 0$) que melhora estritamente a linha Process-JVP 1D. Esta vantagem é impulsionada pela seleção de validação de curvatura finita, não apenas pelo cancelamento de primeira ordem.

3. Crítica ao Unlearning por Gradiente Ascendente

O artigo identifica um modo de falha local para o unlearning por gradiente ascendente (FT-unlearn).

• Proposição 5: Uma vez que o treinamento de segurança reduz o gradiente de segurança de primeira ordem, direções de ascensão de memória com curvatura de segurança positiva fazem com que a perda de segurança aumente em segunda ordem. Isso explica por por que o FT-unlearn frequentemente colapsa o comportamento de recusa ao tentar esquecer.

Resultados Experimentais

O método foi avaliado em três escalas de modelos (Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B) e uma escala de 9B com 20 tentativas independentes por escala.

• Preservação de Recusa: O sidecar de processo 2D selecionado por validação melhorou o fechamento de recusa (recuperação da margem de recusa do oráculo de apenas segurança) sobre a aritmética de tarefas ingênua em 60/60 tentativas.
• Esquecimento Secreto: Ambos os métodos alcançaram AUC secreto comparável (distinguibilidade próxima ao acaso), indicando que a melhoria na recusa não foi obtida sacrificando o esquecimento.
• 2D vs. 1D: A família 2D completa superou a linha Process-JVP correspondente (fatia diagonal $\gamma = \lambda$) em 60/60 tentativas pareadas.
• Significância Estatística: Agregando por clusters de modelo-por-semente de dados, obteve-se 15 médias de bloco positivas com um teste de sinal exato $p = 2^{-15} \approx 3.05 \times 10^{-5}$. Uma replicação confirmatória fresca em sementes não vistas (70 tentativas no total) reproduziu o efeito com $p \approx 9.5 \times 10^{-7}$.
• Desempenho de Baseline: O unlearning por gradiente ascendente (FT-unlearn) resultou em fechamento de recusa negativo (ex: -15 a -55), indicando um colapso completo da política de segurança. Baselines de fusão de modelos (TIES, DARE) falharam em recuperar a direção transportada, herdando a incompletude de primeira ordem da aritmética de tarefas ingênua.

Significância e Alegações

O artigo afirma que os sidecars de processo são a família de edição geometricamente correta para revogar a memória aprendida sob subsequente treinamento de segurança.

• Correção de Primeira Ordem: São necessários para cancelar a direção de memória transportada, uma tarefa que a aritmética de tarefas escalar não consegue realizar.
• Precisão de Segunda Ordem: O sidecar ideal recupera o oráculo contrafactual até o erro de segunda ordem.
• Robustez Empírica: A família 2D fornece ganhos práticos sobre as linhas 1D ao alavancar a geometria de validação de curvatura finita, superando consistentemente as baselines de aritmética de tarefas ingênua e Process-JVP em diversas escalas de modelos e arquiteturas.
• Viabilidade de Implantação: O método opera como uma edição in-place usando apenas o artefato enviado, o delta de memória e um traço de segurança adicional, sem exigir retreinamento ou acesso ao oráculo contrafactual.

Os autores enfatizam que o coeficiente fora da diagonal ($\zeta$) é uma quantidade local da tentativa determinada pela geometria de validação, não uma lei de escala universal, e que o sucesso do método depende do "traço realizado" específico do processo de treinamento de segurança.