Resumo Técnico: Forma e Função: Esquecimento de Máquina como um Problema de Estados Desalinhados

Definição do Problema

O artigo aborda uma lacuna crítica na avaliação do esquecimento de máquina: o foco no desempenho do modelo (função) frequentemente negligencia a geometria interna e o estado do modelo (forma). Isso é particularmente agudo para otimizadores com estado, como o L-BFGS online, que mantêm não apenas vetores de parâmetros ($w_t$), mas também uma memória finita de pares de curvatura ($Z_t$) usados para aproximar o Hessiano inverso.

Os autores argumentam que os métodos atuais de esquecimento, que frequentemente tratam o esquecimento como um problema de correção de parâmetros, são insuficientes. Em otimizadores com estado, dados excluídos influenciam a trajetória de futuros pares de curvatura e direções de atualização, mesmo após os pares de curvatura explícitos contendo esses dados terem rotacionado para fora da janela de memória. Consequentemente, um modelo que "esqueceu" dados em seus parâmetros pode ainda possuir um estado acoplado (parâmetros + memória) geometricamente inconsistente com o estado contrafactual que teria surgido se os dados nunca tivessem sido processados. O problema central é reencuadrado como um problema de alinhamento de estado contrafactual: o objetivo é alinhar o estado real do otimizador com o estado gerado por um fluxo de eventos editado com exclusões.

Metodologia

Estrutura Teórica

O artigo formula o esquecimento para o L-BFGS online (o-LBFGS) dentro de um cenário de aprendizado sequencial.

• Fluxos de Eventos: Os autores distinguem entre o fluxo de eventos real ($H_t$) e o fluxo contrafactual editado com exclusões ($H_t^{-D}$), que exclui amostras específicas.
• Definição de Estado: O estado do aprendiz é definido como $\theta_t = (w_t, Z_t)$, onde $Z_t$ contém os pares de curvatura $\{(v_i, r_i)\}$.
• Erro de Alinhamento de Estado: Uma nova métrica, $\Delta_t$, é introduzida para medir a distância entre o estado esquecido e o estado oráculo contrafactual.
• Limites Recursivos: Sob suposições de convexidade forte, suavidade, gradientes limitados e atualizações contrativas, os autores derivam um limite recursivo sobre o desvio de estado. Eles demonstram que o erro consiste em dois componentes:
  1. Memória Direta: Pares de curvatura explícitos contendo dados excluídos, que desaparecem após $\tau$ atualizações (o tamanho da janela de memória).
  2. Memória Indireta: Influência residual persistindo através da trajetória de parâmetros, que gera novos pares de curvatura e direções de atualização. Essa influência decai geometricamente, mas persiste além da janela de memória direta.

Certificados para Esquecimento

O artigo propõe um método para Esquecimento Certificado por Estado. Diferentemente de trabalhos anteriores que calibram ruído com base apenas na sensibilidade dos parâmetros, esta abordagem calibra a injeção de ruído com base no limite total de desvio de estado ($\alpha_t$). Esse limite considera tanto a perturbação inicial quanto a memória indireta residual, garantindo que o estado aleatorizado esquecido seja indistinguível do ideal contrafactual dentro de uma garantia probabilística definida.

Benchmark Experimental

Os autores introduzem um benchmark consciente de estado que avalia intervenções de esquecimento através de quatro métricas de erro distintas:

1. Erro de Parâmetros: Desvio no vetor de pesos.
2. Erro do Operador de Memória: Desvio na memória de curvatura/aproximação do Hessiano inverso.
3. Erro de Estado Combinado: O desvio conjunto de $(w_t, Z_t)$.
4. Erro de Direção de Atualização: A divergência nas futuras direções de atualização de gradiente.

Intervenções testadas incluem:

• Reprodução Oráculo: Retreinamento no fluxo contrafactual exato (verdade fundamental).
• Reprodução de Janela: Reprodução de uma janela recente de eventos para reconstruir o estado.
• Correção Apenas de Parâmetros: Ajuste de $w_t$ deixando $Z_t$ intocado.
• Correção Apenas de Memória: Reset ou descarte de pares de curvatura contaminados deixando $w_t$ intocado.
• Descarte de Par Contaminado: Remoção de pares de curvatura específicos.
• Descarte e Reabastecimento: Descarte tanto de parâmetros quanto de memória, seguido de continuação.

Principais Resultados

1. O Alinhamento de Parâmetros Subestima a Persistência

Experimentos em superfícies de perda quadrática e ridge-logística demonstram que corrigir apenas o vetor de parâmetros ($w_t$) falha em alcançar o verdadeiro esquecimento. Embora intervenções apenas em parâmetros possam reduzir o erro de parâmetros, elas deixam a memória de curvatura ($Z_t$) contaminada. Isso cria um "estado híbrido" onde os parâmetros assumem que os dados foram excluídos, mas a memória ainda codifica direções de atualização baseadas na trajetória original. Esse desalinhamento resulta no maior erro de trajetória futura entre métodos não-oráculo, frequentemente excedendo o erro de não realizar nenhuma correção.

2. Memória Indireta e o Horizonte de Exclusão

O estudo confirma que dados excluídos persistem via memória indireta. Mesmo após pares de curvatura contaminados rotacionarem para fora da janela do L-BFGS (limpeza de memória direta), a trajetória de parâmetros alterada gera novos pares de curvatura que carregam o "fantasma" dos dados excluídos.

• Compromisso de Tamanho de Memória: Janelas de memória maiores ($\tau$) retêm contaminação direta por mais tempo, mas também desaceleram a taxa de alinhamento de estado. Janelas menores encurtam o horizonte de exclusão, mas podem comprometer a eficiência de otimização.
• Dinâmica de Decaimento: O desvio de estado não desaparece imediatamente após a limpeza da memória; ele decai geometricamente ao longo do tempo, dependendo da contratividade do otimizador.

3. Inadequação de Intervenções Locais

Edições locais (modificar apenas parâmetros ou apenas memória) falham em reconstruir o estado contrafactual.

• Reset Apenas de Memória: Embora remova a contaminação direta, falha em reconstruir a trajetória de parâmetros que teria gerado naturalmente a memória contrafactual, levando a erros significativos na direção de atualização.
• Descarte e Reabastecimento: A remoção agressiva de dados pode ser prejudicial, afastando o otimizador da trajetória contrafactual mais do que não fazer nada, pois destrói informações úteis compartilhadas tanto pelos históricos real quanto contrafactual.

4. Sucesso da Reprodução Estratégica

A Reprodução de Janela é o único método não-oráculo mostrado a aproximar-se de forma confiável da recuperação exata. Ao reconstruir o estado conjunto parâmetro-memória a partir de uma janela de dados consistente com a solicitação de exclusão, ela alinha tanto a forma quanto a função. Sua eficácia é máxima quando os dados excluídos caem dentro da janela de reprodução. À medida que os dados se movem da memória direta para a indireta, a eficiência da reprodução diminui, mas ela permanece superior a correções parciais.

Significado e Alegações

O artigo alega que o esquecimento de máquina para otimizadores com estado é fundamentalmente um problema de reconstrução de estado, e não meramente um problema de correção de parâmetros.

• Mudança Ontológica: Os autores argumentam que o esquecimento deve ser avaliado com base em se o sistema pode assumir a "forma e função" do ideal contrafactual. Um modelo que performa bem, mas possui um estado interno desalinhado, não está verdadeiramente esquecido.
• Novo Padrão de Avaliação: O artigo introduz métricas conscientes de estado que revelam a insuficiência dos métodos atuais de avaliação centrados em parâmetros, que frequentemente ignoram informações residuais armazenadas na memória geométrica do otimizador.
• Contribuição Teórica: Fornece os primeiros limites recursivos sobre o desvio de estado contrafactual para o L-BFGS online, distinguindo entre efeitos de memória direta e indireta, e oferece uma estrutura para esquecimento certificado por estado que considera o estado completo do otimizador.
• Implicação Prática: Os resultados sugerem que o esquecimento confiável em ambientes online e com restrições de memória requer ou a reconstrução completa do estado (via reprodução) ou uma compreensão mais sofisticada de como a memória de curvatura propaga os efeitos de exclusão, em vez de simples perturbação de parâmetros.

Os autores mantêm modéstia quanto ao seu escopo, observando que seus limites teóricos dependem de suposições de convexidade e que seus experimentos utilizam fluxos sintéticos, deixando a aplicação em modelos implantados em grande escala, não convexos, como trabalho futuro.