Resumo Técnico: Estendendo o Kernel Trick para Funções de Influência

Declaração do Problema

As funções de influência, originalmente desenvolvidas em estatística robusta e adaptadas ao aprendizado de máquina por Koh e Liang [1], fornecem um método para estimar como os parâmetros e as saídas do modelo mudam quando pontos de dados de treinamento são perturbados ou removidos. Essa capacidade é crítica para o desaprendizado de máquina (machine unlearning), interpretabilidade e privacidade. No entanto, a aplicação padrão das funções de influência a modelos de aprendizado profundo em grande escala enfrenta um gargalo significativo de escalabilidade.

O desafio computacional central reside no Produto Vetor-Hessiana Inverso (IHVP), $H_{\theta^*}^{-1} \nabla_\theta L_{D_f}(\theta^*)$, necessário para aproximar a mudança nos parâmetros ($\theta_r^*$) após a remoção de um conjunto de esquecimento $D_f$. Na formulação original, a matriz Hessiana $H_{\theta^*}$ escala com o quadrado do número de parâmetros do modelo ($d_\theta$). Para modelos grandes (por exemplo, redes neurais profundas), materializar e inverter essa matriz é inviável. Embora métodos iterativos como Gradientes Conjugados (CG) evitem materializar a Hessiana, eles ainda dependem de Produtos Vetor-Hessiana (HVPs) que escalam com o tamanho do modelo, tornando o processo computacionalmente caro quando $d_\theta$ é grande em relação ao tamanho do conjunto de dados.

Metodologia

Os autores propõem uma representação dual das funções de influência que desloca a complexidade computacional de escalar com o tamanho do modelo ($d_\theta$) para escalar com o tamanho do conjunto de dados ($|D|$) e a dimensão de saída ($d_{out}$). Essa abordagem fundamenta-se na teoria de modelos linearizáveis e no Kernel Tangente Neural (NTK).

1. Linearização e Reparametrização

O método assume que o modelo $f(\cdot, \theta)$ é "linearizável", o que significa que seu comportamento durante o treinamento pode ser aproximado por sua linearização em torno de um ponto de referência $\theta'$ (tipicamente a inicialização). Os autores definem um modelo linearizado $f^{lin}$ e um risco empírico regularizado correspondente $\hat{L}_D(\theta)$.

A chave para a derivação é a Proposição 3.1, que estabelece que, para qualquer subconjunto de dados, a diferença entre os parâmetros ótimos do modelo linearizado e o conjunto de dados completo reside em um subespaço linear específico de $\mathbb{R}^{d_\theta}$:
$$\hat{\theta}_r^* - \hat{\theta}^* = \nabla_\theta f(X, \theta')^\top \Delta \alpha_r^*$$
onde $\Delta \alpha_r^* \in \mathbb{R}^{d_{out}|D|}$.

Essa observação permite aos autores reparametrizar o problema de otimização. Em vez de otimizar sobre o espaço de parâmetros de alta dimensão $\theta$, eles otimizam sobre a variável dual $\Delta \alpha$. O problema restrito em $\theta$ é transformado em um problema irrestrito no espaço $\Delta \alpha$:
$$\tilde{L}_D(\Delta \alpha) := \frac{1}{|D|} \sum_{(x,y) \in D} \left( \ell(g^{lin}(x, \Delta \alpha), y) + \frac{\lambda}{2} \|\phi(\Delta \alpha) - \theta'\|_2^2 \right)$$
onde $g^{lin}$ envolve o NTK empírico, $K(\cdot, \cdot) = \nabla_\theta f(\cdot, \theta') \nabla_\theta f(\cdot, \theta')^\top$.

2. Funções de Influência Duais

No espaço $\Delta \alpha$, a influência da remoção de pontos de dados é aproximada resolvendo um sistema linear envolvendo a Hessiana do risco dual, $H_{\Delta \alpha^*}$. Crucialmente, essa Hessiana escala com $d_{out}|D| \times d_{out}|D|$ em vez de $d_\theta \times d_\theta$.

A aproximação para a mudança na variável dual é:
$$\Delta \alpha_r^* \approx \frac{|D_f|}{|D|} H_{\Delta \alpha^*}^{-1} \nabla_{\Delta \alpha} \tilde{L}_{D_f}(0)$$
Os autores mostram que esse sistema pode ser resolvido eficientemente. Especificamente, se o conjunto de esquecimento $D_f$ for grande, a dimensão do sistema linear a ser resolvido na verdade diminui, porque os componentes conhecidos de $\Delta \alpha_r^*$ correspondentes a $D_f$ podem ser isolados.

3. Estimativa de Mudanças

Uma vez obtido $\Delta \alpha_r^*$, as mudanças nas saídas do modelo e na perda para pontos de teste podem ser estimadas usando o NTK:

• Mudança na Saída: $f^{lin}(x_t, \hat{\theta}_r^*) - f^{lin}(x_t, \hat{\theta}^*) \approx K(x_t, X) \Delta \alpha_r^*$
• Mudança na Perda: Estimada via o gradiente da perda dual em relação a $\Delta \alpha$.

Essa formulação permite o cálculo da influência para modelos com infinitos parâmetros, desde que o NTK admita uma forma analítica.

Contribuições Principais

1. Representação Dual: O artigo introduz uma formulação dual das funções de influência onde a complexidade computacional depende do tamanho do conjunto de dados ($|D|$) e da dimensão de saída ($d_{out}$) em vez da contagem de parâmetros do modelo ($d_\theta$).
2. Eficiência para Modelos Grandes: O método fornece uma alternativa eficiente às funções de influência originais quando $d_\theta \gg d_{out}|D|$. Ele evita a necessidade de calcular HVPs em relação ao espaço de parâmetros massivo.
3. Aplicabilidade em Largura Infinita: O framework estende a análise de influência para redes neurais de largura infinita, aproveitando o NTK analítico, permitindo a estimativa de mudanças nos parâmetros e nas saídas no limite de parâmetros infinitos.
4. Atalho Computacional: Os autores identificam que, no espaço dual, o tamanho do sistema linear diminui à medida que o tamanho do conjunto de esquecimento ($|D_f|$) aumenta, oferecendo um ganho de eficiência contra-intuitivo para tarefas de desaprendizado em grande escala.

Resultados Experimentais

Os autores validam seu método em versões linearizadas de Redes Neurais Conectadas Totalmente (FCNN) e Redes Neurais Convolucionais (CNN) treinadas em subconjuntos do MNIST e CIFAR-10.

• Tempo de Execução: O método no espaço $\Delta \alpha$ supera consistentemente o método original no espaço $\theta$ tanto em cenários de "início frio" (primeira execução) quanto de "início quente" (execução repetida). A lacuna de desempenho aumenta à medida que o tamanho do modelo cresce em relação ao conjunto de dados.
• Precisão: O desempenho do desaprendizado (medido pela distância relativa $\ell_2$ entre os parâmetros desaprendidos e re-treinados, e pela precisão no conjunto de esquecimento) é comparável ao método original.
• Efeito da Regularização ($\lambda$): Experimentos em modelos não lineares mostram que valores maiores da constante de regularização $\lambda$ fazem com que a dinâmica de treinamento de modelos não lineares se assemelhe mais de perto às suas linearizações. Isso melhora a confiabilidade da representação dual para modelos não lineares, embora venha com o custo de uma menor precisão no teste.
• Redes de Largura Infinita: O método estima com sucesso as mudanças na saída e na perda para FCNNs e CNNs de largura infinita, com estimativas correspondendo de perto às mudanças reais calculadas via Descida de Gradiente de Kernel.

Significado e Alegações

O artigo alega que a representação dual oferece uma solução escalável para o desaprendizado de máquina e análise de influência em cenários onde o tamanho do modelo é proibitivamente grande para métodos tradicionais no espaço de parâmetros.

• Escalabilidade: Permite a estimativa de influência para modelos onde avaliar as funções de influência originais no espaço de parâmetros é inviável.
• Extensão Teórica: Fornece uma ponte teórica para analisar a influência no limite de largura infinita das redes neurais.
• Limitações: Os autores afirmam explicitamente que o método é limitado a modelos linearizáveis. Embora uma grande regularização ($\lambda$) possa aproximar modelos não lineares como linearizáveis, isso degrada o desempenho do modelo. Além disso, o método requer materializar ou operar implicitamente na matriz NTK, que escala com o produto do tamanho do conjunto de dados e da dimensão de saída, potencialmente tornando-se um gargalo para conjuntos de dados muito grandes com muitas classes.

O trabalho não alega resolver o problema de desaprendizado para todos os modelos de aprendizado profundo, mas sim fornece uma ferramenta especializada e eficiente para cenários onde o conjunto de dados é pequeno em relação à capacidade do modelo ou onde o modelo pode ser efetivamente tratado como linear.