Resumen Técnico: Extensión del Truco del Kernel a las Funciones de Influencia

Enunciado del Problema

Las funciones de influencia, desarrolladas originalmente en estadística robusta y adaptadas al aprendizaje automático por Koh y Liang [1], proporcionan un método para estimar cómo cambian los parámetros y las salidas del modelo cuando se perturban o eliminan puntos de datos de entrenamiento. Esta capacidad es crítica para el olvido automático (machine unlearning), la interpretabilidad y la privacidad. Sin embargo, la aplicación estándar de las funciones de influencia a modelos de aprendizaje profundo a gran escala enfrenta un cuello de botella significativo de escalabilidad.

El desafío computacional central reside en el Producto Vectorial de la Hessiana Inversa (IHVP), $H_{\theta^*}^{-1} \nabla_\theta L_{D_f}(\theta^*)$, requerido para aproximar el cambio en los parámetros ($\theta_r^*$) tras eliminar un conjunto de olvido $D_f$. En la formulación original, la matriz Hessiana $H_{\theta^*}$ escala con el cuadrado del número de parámetros del modelo ($d_\theta$). Para modelos grandes (por ejemplo, redes neuronales profundas), materializar e invertir esta matriz es inviable. Si bien los métodos iterativos como los Gradientes Conjugados (CG) evitan materializar la Hessiana, aún dependen de Productos Hessiana-Vector (HVP) que escalan con el tamaño del modelo, lo que hace que el proceso sea computacionalmente costoso cuando $d_\theta$ es grande en relación con el tamaño del conjunto de datos.

Metodología

Los autores proponen una representación dual de las funciones de influencia que desplaza la complejidad computacional de escalar con el tamaño del modelo ($d_\theta$) a escalar con el tamaño del conjunto de datos ($|D|$) y la dimensión de salida ($d_{out}$). Este enfoque se basa en la teoría de modelos linealizables y el Kernel Tangente Neuronal (NTK).

1. Linealización y Reparametrización

El método asume que el modelo $f(\cdot, \theta)$ es "linealizable", lo que significa que su comportamiento durante todo el entrenamiento puede aproximarse mediante su linealización alrededor de un punto de referencia $\theta'$ (típicamente la inicialización). Los autores definen un modelo linealizado $f^{lin}$ y un riesgo empírico regularizado correspondiente $\hat{L}_D(\theta)$.

La clave de la derivación es la Proposición 3.1, que establece que para cualquier subconjunto de datos, la diferencia entre los parámetros óptimos del modelo linealizado y el conjunto de datos completo reside en un subespacio lineal específico de $\mathbb{R}^{d_\theta}$:
$$\hat{\theta}_r^* - \hat{\theta}^* = \nabla_\theta f(X, \theta')^\top \Delta \alpha_r^*$$
donde $\Delta \alpha_r^* \in \mathbb{R}^{d_{out}|D|}$.

Esta observación permite a los autores reparametrizar el problema de optimización. En lugar de optimizar sobre el espacio de parámetros de alta dimensión $\theta$, optimizan sobre la variable dual $\Delta \alpha$. El problema restringido en $\theta$ se transforma en un problema sin restricciones en el espacio $\Delta \alpha$:
$$\tilde{L}_D(\Delta \alpha) := \frac{1}{|D|} \sum_{(x,y) \in D} \left( \ell(g^{lin}(x, \Delta \alpha), y) + \frac{\lambda}{2} \|\phi(\Delta \alpha) - \theta'\|_2^2 \right)$$
donde $g^{lin}$ involucra el NTK empírico, $K(\cdot, \cdot) = \nabla_\theta f(\cdot, \theta') \nabla_\theta f(\cdot, \theta')^\top$.

2. Funciones de Influencia Duales

En el espacio $\Delta \alpha$, la influencia de eliminar puntos de datos se aproxima resolviendo un sistema lineal que involucra la Hessiana del riesgo dual, $H_{\Delta \alpha^*}$. Crucialmente, esta Hessiana escala con $d_{out}|D| \times d_{out}|D|$ en lugar de $d_\theta \times d_\theta$.

La aproximación para el cambio en la variable dual es:
$$\Delta \alpha_r^* \approx \frac{|D_f|}{|D|} H_{\Delta \alpha^*}^{-1} \nabla_{\Delta \alpha} \tilde{L}_{D_f}(0)$$
Los autores muestran que este sistema puede resolverse eficientemente. Específicamente, si el conjunto de olvido $D_f$ es grande, la dimensión del sistema lineal a resolver en realidad disminuye porque los componentes conocidos de $\Delta \alpha_r^*$ correspondientes a $D_f$ pueden aislarse.

3. Estimación de Cambios

Una vez obtenido $\Delta \alpha_r^*$, los cambios en las salidas del modelo y la pérdida para puntos de prueba pueden estimarse utilizando el NTK:

• Cambio en la Salida: $f^{lin}(x_t, \hat{\theta}_r^*) - f^{lin}(x_t, \hat{\theta}^*) \approx K(x_t, X) \Delta \alpha_r^*$
• Cambio en la Pérdida: Estimado a través del gradiente de la pérdida dual con respecto a $\Delta \alpha$.

Esta formulación permite el cálculo de la influencia para modelos con infinitos parámetros, siempre que el NTK admita una forma analítica.

Contribuciones Clave

1. Representación Dual: El artículo introduce una formulación dual de las funciones de influencia donde la complejidad computacional depende del tamaño del conjunto de datos ($|D|$) y la dimensión de salida ($d_{out}$) en lugar del número de parámetros del modelo ($d_\theta$).
2. Eficiencia para Modelos Grandes: El método proporciona una alternativa eficiente a las funciones de influencia originales cuando $d_\theta \gg d_{out}|D|$. Evita la necesidad de calcular HVPs con respecto al espacio de par masivo.
3. Aplicabilidad a Ancho Infinito: El marco extiende el análisis de influencia a redes neuronales de ancho infinito aprovechando el NTK analítico, permitiendo la estimación de cambios en parámetros y salidas en el límite de infinitos parámetros.
4. Atajo Computacional: Los autores identifican que en el espacio dual, el tamaño del sistema lineal disminuye a medida que aumenta el tamaño del conjunto de olvido ($|D_f|$), ofreciendo una ganancia de eficiencia contra-intuitiva para tareas de olvido a gran escala.

Resultados Experimentales

Los autores validan su método en versiones linealizadas de Redes Neuronales de Capas Completas (FCNN) y Redes Neuronales Convolucionales (CNN) entrenadas en subconjuntos de MNIST y CIFAR-10.

• Tiempo de Ejecución: El método en el espacio $\Delta \alpha$ supera consistentemente al método original en el espacio $\theta$ tanto en escenarios de "arranque en frío" (primera ejecución) como de "arranque en caliente" (ejecución repetida). La brecha de rendimiento se amplía a medida que aumenta el tamaño del modelo en relación con el conjunto de datos.
• Precisión: El rendimiento del olvido (medido por la distancia relativa $\ell_2$ entre los parámetros olvidados y reentrenados, y la precisión en el conjunto de olvido) es comparable al método original.
• Efecto de la Regularización ($\lambda$): Los experimentos en modelos no lineales muestran que valores más grandes de la constante de regularización $\lambda$ hacen que la dinámica de entrenamiento de modelos no lineales se asemeje más a sus linealizaciones. Esto mejora la fiabilidad de la representación dual para modelos no lineales, aunque con el costo de una menor precisión en la prueba.
• Redes de Ancho Infinito: El método estima con éxito los cambios en la salida y la pérdida para FCNN y CNN de ancho infinito, con estimaciones que coinciden estrechamente con los cambios reales calculados mediante Descenso de Gradiente de Kernel.

Significado y Afirmaciones

El artículo afirma que la representación dual ofrece una solución escalable para el olvido automático y el análisis de influencia en entornos donde el tamaño del modelo es prohibitivamente grande para los métodos tradicionales en el espacio de parámetros.

• Escalabilidad: Permite la estimación de influencia para modelos donde evaluar las funciones de influencia originales en el espacio de parámetros es inviable.
• Extensión Teórica: Proporciona un puente teórico para analizar la influencia en el límite de ancho infinito de las redes neuronales.
• Limitaciones: Los autores declaran explícitamente que el método se limita a modelos linealizables. Si bien una gran regularización ($\lambda$) puede aproximar modelos no lineales como linealizables, esto degrada el rendimiento del modelo. Además, el método requiere materializar u operar implícitamente sobre la matriz NTK, que escala con el producto del tamaño del conjunto de datos y la dimensión de salida, convirtiéndose potencialmente en un cuello de botella para conjuntos de datos muy grandes con muchas clases.

El trabajo no afirma resolver el problema del olvido para todos los modelos de aprendizaje profundo, sino que proporciona una herramienta especializada y eficiente para escenarios donde el conjunto de datos es pequeño en relación con la capacidad del modelo o donde el modelo puede tratarse efectivamente como lineal.