Resumen Técnico: Estado Aprendido Revocable mediante Sidecars de Proceso

Declaración del Problema

Los modelos de lenguaje extensos (LLM) desplegados suelen someterse a un flujo de entrenamiento de múltiples etapas: un modelo base se adapta para adquirir habilidades públicas, luego se ajusta con hechos privados o propietarios (la "fase de memoria") y, finalmente, se somete a un entrenamiento de seguridad (la "fase de seguridad") para aprender comportamientos de rechazo respecto a esas entidades específicas. Surge un desafío crítico cuando la memoria privada debe ser revocada (por ejemplo, para cumplimiento de privacidad) después de que se ha aplicado la fase de seguridad.

El objetivo es producir un "oráculo contrafáctico" ($\theta_{AS}$): un modelo que haya pasado exactamente por el mismo entrenamiento de seguridad que el artefacto desplegado ($\theta_{AMS}$), pero que nunca haya aprendido la memoria privada en primer lugar. La edición de espacio de pesos estándar, específicamente la aritmética de tareas (restar el delta de memoria $\Delta M = \theta_{AM} - \theta_A$ de $\theta_{AMS}$), falla en este escenario. Esto se debe a que el optimizador de seguridad actúa como un mapa no lineal $T$ que "transporta" la dirección de la memoria. La dirección presente en el modelo final es $DT(\theta_A)\Delta M$, no simplemente $\Delta M$. La aritmética de tareas ingenua asume implícitamente que el Jacobiano $DT(\theta_A)$ es la identidad, ignorando cómo el entrenamiento de seguridad curva la dirección de la memoria.

Metodología: Sidecars de Proceso

El artículo introduce los sidecars de proceso, una familia de edición de dos coeficientes diseñada para estimar y cancelar la dirección de memoria transportada. La edición se define como:
$$\hat{\theta}(\lambda, \gamma) = \theta_{AMS} - \lambda \Delta M - \gamma \hat{R}_{S \leftarrow M}$$
donde $\hat{R}_{S \leftarrow M}$ es una estimación de la dirección de transporte residual.

Estimación de la Dirección Transportada

El método estima el producto Jacobiano-vector (JVP) $J_S(\Delta M) = DT(\theta_A)\Delta M$ utilizando una secante centrada a través del proceso de entrenamiento de seguridad realizado en el futuro. En lugar de calcular el Jacobiano exacto de toda la traza de optimización de AdamW, el método calcula:
$$\hat{J}_{S,\epsilon}(\Delta M) = \frac{T(\theta_A + \epsilon \Delta M) - T(\theta_A - \epsilon \Delta M)}{2\epsilon}$$
La implementación establece $\epsilon = 1$, que corresponde a la escala natural de la edición de memoria. Dado que $T(\theta_A + \Delta M) = \theta_{AMS}$ es el artefacto enviado, el método solo requiere calcular una traza de seguridad adicional en $\theta_A - \Delta M$. El sidecar residual es entonces $\hat{R}_{S \leftarrow M} = \hat{J}_{S,\epsilon}(\Delta M) - \Delta M$.

La Familia Bidimensional

La familia de edición busca sobre dos coeficientes:

1. $\lambda$: Controla la resta del delta de memoria bruto.
2. $\gamma$: Controla la resta del estimado de la dirección de transporte residual.

Esta familia abarca:

• Aritmética de Tareas Ingenua: $\gamma = 0$.
• Línea Process-JVP: $\gamma = \lambda$ (restando la dirección transportada completa).
• Familia 2D Completa: Permite que $\gamma$ varíe independientemente, permitiendo correcciones fuera de la diagonal que dan cuenta de los efectos de curvatura finita en el paisaje de validación.

Un selector desplegable elige $(\lambda, \gamma)$ de una cuadrícula almacenada en caché basada en métricas de validación (AUC del secreto, retención de habilidades y margen de rechazo) sin acceder al oráculo contrafáctico o a los datos de prueba.

Contribuciones Clave

1. Prueba Teórica de Necesidad de Primer Orden

El artículo demuestra que siempre que el entrenamiento de seguridad curva la dirección de la memoria (es decir, $DT(\theta_A)\Delta M \neq \Delta M$), cualquier edición escalar restringida a la línea de memoria bruta deja un error contrafáctico de primer orden.

• Teorema 2: Muestra que la edición exacta del sidecar en $(\lambda, \gamma) = (1, 1)$ recupera el oráculo contrafáctico $\theta_{AS}$ hasta un error de segundo orden ($O(\|\Delta M\|^2)$), tratando a AdamW como un mapa de estado aumentado sobre parámetros y momentos.
• Teorema 3: Demuestra que para cualquier edición de aritmética de tareas escalar, el error está limitado inferiormente por la componente de la dirección transportada ortogonal a la línea de la memoria bruta. El sidecar de proceso suministra precisamente esta componente faltante.

2. Ventaja de Segundo Orden de la Familia 2D

El artículo demuestra que la familia 2D completa ofrece ventajas sobre la línea Process-JVP ($\gamma = \lambda$) en el segundo orden.

• Teorema 4: Establece una frontera cuadrática local. Si el objetivo de validación tiene propiedades de curvatura específicas (anisotropía de la Hessiana y proyecciones fuera de la diagonal), la familia 2D puede encontrar una corrección fuera de la diagonal ($\zeta = \lambda - \gamma \neq 0$) que mejora estrictamente la línea Process-JVP de 1D. Esta ventaja es impulsada por la selección de validación de curvatura finita, no solo por la cancelación de primer orden.

3. Crítica del Ascenso de Gradiente para Desaprendizaje

El artículo identifica un modo de falla local para el desaprendizaje por ascenso de gradiente (FT-unlearn).

• Proposición 5: Una vez que el entrenamiento de seguridad reduce el gradiente de seguridad de primer orden, las direcciones de ascenso de memoria con curvatura de seguridad positiva causan que la pérdida de seguridad aumente a segundo orden. Esto explica por qué FT-unlearn a menudo colapsa el comportamiento de rechazo mientras intenta olvidar.

Resultados Experimentales

El método fue evaluado en tres escalas de modelos (Qwen-2.5-0.5B, Qwen-2.5-1.5B, Llama-3.2-1B) y una escala de 9B con 20 ensayos independientes por escala.

• Preservación del Rechazo: El sidecar de proceso 2D seleccionado por validación mejoró el cierre de rechazo (recuperación del margen de rechazo del oráculo de solo seguridad) sobre la aritmética de tareas ingenua en 60/60 ensayos.
• Olvido del Secreto: Ambos métodos lograron un AUC del secreto comparable (distinguibilidad cercana al azar), lo que indica que la mejora en el rechazo no se obtuvo sacrificando el olvido.
• 2D vs. 1D: La familia 2D completa superó a la línea Process-JVP emparejada (corte diagonal $\gamma = \lambda$) en 60/60 ensayos pareados.
• Significancia Estadística: Agregando por clústeres de modelo-semilla de datos, se obtuvieron 15 medias de bloque positivas con una prueba de signo exacta $p = 2^{-15} \approx 3.05 \times 10^{-5}$. Una replicación confirmatoria fresca en semillas no vistas (70 ensayos en total) reprodujo el efecto con $p \approx 9.5 \times 10^{-7}$.
• Desempeño de la Línea Base: El desaprendizaje por ascenso de gradiente (FT-unlearn) resultó en un cierre de rechazo negativo (ej., -15 a -55), indicando un colapso completo de la política de seguridad. Los baselines de fusión de modelos (TIES, DARE) fallaron en recuperar la dirección transportada, heredando la incompletitud de primer orden de la aritmética de tareas ingenua.

Significado y Reclamaciones

El artículo afirma que los sidecars de proceso son la familia de edición geométricamente correcta para revocar la memoria aprendida bajo un entrenamiento de seguridad subsecuente.

• Corrección de Primer Orden: Son necesarios para cancelar la dirección de memoria transportada, una tarea que la aritmética de tareas escalar no puede realizar.
• Precisión de Segundo Orden: El sidecar ideal recupera el oráculo contrafáctico hasta un error de segundo orden.
• Robustez Empírica: La familia 2D proporciona ganancias prácticas sobre las líneas de 1D al aprovechar la geometría de validación de curvatura finita, superando consistentemente a los baselines de aritmética de tareas ingenua y Process-JVP en diversas escalas de modelos y arquitecturas.
• Viabilidad de Despliegue: El método opera como una edición in-situ utilizando solo el artefacto enviado, el delta de memoria y una traza de seguridad adicional, sin requerir reentrenamiento ni acceso al oráculo contrafáctico.

Los autores enfatizan que el coeficiente fuera de la diagonal ($\zeta$) es una cantidad local del ensayo determinada por la geometría de validación, no una ley de escala universal, y que el éxito del método depende de la "traza realizada" específica del proceso de entrenamiento de seguridad.