Resumen Técnico: Alineación de Geometría de Sonda para la Eliminación de Firmas de Memorización

1. Declaración del Problema

Los marcos actuales de desaprendizaje automático para Modelos de Lenguaje Grandes (LLM) adolecen de una brecha crítica de medición: evalúan el desaprendizaje conductual (si el modelo deja de generar contenido objetivo) pero no logran evaluar el desaprendizaje representacional (si el modelo deja de codificar ese contenido internamente). Estudios recientes indican que la supresión conductual a menudo deja rastros internos recuperables mediante sondas adversarias. Este artículo argumenta que suprimir la generación es insuficiente para la privacidad o la seguridad, ya que las firmas subyacentes de memorización pueden persistir en el flujo residual del modelo, siendo potencialmente explotables por adversarios.

El desafío central es doble:

1. Detección: Las sondas existentes a menudo no logran distinguir entre firmas genuinas de memorización cruzada de secuencias y artefactos superficiales a nivel de cadena o cambios a nivel de modelo.
2. Borrado: Las intervenciones quirúrgicas que suprimen con éxito el recuerdo conductual (por ejemplo, desaprendizaje a nivel de cabeza) a menudo no logran borrar la firma representacional subyacente, la cual permanece linealmente separable y detectable.

2. Metodología

2.1 Protocolo de Sondeo Leave-One-Out (LOO) Cruzado de Secuencias

Para detectar rigurosamente la memorización, los autores introducen un protocolo de sondeo LOO cruzado de secuencias. A diferencia de las sondas de secuencia única que pueden sobreajustarse a identidades de tokens específicas, este protocolo prueba una firma generalizable de memorización:

• Procedimiento: Una sonda lineal se entrena con pares de activaciones (memorizadas vs. control) de un conjunto de secuencias, dejando fuera una secuencia memorizada. Luego, la sonda se prueba en la secuencia retenida.
• Significado: Si la sonda clasifica la secuencia retenida como memorizada, ha aprendido una característica del proceso de memorización en sí mismo en lugar de solo ejemplos de entrenamiento específicos.
• Controles: El protocolo incluye una línea base de "pura distinguibilidad" (entrenada en secuencias no memorizadas con estructura léxica coincidente) y un nulo de "etiquetas mezcladas" para aislar la brecha específica de memorización.

2.2 Análisis de Separabilidad Causal

El artículo investiga si la dirección identificada por la sonda es causalmente responsable del recuerdo. Utilizando rastreo causal y ganchos forward en Pythia-70M, los autores proyectan la dirección de la sonda ajustada fuera del flujo residual.

• Hallazgo: Esta intervención colapsa la firma local de memorización (la brecha cae de +0.44 a -0.19) mientras deja el recuerdo conductual (probabilidad logarítmica del secreto) y las capacidades generales mayormente intactas. Esto demuestra que la firma legible por la sonda y el mecanismo que produce el recuerdo ocupan direcciones causalmente separables.

2.3 Alineación de Geometría de Sonda (PGA)

Para abordar el fracaso de los métodos de desaprendizaje existentes (que suprimen la salida pero dejan las representaciones intactas), los autores proponen la Alineación de Geometría de Sonda (PGA).

• Mecanismo: La PGA es una técnica de borrado quirúrgico que alinea las activaciones específicamente a lo largo de la dirección de lectura activa de la sonda en cada profundidad.
• Objetivo: Minimiza la proyección escalar de la diferencia entre las activaciones memorizadas y limpias sobre el vector de pesos de la sonda ($\hat{w}_d$) en cada profundidad $d$, mientras preserva la entropía cruzada en datos limpios para mantener la capacidad.
• Restricción: A diferencia de los métodos de alineación isotrópica (por ejemplo, AAE) que actúan sobre todas las dimensiones $d_{model}$, la PGA actúa sobre un único escalar por profundidad (la proyección a lo largo de la dirección de lectura de la sonda).
• Extensión Adversaria: Para derrotar a los atacantes que reajustan sondas sobre activaciones tratadas con PGA, los autores introducen la PGA Adversaria, que aumenta iterativamente la base de proyección con componentes ortogonales de sondas recién ajustadas.

3. Contribuciones Clave

1. Protocolo LOO Cruzado de Secuencias: Un método validado para detectar firmas genuinas de memorización que se generalizan a través de secuencias retenidas, distinguiéndolas de cambios a nivel de modelo o deriva representacional.
2. Separabilidad Causal: Evidencia empírica de que la dirección lineal legible por una sonda es distinta de la dirección requerida para el recuerdo conductual. Proyectar fuera la dirección de la sonda colapsa la firma sin impactar significativamente el recuerdo.
3. Regímenes de Memorización Distintos: Demostración de que la memorización preentrenada natural y los secretos inyectados durante el ajuste fino dejan rastros representacionalmente distintos. Una sonda entrenada en memorización natural falla al clasificar secretos inyectados como memorizados.
4. Alineación de Geometría de Sonda (PGA): Un método constructivo de borrado quirúrgico que reduce la precisión de la sonda cruzada de secuencias por debajo del azar en cuatro escalas de modelos (de 0.8M juguete a 7.24B Mistral-7B) mientras preserva las capacidades de cero disparos.

4. Resultados Clave

4.1 Existencia de la Firma

La firma de memorización cruzada de secuencias es real y consistente a través de las escalas:

• Pythia-70M: Brecha específica de memorización de +0.32 (pico +0.54 en L6).
• GPT-2 Medium: Brecha de +0.19 (pico +0.45 en L21).
• Mistral-7B: Brecha de +0.30 (pico +0.47 en L11).
• Especificidad de Cluster: La firma es fuerte para el inglés de registro formal y licencias, pero casi nula para código y pseudo-latín.

4.2 Fracaso del Desaprendizaje Estándar

Los métodos estándar de desaprendizaje (Ascenso de Gradiente, NPO, RMU, MEMIT y el propio MLDU de los autores) suprimen con éxito el recuerdo conductual (por ejemplo, $P(secret) < 10^{-4}$) pero no logran colapsar la sonda. En modelos de juguete y a escala, estos métodos dejan la precisión de la sonda lineal en el techo (1.000) o cerca del techo, confirmando que la supresión conductual no equivale al borrado representacional.

4.3 Éxito de la PGA

La PGA colapsa con éxito la firma por debajo del azar (<0.50) en todas las escalas probadas:

• Modelo de Juguete (0.8M): La sonda cae a 0.17 en la profundidad 4.
• Pythia-70M: La sonda cae a 0.11 ± 0.04 en L6.
• Mistral-7B: La sonda cae a 0.42 en capas medias.
• GPT-2 Medium: Usando MD-PGA (variante de base propia), la sonda cae a 0.061 en L21.
• Robustez: El colapso se mantiene frente a seis variantes de sondas adversarias (diferentes semillas, regularizaciones y MLP). La PGA adversaria derrota a las sondas de atacantes reajustadas en todas las profundidades relevantes para la memorización.

4.4 Preservación de Capacidades

La PGA preserva las capacidades del modelo con degradación negligible:

• En cinco benchmarks de cero disparos (HellaSwag, PIQA, BoolQ, ARC-Easy, WinoGrande), la media $\Delta$precisión es +0.2pp.
• La regresión de tarea única máxima es 2.9pp (en BoolQ para la variante adversaria).
• La perplejidad (PPL) permanece estable (por ejemplo, 1.40 $\to$ 1.42 en el modelo de juguete).

5. Significado y Afirmaciones

El artículo afirma que suprimir lo que dice un modelo no es lo mismo que borrar lo que representa. La firma cruzada de secuencias es una propiedad real, causalmente separable y específica del régimen de las representaciones preentrenadas.

• Auditoría: La sonda cruzada de secuencias permite la verificación representacional post-desaprendizaje, permitiendo a terceros auditar si un modelo realmente olvida o simplemente suprime la salida.
• Borrado Constructivo: La PGA proporciona un método concreto para eliminar estas firmas quirúrgicamente (un escalar por profundidad) sin reentrenar desde cero ni sacrificar capacidades generales.
• Insight Mecanístico: El trabajo sugiere una descomposición de la memorización en transformadores donde la información se codifica en el flujo residual (almacenamiento) y se enruta a la salida a través de cabezas de atención (expresión). Los métodos de desaprendizaje que solo interrumpen el enrutamiento no logran borrar el almacenamiento.

Los autores posicionan este trabajo no como una solución cerrada para todos los escenarios de desaprendizaje, sino como un paso inicial hacia la privacidad empíricamente auditable en el desaprendizaje post-hoc, reencuadrando el campo de un pase/fracaso conductual binario a una tubería de auditoría constructiva.