Resumen Técnico: Edición del Vector de Salida para la Mitigación de la Memorización en Grandes Modelos de Lenguaje

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) memorizan y reproducen secuencias de sus datos de entrenamiento, lo que genera riesgos significativos de privacidad, derechos de autor y seguridad. Las estrategias de mitigación existentes enfrentan limitaciones: la prevención durante el entrenamiento requiere un reentrenamiento completo; el desaprendizaje (unlearning) post-hoc a menudo deja intactas las codificaciones subyacentes, permitiendo su recuperación mediante el reaprendizaje benigno; y el filtrado a nivel de decodificador añade una sobrecarga de inferencia sin modificar los pesos.

Dentro del paradigma de "localizar-luego-editar", el trabajo previo sobre memorización se ha limitado mayoritariamente a reducir la fase de "edición" a la anulación de las activaciones de las neuronas identificadas. Los autores argumentan que esto es innecesariamente destructivo. Debido a que las neuronas participan en la representación de múltiples características mediante superposición, anular una activación colapsa toda la información que la neurona codifica, no solo el contenido memorizado. Además, los métodos existentes suelen depender de plantillas estructuradas (por ejemplo, <sujeto, relación, objeto>) que no existen en la memorización de secuencias de texto libre.

2. Metodología: Edición del Vector de Salida

El artículo propone la Edición del Vector de Salida, una edición de pesos mediante optimización restringida que modifica los vectores de salida de las neuronas MLP responsables de una continuación memorizada, en lugar de anular sus activaciones.

Mecanismo Central

La salida de una capa MLP es una suma de las contribuciones por neurona: $MLP(x) = \sum a_i \cdot v_i$, donde $a_i$ es la activación escalar y $v_i$ es el vector de salida.

• Activación vs. Vector: La activación $a_i$ controla si una neurona se activa, mientras que el vector de salida $v_i$ determina qué se escribe en el flujo residual (residual stream).
• La Edición: En lugar de establecer $a_i = 0$, el método mantiene $a_i > 0$ pero modifica $v_i$ para obtener $v'_i$. Esto se logra mediante una actualización de rango uno a lo largo de la dirección de unembedding de un token "distractor" $s$.
• Optimización: La edición minimiza la distancia entre el vector original y el nuevo, proyectando el nuevo vector sobre la dirección del logit del token distractor hacia un valor objetivo $\Delta_i$. La solución de forma cerrada es:
  $$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$$
  donde $u_s$ es el vector de unembedding para el token $s$. Esto no requiere computación de gradientes y se aplica directamente a los pesos.

Pasos del Pipeline

1. Minería de Secuencias Memorizadas: Utilizando la predicción con teacher forcing en el corpus de preentrenamiento, los autores identifican secuencias donde la salida del modelo coincide con la verdad de campo (BLEU > 0.5).
2. Localización de Dos Pasos:
   • Selección de Capa: Identifica las 5 capas MLP superiores donde el token objetivo recibe el impulso de logit más fuerte (usando el "logit lens").
   • Selección de Neurona: Dentro de las capas seleccionadas, puntúa las neuronas basándose en la proximidad L1 al flujo residual y filtra aquellas que promueven o suprimen directamente el token objetivo (clasificándolo en los 50 superiores o inferiores del vocabulario).
3. Modos de Edición: El método define cuatro modos basados en el token distractor $s$:
   • EOS: Redirige al token de fin de secuencia (terminación agresiva).
   • Redact (Redactar): Redirige a un marcador de redacción (****).
   • Next-best (Siguiente mejor): Redirige al segundo token clasificado del modelo (alternativa plausible).
   • Suppress (Suprimir): Atenúa directamente el logit del token objetivo sin inyectar un distractor.

3. Contribuciones Clave

1. Desacoplamiento de Activación y Salida: El artículo demuestra que las activaciones y los vectores de salida desempeñan roles separables en las neuronas MLP. Modificar el vector de salida para introducir un distractor es una intervención distinta y menos destructiva que anular las activaciones.
2. Edición de Salida de Rango Uno: Adaptación del mecanismo de actualización de rango uno (utilizado previamente para la edición de hechos como ROME) para la redirección de la salida por neurona para la mitigación de la memorización.
3. Evaluación Exhaustiva: Evaluación a través de cuatro modelos (SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B) y cuatro modos de edición, comparando contra la anulación por cero, neuronas aleatorias y líneas de base de direccionamiento de activación (activation steering).
4. Límites Mecanicistas: Identificación de un "límite duro" de aproximadamente un 14% donde la edición solo de MLP falla, lo que sugiere un papel complementario de los mecanismos de atención en estos casos específicos.

4. Resultados

Evaluado principalmente en OLMo-7B (6,831 secuencias memorizadas):

• Superioridad sobre la Anulación por Cero: Con una localización emparejada ($k=5$), EOS logró una supresión del 85.7% en comparación con el 31.3% de la anulación por cero en las mismas neuronas. Esta brecha de 2.7x confirma que el éxito proviene de la edición del vector de salida, no solo de la localización.
• Compromiso entre Éxito y Localidad:
  • Agresivo (EOS, k=10): 87.9% de supresión, pero incurre en un "riesgo de cola" de fallos catastróficos de localidad (picos de perplejidad > 100) en ~1.8% de las ediciones.
  • Práctico (Next-best, k=5): 81.5% de supresión con cero ediciones catastróficas y un cambio mínimo en la mediana de la perplejidad (+0.13). Este se identifica como el punto de operación óptimo.
  • Conservador (Redact, k=5): 31.7% de supresión con daño de localidad casi nulo.
• Complementariedad de Modos: Los cuatro modos no son redundantes. Un ensamble de todos los modos cubre el 96.5% de las secuencias memorizadas. El modo "Next-best" suprime de forma única 161 secuencias que ningún otro modo alcanza.
• Generalización entre Modelos: El éxito escala con el tamaño del modelo más que con la familia de arquitectura. Los modelos más pequeños (360M) muestran tasas de éxito más bajas (34.9%) debido principalmente a mayores tasas de salto en el filtro de localización.
• Comparación con el Direccionamiento de Activación: El método propuesto logra tasas de éxito comparables al direccionamiento de activación (73.3%) pero con una localidad significativamente mejor (mediana $\Delta$PPL +0.13 vs. +0.90) y un direccionamiento por secuencia.

Limitaciones y Fallos

• Límite de MLP: Aproximadamente el 14% de las secuencias resisten todas las configuraciones basadas en MLP. El análisis sugiere que estas no son principalmente impulsadas por la atención, sino que la ablación de los principales cabezales de atención recupera el 60–64% de estos fallos, posicionando a la atención como un respaldo complementario.
• Riesgo Acumulativo: Aunque las ediciones individuales son seguras, la edición masiva sin restauración de pesos conduce a un colapso catastrófico (por ejemplo, el modo EOS colapsa tras 10 ediciones acumuladas).

5. Significación y Reivindicaciones

El artículo afirma proporcionar una intervención mecánicamente fundamentada a nivel de pesos que mitiga la memorización sin los efectos secundarios destructivos de la anulación de neuronas o la sobrecarga de tiempo de ejecución del filtrado.

• Precisión: Al editar el vector de salida en lugar de la activación, el método redirige quirúrgicamente las continuaciones memorizadas específicas mientras preserva las otras características codificadas de la neurona.
• Practicidad: El modo "Next-best" ofrece una configuración de alto éxito y bajo riesgo adecuada para el despliegue práctico, evitando los valores atípicos catastróficos observados en los modos agresivos.
• Escalabilidad: El método se transfiere a través de familias de modelos y escalas, con tasas de éxito que se correlacionan con el tamaño del modelo.
• Remedio vs. Defensa: Los autores posicionan esto como un remedio para memorizaciones conocidas (que requiere acceso al corpus de preentrenamiento para minar secuencias) en lugar de una defensa en tiempo de ejecución contra la extracción adversaria. Reconocen que la edición redirige las contribuciones en lugar de eliminar las representaciones subyacentes, lo que significa que el contenido suprimido podría potencialmente recuperarse mediante el reaprendizaje benigno.

El trabajo establece que la mitigación efectiva de la memorización requiere ir más allá de la simple supresión de la activación hacia la manipulación precisa de las contribuciones del flujo residual mediante la edición del vector de salida.