Resumen Técnico: Comprensión de la Memorización Verbatim en LLMs a través del Descubrimiento de Circuitos

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado capacidades notables, los mecanismos subyacentes de la memorización verbatim —la reproducción exacta de los datos de entrenamiento— siguen siendo poco comprendidos. La investigación de interpretabilidad existente ha identificado que la memorización se distribuye en las capas (las capas tempranas promueven tokens, las capas superiores amplifican la confianza) e involucra cabezales de atención específicos, pero carece de una explicación mecánica de cómo el modelo decide recuperar una secuencia memorizada frente a generar contenido novedoso. Además, los métodos estándar de descubrimiento de circuitos, que dependen de conjuntos de datos contrastivos (ejemplos limpios vs. corrompidos), se han visto restringidos en gran medida a tareas pequeñas y bien definidas (por ejemplo, Identificación de Objeto Indirecto) debido a la dificultad de construir tales conjuntos de datos para tareas de código abierto como la memorización.

Metodología

Los autores abordan este problema utilizando la interpretabilidad mecánica, específicamente el marco de circuitos, para aislar subgrafos computacionales mínimos responsables de la memorización.

1. Construcción del Conjunto de Datos

• Fuente: El estudio utiliza el subconjunto de Wikipedia de The Pile, procesado utilizando el modelo GPT-Neo-125M.
• Selección de Memorización: Las muestras fueron filtradas con un puntaje de memorización de exactamente 1.0 (coincidencia perfecta a nivel de token con la verdad fundamental), resultando en 4,047 muestras.
• Puntos de Divergencia: Los autores acortaron algorítmicamente las longitudes de contexto hasta que la generación del modelo divergió del camino memorizado (detectado mediante una caída del puntaje BLEU por debajo de 0.3). Estos puntos definen la transición de la memorización a la generación novedosa.
• Conjuntos de Datos Contrastivos: Se crearon dos conjuntos de datos distintos para aislar diferentes aspectos de la memorización:
  • Conjunto de Datos de Decisión de Memorización: Diseñado para identificar los componentes que activan la decisión inicial de recuperar contenido memorizado. Contrasta contextos "limpios" (un token antes de activar la memorización) con contextos "corruptos" (semánticamente similares pero que conducen a tokens no memorizados).
  • Conjunto de Datos de Comparación de Ramas: Diseñado para identificar los componentes responsables de mantener un camino memorizado una vez que se ha tomado la decisión. Contrasta contextos que continúan a lo largo del camino memorizado contra aquellos que divergen hacia el token no memorizado de mayor probabilidad del modelo.

2. Descubrimiento de Circuitos

• Técnica: El estudio emplea Atribución de Bordes con Parcheo de Gradientes Integrados (EAP-IG). Este método utiliza gradientes para aproximar los efectos del parcheo de activaciones, reduciendo el costo computacional de miles de pasadas hacia adelante a solo dos pasadas hacia adelante y una hacia atrás.
• Estrategias de Intervención:
  • Ruido (Corrupto $\to$ Limpio): Parchear activaciones de entradas corruptas en entradas limpias para identificar componentes que, al ser perturbados, rompen la memorización.
  • Eliminación de Ruido (Limpio $\to$ Corrupto): Parchear activaciones de entradas limpias en entradas corruptas para identificar componentes que restauran o inducen la memorización.
• Métrica de Fidelidad: Los circuitos se evalúan basándose en un puntaje de fidelidad normalizado, asegurando que el subgrafo realice $\ge$ 85% del rendimiento de la tarea del modelo completo.

Principales Contribuciones

1. Creación de Conjuntos de Datos: La construcción de dos conjuntos de datos contrastivos especializados que abordan la iniciación (Decisión) y la continuación (Comparación de Ramas) de la memorización.
2. Descubrimiento de Circuitos: La identificación de circuitos compactos (que contienen $\le$ 5% de los bordes del modelo) responsables de estas tareas específicas de memorización. Notablemente, el circuito de Comparación de Ramas resultó ser extremadamente minimalista (tan solo 14 bordes, o 0.04% del modelo).
3. Verificación Rigurosa: Un marco de evaluación multifacético que incluye comparaciones con líneas base aleatorias, generalización entre tareas, generalización entre corpus y pruebas contra métodos de parcheo alternativos (ablatión cero, ablatión de media).
4. Perspectivas Mecanísticas:
   • Asimetría en el Control: Los circuitos capaces de activar la memorización también pueden mantenerla una vez iniciada. Sin embargo, los circuitos que solo mantienen la memorización no pueden activar su iniciación.
   • Diferencias de Generalización: Los mecanismos que previenen la memorización (circuitos de disrupción) se transfieren robustamente a través de diferentes dominios de texto (GitHub, Enron Emails, Common Crawl). Por el contrario, los mecanismos que inducen la memorización son altamente dependientes del contexto y no generalizan bien entre dominios.

Resultados

• Tamaño del Circuito: La tarea de Comparación de Ramas produjo un circuito notablemente pequeño (14 bordes, 0.04% del modelo) con alta fidelidad (1.00). La tarea de Decisión de Memorización requirió circuitos más grandes (por ejemplo, 141 bordes, 0.43%) para niveles de fidelidad similares.
• Generalización entre Tareas:
  • Los circuitos de Decisión de Memorización controlaron con éxito si el modelo continuaba por caminos memorizados en la tarea de Comparación de Ramas (fidelidad 1.00).
  • Los circuitos de Comparación de Ramas funcionaron deficientemente cuando se aplicaron a la tarea de Decisión de Memorización, indicando que los mecanismos para continuar una secuencia memorizada son distintos de los que realizan la decisión inicial de memorizar.
• Generalización entre Corpus:
  • Prevención: Los circuitos de ruido (diseñados para romper la memorización) redujeron eficazmente la precisión de la memorización a través de diversos dominios (por ejemplo, reduciendo la precisión del 90.5% al 4.5% en Common Crawl).
  • Inducción: Los circuitos de eliminación de ruido (diseñados para inducir la memorización) mostraron una transferencia limitada. Aunque los puntajes de fidelidad se mantuvieron altos, la inducción real de la memorización en nuevos dominios fue débil (por ejemplo, aumentando la precisión del 5.2% a solo el 23.8% en Common Crawl).
• Robustez: Los circuitos identificados mostraron una alta dependencia de los pares limpio-corrupto específicos utilizados para el descubrimiento. Al probarse con métodos de parcheo alternativos (ablatión cero o de media), la fidelidad disminuyó significamente, sugiriendo que los circuitos dependen de activaciones contrafactuales específicas en lugar de propiedades estructurales generales.

Significado y Reivindicaciones

El artículo afirma proporcionar una comprensión mecánica de cómo los LLMs transitan entre la memorización y la generación. El significado principal reside en el descubrimiento de una asimetría en los circuitos de memorización:

• Activación vs. Mantenimiento: La capacidad de iniciar la memorización abarca la capacidad de mantenerla, pero lo inverso no es cierto. Esto sugiere una estructura de control jerárquica donde un circuito de "activación" específico decide acceder a la información almacenada, mientras que mecanismos separados manejan la continuación.
• Prevención vs. Inducción: El estudio sugiere que la prevención de la memorización es un mecanismo más generalizable a través de dominios de texto que la inducción de la memorización. Esto implica que las intervenciones de seguridad dirigidas a los mecanismos de "activación" podrían ser más efectivas y robustas que los intentos de inducir o suprimir la memorización de manera agnóstica al dominio.
• Contradicción con el Trabajo Previo: Los hallazgos contrastan con Stoehr et al. (2024), quienes encontraron que los pasajes memorizados son difíciles de corromper. Los autores hipotetizan que esta diferencia surge porque ellos apuntan a rutas computacionales específicas (circuitos) en lugar de pesos implicados por el gradiente. Proponen un modelo donde un circuito de "activación" es fácilmente perturbable, mientras que el almacenamiento subyacente de la información permanece robusto.

Los autores mantienen la modestia, señalando limitaciones como la dependencia de un único modelo pequeño (GPT-Neo-125M), el uso de métodos de aproximación (EAP-IG) en lugar de parcheo directo, y la potencial especificidad de sus hallazgos para el subconjunto de Wikipedia de The Pile. Concluyen que, si bien estos circuitos ofrecen una ventana a la memorización, se requiere una validación adicional a través de diferentes tamaños de modelos y arquitecturas.