Resumen Técnico: Autoencoders Dispersos Persistentes

1. Planteamiento del Problema

Los Autoencoders Dispersos (SAE) estándar se han convertido en una herramienta líder para interpretar Modelos de Lenguaje de Gran Escala (LLMs) al descomponer los estados ocultos densos en características dispersas e interpretables por humanos. Sin embargo, los SAE estándar operan bajo una formulación atemporal: codifican el estado oculto de cada token de forma independiente. Aunque los estados ocultos de los LLMs integran intrínsecamente el contexto precedente, los SAE estándar no logran representar explícitamente la información que persiste a través de una secuencia.

Esta limitación oscurece el "estado semántico" del modelo: el contexto de nivel de tópico, el estilo o el estado de la tarea mantenidos a través de los tokens. Las extensiones temporales existentes de los SAE intentan abordar esto asignando subconjuntos específicos de características para portar información temporal o utilizando particiones fijas. Estos enfoques carecen de evidencia de que tales roles temporales puedan emerger directamente de los datos y de los objetivos de reconstrucción. Además, sigue sin estar claro si las características de los SAE estándar heredan implícitamente la persistencia temporal de los estados ocultos que reconstruyen y, de ser así, cómo modelarlo explícitamente.

2. Metodología: Autoencoders Dispersos Persistentes

Los autores introducen los Autoencoders Dispersos Persistentes (Persistent SAEs), un marco que extiende los SAE estándar mediante el aprendizaje de un coeficiente de persistencia ($\lambda_j$) para cada característica $j$.

Mecanismo Central

El modelo separa la evidencia dispersa (activación específica del token) de un estado persistente:

1. Generación de Evidencia: Un codificador produce activaciones dispersas no negativas específicas del token $a_t \in \mathbb{R}^m_{\ge 0}$, que representan nueva evidencia para cada característica en el token $t$.
2. Integración de Estado: Cada característica mantiene una variable de estado con decaimiento $h_t \in \mathbb{R}^m_{\ge 0}$. El estado se actualiza recursivamente:
   $$h^{(j)}_t = \lambda_j h^{(j)}_{t-1} + (1 - \lambda_j) a^{(j)}_t$$
   • $\lambda_j$ (Coeficiente de Persistencia): Aprendido durante la reconstrucción.
     • $\lambda_j$ Bajo (Características Rápidas): El estado decae rápidamente, comportándose como detectores específicos de tokens estándar.
     • $\lambda_j$ Alto (Características Lentas): El estado retiene la evidencia durante muchos tokens, integrando actualizaciones dispersas para rastrear el contexto semántico.
   • El factor $(1-\lambda_j)$ evita la acumulación ilimitada, manteniendo estables las magnitudes del estado.
3. Reconstrucción: El decodificador reconstruye el estado oculto $x_t$ únicamente a partir del estado persistente $h_t$:
   $$\hat{x}_t = W_{dec} h_t + b_{dec}$$
   La recurrencia es diagonal, lo que asegura que se preserve la atribución a nivel de característica.

Objetivo de Entrenamiento

El modelo se entrena para minimizar el error de reconstrucción entre el estado oculto del LLM y la salida del SAE. El objetivo incentiva naturalmente a las características a aprender las escalas de tiempo apropiadas: si portar el estado de una característica hacia adelante mejora la reconstrucción de futuros tokens, la optimización favorece un $\lambda_j$ más alto; de lo contrario, favorece un $\lambda_j$ más bajo. No se utilizan particiones de características predefinidas ni objetivos temporales externos.

3. Contribuciones Clave

1. Arquitectura Novedosa: Introducción de los SAE Persistentes, que aprenden coeficientes de persistencia específicos de cada característica únicamente mediante la reconstrucción, separando la evidencia local de los estados semánticos persistentes sin particiones predefinidas.
2. Validación Empírica de la Persistencia: Demostración de que las características de los SAE estándar heredan implícitamente la estructura temporal de los estados ocultos (las señales persisten más tiempo en documentos naturales que en controles aleatorios), lo que motiva el modelado explícito de las escalas de tiempo.
3. Desentrelazamiento de Escalas de Tiempo: Demostración de que los SAE Persistentes organizan naturalmente las características en un espectro:
   • Características rápidas: Detectores localmente interpretables para detalles específicos de tokens.
   • Características lentas: Un subconjunto compacto que integra evidencia para rastrear estados semánticos de nivel de tópico.
4. Aplicación al Monitoreo: Un estudio de caso que demuestra que las características lentas preservan las señales de detección de inyecciones de prompt sobre contextos largos donde las características específicas de tokens fallan, y que estas características siguen siendo causalmente efectivas para dirigir los juicios del modelo.

4. Resultados Experimentales

Calidad de Reconstrucción y Propiedades de las Características

• Calidad Competitiva: Los SAE Persistentes logran una calidad de reconstrucción (FVE y Similitud de Coseno) comparable a los fuertes baselines específicos de token (BatchTopK, Matryoshka) en Pythia-160M y Gemma-2-2B.
• Distribución de Escalas de Tiempo: Los valores de $\lambda_j$ aprendidos abarcan un amplio rango. La mayoría de las características son rápidas (bajo $\lambda$), con una pequeña cola de características altamente persistentes (alto $\lambda$).
• Interpretabilidad:
  • Las características rápidas siguen siendo localmente interpretables, respondiendo a patrones léxicos u ortográficos compactos (por ejemplo, subcadenas específicas).
  • Las características lentas son más difíciles de interpretar de forma aislada, pero forman cúmulos coherentes cuando se ven conjuntamente.
• Agrupamiento Semántico: En tareas de sondeo de sujetos MMLU, las características lentas (el top 1% por $\lambda$) forman cúmulos específicos de sujetos en visualizaciones t-SNE, superando a los estados ocultos brutos y a los SAE baselines.
• Selección No Supervisada: Clasificar las características por $\lambda_j$ decreciente permite la selección de un estado semántico compacto que logra un AUC de sondeo de sujeto casi tan alto como un oráculo supervisado, sin utilizar etiquetas de sujeto.

Estudio de Caso: Monitoreo de Inyección de Prompts

Los autores evaluaron la capacidad de las características para detectar y retener señales de inyecciones de prompts indirectos (instrucciones maliciosas embebidas en texto benigno) sobre contextos largos (hasta 350 tokens después de la inyección).

• Detección Local: Las características rápidas y los SAE estándar detectan eficazmente las inyecciones en el momento en que aparecen (alta precisión a distancia $d=0$).
• Retención en Contextos Largos: A medida que el contexto se extiende más allá del span de la inyección, las características rápidas pierden poder predictivo. Por el contrario, las características lentas retienen la señal de la inyección, manteniendo una alta precisión a $d=350$.
• Efectividad Causal: Los experimentos de intervención mostraron que dirigir el modelo usando las direcciones de las características lentas desplaza consistentemente el juicio del monitor hacia la señalización de la inyección, incluso mucho después de que el texto de la inyección haya pasado. Las características rápidas mostraron efectos causales cercanos a cero o negativos a esas distancias.

5. Significado y Reivindicaciones

El artículo afirma que los SAE Persistentes ofrecen un nuevo mecanismo para interpretar y monitorear los LLMs al modelar explícitamente las escalas de tiempo de las características.

• Representación del Estado Semántico: El trabajo sugiere que los LLMs mantienen un "estado semántico compacto" a través de los tokens, que puede ser extraído y rastreado por las características lentas de los SAE sin supervisión.
• Características de Doble Rol: Establece una separación funcional donde las características rápidas actúan como detectores locales y las características lentas como rastreadores semánticos persistentes.
• Utilidad de Monitoreo: La capacidad de las características lentas para preservar señales causales en contextos largos sugiere que son una herramienta prometedora para el monitoreo de seguridad, particularmente para detectar efectos retardados de inyecciones de prompts o para dirigir el comportamiento del modelo en tareas de largo horizonte.

Limitaciones Reconocidas:
Los autores señalan que la recurrencia diagonal actual asume un coeficiente de persistencia único y fijo por característica y no puede modelar interacciones entre características o reinicios explícitos. Además, el estudio de inyección de prompts utiliza un monitor externo; si bien las intervenciones afectan el juicio del monitor, el artículo no afirma haber establecido que estas intervenciones afecten las acciones del agente modelo original.