Measuring Semantic Abstractness of SAE Features via Nonlocality

Resumen Técnico: Medición de la Abstracción Semántica de las Características de los SAE mediante la No Localidad

Planteamiento del Problema
Los Autoencoders Dispersos (SAE, por sus siglas en inglés) se han convertido en una herramienta primordial para descubrir explicaciones mecanísticas de los comportamientos de los Grandes Modelos de Lenguaje (LLM), como el razonamiento y el jailbreaking, al aislar características causalmente efectivas. Sin embargo, persiste una brecha crítica para distinguir entre características semánticas genuinamente de alto nivel y características de nivel superficial impulsadas por tokens (por ejemplo, claves léxicas específicas o patrones de formato). Los métodos actuales de selección de características —que dependen de filtrado por palabras clave, conjuntos de datos contrastivos o auto-interpretaciones generadas por LLM— a menudo no logran resolver el nivel de abstracción de una característica. En consecuencia, el éxito del control conductual mediante intervención no implica necesariamente un entendimiento mecanístico de la computación subyacente; una característica podría simplemente aumentar la probabilidad de emitir un token específico (por ejemplo, "Wait") en lugar de representar un concepto complejo como la "incertidumbre". Existe la necesidad de una métrica independiente de LLM y libre de etiquetas para cuantificar la "complejidad mecanística" o la abstracción semántica de las características de los SAE.

Metodología: No Localidad de la Característica (FNL)
Los autores introducen la No Localidad de la Característica (FNL) como un testigo cuantitativo del alcance contextual de una característica. Inspirados en la dualidad holográfica, el FNL trata la secuencia de tokens del transformador como una "evolución temporal" y mide la "ubicación" de la activación de una característica en este espacio temporal.

La métrica se define de la siguiente manera:

1. Influencia por Posición: Para una característica SAE $a$ activada en la posición del último token $T$ de un prompt $P$, los autores computan la norma del cuadrado del gradiente de la activación de la característica con respecto al embedding de entrada en cada posición precedente $t$ ($1 \le t \le T$). Esto mide cuánto depende la activación de la característica de tokens de entrada específicos.
   $$J_a(t, T, P) := \left\| \frac{\partial z_a(T, P)}{\partial x_t} \right\|_2^2$$
2. Distribución de Probabilidad: Estas puntuaciones de influencia se normalizan para formar una distribución de probabilidad $p_a^{(P)}(t)$ sobre las posiciones del prefijo.
3. Cálculo de la Entropía: La no localidad $H(a, P)$ se define como la entropía de Shannon de esta distribución.
   $$H(a, P) := -\sum_{t=1}^T p_a^{(P)}(t) \log_2 p_a^{(P)}(t)$$
4. Agregación: Se obtiene una puntuación FNL a nivel de conjunto de datos $H(a, D)$ promediando la entropía sobre un conjunto de eventos de activación.

Intuitivamente, un bajo FNL indica que la activación de una característica es impulsada por tokens locales y específicos (baja entropía, influencia concentrada), mientras que un alto FNL indica que la característica integra información de manera amplia a través de la ventana de contexto (alta entropía, influencia difusa).

Contribuciones Clave

1. Definición de FNL: El artículo propone el FNL como una métrica basada en gradientes, libre de etiquetas y de independencia de LLM, para caracterizar el alcance contextual típico de una característica de SAE.
2. Validación de Estabilidad y Geometría: Los autores demuestran que las clasificaciones de FNL son estables a través de diferentes conjuntos de datos (WikiText, GSM8K, Code-Python) y profundidades de modelo. También muestran que el FNL se correlaciona con la geometría de la característica, donde las características con vectores de decodificación similares (funciones de lado de escritura similares) comparten rangos de no localidad similares.
3. Correlación con la Abstracción Semántica: El FNL se valida frente a dos medidas proxy independientes de la abstracción:
   • Susceptibilidad a la Inyección de Tokens: Las características de alto FNL muestran una menor susceptibilidad a ser activadas por inyecciones de tokens aislados (falsos positivos), distinguiéndolas de las características impulsadas por tokens.
   • Invarianza de Parafraseo: Las características de alto FNL exhiben una mayor robustez ante parafraseos que preservan el significado (menores falsos negativos) en comparación con las características de bajo FNL.
4. Aplicaciones en Avalante (Downstream):
   • Auditoría de Mitigación de Jailbreak: Los autores reanalizaron las características utilizadas para mitigar jailbreaks de tipo wrapper. Encontraron que las características más efectivas tenían un FNL cercano a cero, activándose casi exclusivamente al principio de la secuencia (indicadores posicionales) en lugar de reconocer la intención dañina. Esto sugiere que los mecanismos de mitigación actuales dependen de artefactos superficiales en lugar de un entendimiento semántico.
   • Direccionamiento de Razonamiento (Reasoning Steering): En un experimento de prueba de concepto en DeepSeek-R1-Distill-Llama-8B, el direccionamiento de las características de alto FNL mejoró la precisión de MATH-500 en 4.6 puntos sobre la línea base sin direccionar, superando el direccionamiento de características de bajo FNL y a las líneas base aleatorias.

Resultados

• Métricas de Correlación: El FNL muestra una correlación negativa significativa con la recuperación de inyección de tokens ($\rho \approx -0.46$) y una correlcción positiva con la robustez del parafraseo ($\rho \approx 0.27$).
• Poder de Discriminación: El FNL distingue con éxito entre características dependientes del contexto y aquellas impulsadas por tokens en el 73–84% de los pares extraídos aleatoriamente (AUC 0.73–0.84).
• Hallazgos de Jailbreak: En la auditoría de 25 características de mitigación de jailbreak, 21 fueron identificadas como posicionales (0 FNL), y el direccionamiento de estas características posicionales fue responsable de la mayor parte de la mejora en la defensa, mientras que el direccionamiento de las 4 características conscientes del contenido produjo ganancias insignificantes.
• Desempeño de Direccionamiento (Steering): El direccionamiento de alto FNL en DeepSeek-R1-Distill-Llama-8B alcanzó una precisión de MATH-500 de 0.911 (avg@4), comparado con 0.865 para la línea base sin direccionar. Sin embargo, los autores señalan que esta ganancia es específica del modelo; en otros modelos (Gemma-2-9B, Qwen3-8B), el direccionamiento de alto FNL no superó consistentemente a las líneas base.

Significancia y Reivindicaciones
El artículo concluye que el FNL proporciona un testigo correlacional, libre de etiquetas e independiente de LLM del nivel de abstracción de una característica de SAE. No pretende ser un predictor perfecto de la utilidad del direccionamiento en todos los contextos, pero argumenta que ofrece una herramienta de diagnóstico necesaria para distinguir entre disparadores léxicos superficiales y computaciones semánticas genuinas de alto nivel.

Los autores enfatizan que, si bien la utilidad del direccionamiento valida el control, el FNL ayuda a validar el entendimiento al revelar si una característica representa un concepto semántico complejo o una simple señal posicional. Esta distinción es crucial para desarrollar explicaciones mecanísticas más robustas de los comportos de los LLM y para diseñar intervenciones de seguridad más efectivas que apunten al reconocimiento de la intención genuina en lugar de a artefactos superficiales. El trabajo se presenta como un paso hacia la interpretabilidad mecanística de grano fino, con la salvedad de que los resultados de direccionamiento son una prueba de concepto y no una garantía general de que el alto nivel de no localidad prediga la utilidad.