Resumen Técnico: Evidencia de la Corrección de Errores Específica de Características en los LLM

Planteamiento del Problema

Las representaciones internas de los Modelos de Lenguaje de Gran Escala (LLM) siguen siendo poco comprendidas. Una hipótesis prevaleciente es que los LLM utilizan la superposición para representar más características de las que tienen dimensiones, y potencialmente realizan computación en superposición (CiS, por sus siglas en inglés). El trabajo teórico (Hänni et al., 2024) predice que, para que la CiS funcione, la red debe implementar una corrección de errores que privilegie direcciones de "características" específicas sobre las genéricas para suprimir el ruido de interferencia. Sin embargo, esta predicción carece de validación empírica. Sin direcciones de características de verdad absoluta (ground-truth), es difícil probar si los LLM tratan ciertas direcciones como privilegiadas. Este artículo propone una prueba empírica para determinar si los LLM exhiben una Corrección de Errores Específica de Características (FSEC) —una propiedad donde el modelo es menos sensible a las perturbaciones en direcciones que no son características que en las direcciones que sí lo son.

Metodología

Los autores proponen una prueba empírica basada en perturbaciones para medir la geometría de las mesetas de activación (regiones donde las pequeñas perturbaciones producen una respuesta descendente insignificante).

1. Configuración de la Perturbación:

   • Las activaciones del flujo residual en una capa temprana ($\ell=2$) se perturban rotando el vector de activación hacia una dirección objetivo $d$ mientras se mantiene el módulo del vector (perturbación de módulo igualado).
   • La respuesta descendente se mide en la penúltima capa como la distancia $L_2$ entre los flujos residuales perturbados y no perturbados.
   • El ángulo de ruptura de la meseta ($\alpha$) se define como el ángulo de perturbación más pequeño requerido para exceder un umbral de respuesta específico.

2. Tipos de Direcciones:

   • Direcciones de Características Candidatas: Construidas mediante prompts contrastivos (ej. género, sentimiento, idiomas), MELBO (optimización no supervisada para la respuesta descendente) y columnas del decodificador de un Autoencoder Disperso (SAE).
   • Direcciones de Referencia (Baselines): Direcciones isotrópicas aleatorias, direcciones de PCA y direcciones de diferencia aleatoria (diferencias de activaciones no emparejadas).

3. La Prueba de la Superelipse:

   • Los autores perturban las activaciones a lo largo de mezclas de dos direcciones ($d_1, d_2$) variando un ángulo de mezcla $\phi$.
   • Modelan el ángulo de ruptura de la meseta $\alpha(\phi)$ como una función de las proyecciones sobre las dos direcciones.
   • La respuesta se modela como una norma $L_p$ de la descomposición: $R(v) = F(\sum w_i |\hat{f}_i^\top v|^p)$.
   • Predicción Teórica:
     • Si el modelo responde solo a la magnitud de la perturbación (isotrópico), el límite es una elipse ($p=2$).
     • Si el modelo privilegia direcciones de características individuales (FSEC), el límite se abulta hacia afuera, formando una superelipse con $p > 2$. Esto indica que una mezcla de características requiere una perturbación mayor para romper la meseta, lo que implica que la red suprime la interferencia de las direcciones mixtas.

Contribuciones Clave

1. Propuesta de FSEC como Prueba: Los autores formalizan la FSEC como una prueba para la computación en superposición, modelando la respuesta del LLM a las perturbaciones mediante el exponente $p$ de la descomposición de la norma $L_p$.
2. Evidencia Empírica: Proporcionan la primera evidencia empírica de que las direcciones de características candidatas son privilegiadas sobre sus mezclas.
3. Replicación en Diversos Modelos: Los hallazgos se replican en seis modelos diversos (Gemma-2-9B, Qwen3-1.7B, Llama-3.1-8B, Mistral-7B-v0.3, Aya-Expanse-8B y Yi-1.5-9B).
4. Validación con Modelo de Juguete: La metodología se valida en una red de eliminación de ruido de juguete con direcciones de características de verdad absoluta conocidas, confirmando que se recupera $p > 2$ para las características reales y que este decae a $p \approx 2$ a medida que las direcciones se rotan lejos de ellas.

Resultados

• Direcciones Contrastivas: A través de 318 pares de direcciones contrastivas (cubriendo conceptos como riqueza, género e idiomas), el exponente de la superelipse ajustada es consistentemente $p > 2$ (media $p \approx 2.42$, mediana $2.30$).
• Direcciones MELBO y SAE: Estas direcciones de características candidatas también arrojan $p > 2$ (media MELBO $2.21$; media SAE $2.28$), aunque ligeramente menores que las direcciones contrastivas.
• Baselines: Las direcciones de PCA, aleatorias y de diferencia aleatoria se agrupan todas alrededor de $p \approx 2$ (medias que oscilan entre $2.03$y$2.05$), lo que indica que no son privilegiadas.
• Análisis de Rotación: Cuando las direcciones contrastivas se rotan hacia direcciones ortogonales aleatorias, el exponente $p$ disminuye monótonamente de $\approx 2.4$ a $\approx 2.0$, demostrando que $p$ rastrea la alineación con las direcciones de las características.
• Robustez: Los resultados se mantienen a través de varias ablaciones, incluyendo diferentes capas de perturbación, capas de medición, métricas de respuesta (distancia de coseno, divergencia KL) y posiciones de tokens.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera evidencia empírica que respalda la hipótesis de que los LLM implementan una corrección de errores específica de características, una condición necesaria para la computación en superposición.

• Interpretación de $p > 2$: Los autores argumentan que $p=2$ (una forma cuadrática) no puede privilegiar un gran número de direcciones de características sobre otras debido a los grados de libertad limitados en la dimensión del modelo. En contraste, $p > 2$ permite que la red sea altamente sensible a direcciones de características específicas mientras suprime la interferencia de sus mezclas.
• Límite Inferior: Los autores señalan modestamente que su $p \approx 2.3$ medido para los LLM es probablemente un límite inferior. Dado que sus direcciones candidatas (contrastivas, MELBO, SAE) son aproximaciones imperfectas de las verdaderas características de verdad absoluta, la desalineación diluye la sensibilidad direccional, sesgando $p$ hacia 2. Sus experimentos con modelos de juguete apoyan esto, mostrando que incluso una desalineación moderada reduce el $p$ del rango de la verdad absoluta ($3\text{--}3.4$) al rango observado en los LLM.
• Limitaciones: El artículo establece explícitamente que, si bien $p > 2$ es una condición necesaria para la FSEC, no es suficiente para probar que una dirección es una característica (experimentos preliminares sugieren que maximizar $p$ por sí solo no recupera las características). Además, la existencia de mesetas de activación no prueba definitivamente la corrección de errores; podrían derivarse de otros mecanismos de robustez. Sin embargo, el tratamiento diferencial de las direcciones ($p > 2$ para características frente a $p \approx 2$ para baselines) sigue siendo una observación robusta de un tratamiento preferencial.

En conclusión, el artículo establece una métrica cuantitativa ($p$) que distingue las direcciones de características candidatas de las no características, ofreciendo un sólido apoyo empírico al marco teórico de la superposición y la corrección de errores en los LLM.