Resumen Técnico: Anti-Concentración Espectral y la Doble Geometría de las Representaciones de Transformadores

Enunciado del Problema

El artículo investiga la estructura geométrica de las representaciones de conceptos en Modelos de Lenguaje Grandes (LLM), probando específicamente dos hipótesis competitivas sobre cómo se codifican y transportan los conceptos entre idiomas.

Primero, la Hipótesis de Representación Lineal (LRH) postula que los conceptos de alto nivel se codifican como direcciones lineales en el espacio de activación. Park et al. [2024] formalizaron esto proponiendo un producto interno causal definido por la inversa de la matriz de desincrustación ($\Sigma^{-1}$), sugiriendo que los conceptos causalmente separables son ortogonales bajo esta métrica. Esto llevó a la hipótesis de Alineación Causal Blanqueada (WCA): que alinear los espacios de representación utilizando esta geometría causal (blanqueado por $\Sigma^{-1/2}$) permitiría un transporte de conceptos translingüístico superior en comparación con la alineación Euclidiana estándar de Procrustes.

En segundo lugar, la Hipótesis de Representación Platónica sugiere que los modelos capaces convergen hacia representaciones internas compartidas, lo que implica que las direcciones de conceptos extraídas de un idioma deberían ser transferibles a otro.

Los autores se propusieron validar si las direcciones propias específicas del producto interno causal facilitan este transporte translingüístico. Sin embargo, sus experimentos revelaron un fenómeno más amplio, previamente no caracterizado: la anti-concentración espectral. Encontraron que las representaciones de conceptos evitan sistemáticamente las direcciones de alta varianza del espectro del modelo, mientras que el vocabulario estático muestra el comportamiento opuesto.

Metodología

El estudio emplea un enfoque riguroso y multi-método a través de 17 modelos que abarcan 5 familias de arquitecturas (Llama, Qwen, Gemma, Mistral y Mezcla de Expertos) y 4 pares translingüísticos.

1. Extracción de Conceptos (Tres Métodos Independientes)

Para descartar artefactos metodológicos, los autores extraen direcciones de conceptos utilizando tres enfoques distintos:

• Diferencia de Medias: Cálculo de la diferencia media de las activaciones del flujo residual agrupadas para pares de palabras contrafactuales (método sustractivo).
• Autoencoders Dispersos (SAE): Extracción de las características que se activan diferencialmente en mayor medida desde SAEs preentrenados (Gemma Scope, Llama Scope) utilizando activaciones contextualizadas (no supervisado, no sustractivo).
• Sondas Lineales: Entrenamiento de clasificadores de regresión logística regularizados con L2 sobre activaciones contextualizadas crudas y sin centrar (supervisado).

2. Marco de Análisis Espectral

Todos los vectores de conceptos se proyectan sobre la base propia de la matriz de covarianza de desincrustación específica del idioma $\Sigma_L$. Los autores definen:

• Distribución de Energía Espectral: La fracción de la energía de un vector en vectores propios específicos.
• Desviación de Gini: Una medida de concentración frente a anti-concentración. Los valores negativos indican que la energía está concentrada en la cola espectral (direcciones de baja varianza).
• Centro de Masa Espectral (SCM): El punto de varianza acumulada donde se alcanza el 50% de la energía.

3. Experimentos Clave

• Randomización de Espectro Emparejado: Para probar la utilidad de la geometría causal, los autores reemplazaron los vectores propios reales de $\Sigma$ con matrices ortogonales aleatorias preservando el espectro de valores propios. Compararon la WCA Real frente a la WCA Falsa para el transporte translingüístico.
• Dirigido por Inyección Dividida: Los vectores de conceptos se descompusieron en componentes de "grito" (top 10% de vectores propios, alta varianza) y "susurro" (bottom 10% de vectores propios, baja varianza). Estos se inyectaron en modelos Gemma y Llama a diversas profundidades para medir la degradación de la perplejidad (un proxy para la interferencia gramatical).
• Sondeo de Etiquetas POS: Se entrenaron clasificadores sobre activaciones proyectadas en subespacios de alta varianza (top-k) y baja varianza (bottom-k) para determinar dónde reside la información sintáctica.
• Verificación de Doble Geometría: Los autores compararon los vectores de conceptos en el espacio de activación frente a las diferencias de filas de desincrustación estáticas para identificar comportamientos espectrales contrastantes.

Resultados Clave

1. Fallo de la Geometría Causal para el Transporte

La prueba de randomización de espectro emparejado encontró que la WCA Real es indistinguible de la WCA Falsa (p = 0.95). Las direcciones propias específicas del producto interno causal no mejoran mediblemente el transporte translingüístico más allá del efecto de la regularización espectral (amortiguación de direcciones de alta varianza).

2. Anti-Concentración Espectral

Contrario a la expectativa de que los conceptos podrían alinearse con direcciones de alta varianza, el estudio encuentra una anti-concentración espectral robusta:

• Los vectores de conceptos en el espacio de activación (de los tres métodos de extracción) colocan consistentemente energía desproporcionada en la cola de baja varianza del espectro propio.
• Esto se mantiene a través de 17 modelos y 5 familias de arquitecturas (Gini medio = -0.282, p < 10⁻³³).
• El efecto es independiente de la forma espectral de fondo y persiste incluso cuando se descartan artefactos de sustracción mediante métodos de SAE y sondas lineales.

3. La Doble Geometría

El artículo identifica una dualidad fundamental entre el espacio de vocabulario y el espacio de razonamiento:

• Espacio de Vocabulario (Estático): Las diferencias específicas de conceptos en las filas de desincrustación se concentran en direcciones de alta varianza (Gini positivo). Esto permite que los contrastes de conceptos influyan máximamente en los logits de predicción de tokens.
• Espacio de Razonamiento (Activación): Las representaciones de conceptos en el flujo residual se anti-concentran en la cola espectral.
• Las diferencias aleatorias de pares de tokens muestran una leve anti-concentración, mientras que los pares específicos de conceptos muestran una concentración activa en el espacio de vocabulario, confirmando que la matriz de desincrustación codifica específicamente contrastes relevantes para conceptos a lo largo de sus ejes principales.

4. Evidencia Funcional

• Asimetría de Interferencia: Los experimentos de inyección dividida en Gemma y Llama muestran que inyectar vectores de conceptos en direcciones de alta varianza ("grito") causa una degradación de perplejidad significativamente mayor (disrupción gramatical) que inyectar en direcciones de baja varianza ("susurro") (d de Cohen hasta 1.80).
• Codificación Sintáctica: El sondeo de etiquetas POS revela que en 6 de 8 arquitecturas, la información sintáctica se codifica preferentemente en el subespacio de alta varianza.
• La Anomalía de Qwen 2.5: La familia Qwen 2.5 (3B, 7B) invierte este patrón, mostrando una ventaja de bottom-k para la información POS y ninguna asimetría de interferencia. Esto sugiere que la separación espectral de sintaxis y semántica puede depender de la arquitectura.

Significado y Afirmaciones

El artículo afirma revelar una "Doble Geometría" en las representaciones de transformadores: "Los conceptos susurran mientras la sintaxis grita".

• Perspectiva Mecanística: Los transformadores parecen rotar el contenido semántico hacia regiones espectralmente silenciosas (baja varianza) durante el procesamiento contextualizado. Esto permite manipular conceptos con menor disrupción gramatical, mientras que la sintaxis y los patrones estructurales ocupan el subespacio "ruidoso" de alta varianza donde pueden sobrevivir robustamente al ruido del flujo residual.
• Implicaciones para la Interpretabilidad: Los métodos que se centran únicamente en los componentes principales superiores (por ejemplo, la visualización estándar de PCA) corren el riesgo de perder información a nivel de concepto, que reside en la cola espectral. Las herramientas de interpretabilidad deben prestar atención a las direcciones de baja varianza.
• Implicaciones para la Dirección: Los hallazgos sugieren un refinamiento práctico para la ingeniería de activaciones: proyectar vectores de dirección en el subespacio de baja varianza antes de la inyección podría lograr la manipulación de conceptos con menor disrupción de la fluidez, mitigando potencialmente la "afasia" causada por interrumpir el enrutamiento sintáctico.
• Conexión Teórica: Los resultados ofrecen una dimensión espectral a la teoría de la superposición. Si las direcciones de alta varianza son "reclamadas" por patrones sintácticos frecuentes, la dimensionalidad efectiva para conceptos semánticos se reduce, obligando a la red a codificar características semánticas en la cola mediante superposición.

Los autores permanecen modestos respecto al alcance, señalando que sus conceptos se derivan de contrafactuales a nivel de palabra y que el comportamiento del fenómeno en arquitecturas codificador-decodificador o para conceptos altamente abstractos sigue siendo una pregunta abierta. Enfatizan que la anomalía de Qwen 2.5 merece una investigación más profunda sobre cómo regímenes de entrenamiento específicos o elecciones arquitectónicas alteran la asignación espectral.