Resumen Técnico: C2R (Regularización de Consistencia entre Muestras)

1. Planteamiento del Problema

Los Autoencoders Dispersos (SAEs, por sus siglas en inglés) son una herramienta primordial para interpretar los Modelos de Lenguaje de Gran Escala (LLMs) mediante la descomposición de activaciones densas en características dispersas y comprensibles para el ser humano. Sin embargo, a medida que los SAEs escalan hacia diccionarios extensos, exhiben dos patologías persistentes que comprometen la fiabilidad de los latentes aprendidos:

• Fragmentación de Características (Feature Splitting): Conceptos coherentes de alto nivel se fragmentan en múltiples latentes no atómicos y redundantes (por ejemplo, un único concepto de "Matemáticas" dividiéndose en latentes separados de "Álgebra" y "Geometría"). Esto oscurece los verdaderos conceptos funcionales utilizados por el modelo y desperdicia la capacidad del diccionario.
• Absorción de Características (Feature Absorption): Latentes específicos capturan activaciones que deberían pertenecer a características generales, creando excepciones arbitrarias (por ejemplo, un latente de "comienza con S" que deja de activarse en "short" o "small" porque latentes específicos de tokens absorben la señal). Esto distorsiona el patrón semántico pretendido.

Los autores argumentan que estos problemas surgen de una asignación de latentes inconsistente entre muestras. Los objetivos de dispersión estándar (como la regularización $\ell_1$ o las restricciones TopK) operan de forma individual por muestra. Sin restricciones entre muestras, el optimizador puede minimizar la penalización de dispersión distribuyendo un único concepto semántico a través de múltiples latentes disjuntos o permitiendo que latentes específicos "roben" activaciones de otros generales, siempre que el error de reconstrucción sea bajo para esa muestra específica.

2. Metodología: C2R

Para abordar estos fallos, el artículo introduce C2R (Cross-sample Consistency Regularization). Este método impone que cada característica semántica esté representada de manera consistente por un latente unificado a lo largo de todo el lote (batch).

Fundamento Teórico

C2R se fundamenta en la desigualdad de Minkowski y la convexidad estricta de la norma $\ell_2$. La idea central es que, para vectores no alineados $u$ y $v$, la suma de sus normas es estrictamente mayor que la norma de su suma:
$$\|u\|_2 + \|v\|_2 > \|u + v\|_2$$
En el contexto de los SAEs, si una característica semántica se divide entre múltiples latentes, la suma de las normas $\ell_2$ de sus activaciones a través de un lote será mayor que si la característica se consolidara en un solo latente. C2R aprovecha esto para penalizar la fragmentación de la información semántica.

El Objetivo C2R

El método extiende el análisis por pares a un diccionario completo identificando pares de latentes redundantes y penalizando su co-activación.

1. Detección de Redundancia: Para cada latente $i$, el algoritmo identifica su vecino más cercano $j^*(i)$ en el espacio de pesos del decodificador basado en la similitud de coseno. Esto apunta a pares que probablemente representan fragmentos divididos o variaciones absorbidas.
2. Penalización con Compuerta (Gated Penalty): La pérdida de regularización se pondera mediante la similitud de coseno rectificada al cuadrado ($\rho^2$) entre los pesos del decodificador del par. Esto actúa como una compuerta:
   • Si los latentes son distintos (ortogonales), $\rho \approx 0$, y no se aplica ninguna penalización.
   • Si los latentes son redundantes (alta alineación), $\rho$ es grande, y se aplica la penalización.
3. Formulación de la Pérdida:
   $$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$$
   Donde $Z_{:,i}$ representa el lote de activaciones para el latente $i$. El objetivo de entrenamiento total añade este término a la pérdida estándar del SAE:
   $$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$$

Dinámica de Gradiente

El gradiente de C2R proporciona dos fuerzas simultáneas:

• Presión de Consistencia: Escala con la similitud ($\rho^2$) para minimizar la suma de las normas, empujando las activaciones divididas hacia un solo latente.
• Ortogonalidad Implícita: Escala con la magnitud de la activación ($S$) para minimizar la similitud de coseno entre los pesos del decodificador. A diferencia de las restricciones de ortogonalidad uniformes, esta escala la penalización por la frecuencia de la característica, evitando la destrucción prematura de características raras o en desarrollo.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Diagnóstico Teórico: Un análisis formal unificado que identifica la falta de consistencia entre muestras en los objetivos de dispersión por muestra como la causa raíz de la fragmentación y absorción de características.
2. Objetivo Principiado: La propuesta de C2R, una nueva regularización que utiliza la geometría del decodificador y estadísticas a nivel de lote para forzar una selección de latentes consistente, distinguiendo entre la polisemanticidad real y la redundancia perjudicial.
3. Validación Empírica: Demostración de que C2R mitiga significativamente la fragmentación y la absorción mientras preserva la fidelidad de la reconstrucción, superando a los baselines de vanguardia como Batch TopK, Matryoshka SAEs y OrtSAE.

4. Resultados Experimentales

Los experimentos se realizaron en Gemma-2-2B (y se validaron en Qwen3-8B y Llama-3-8B) utilizando el marco de trabajo SAEBench.

• Mitigación de Patologías: C2R logró las tasas más bajas de absorción y fragmentación de características entre los métodos que mantuvieron una alta fidelidad de reconstrucción. Aunque los Matryoshka SAEs mostraron puntuaciones de fragmentación/absorción más bajas, sufrieron una degradación significativa en la calidad de la reconstrucción.
• Fidelidad de Reconstrucción: A diferencia de los Matryoshka SAEs, los modelos mejorados con C2R mantuvieron altos puntajes de "Loss Recovered" y "KL Divergence", indicando que el comportamiento original del LLM se preservó.
• Interpretabilidad y Desentrelazamiento: C2R no afectó negativamente el puntaje "AutoInterp" (comprensibilidad humana de las características) ni los puntajes de "Desentrelazamiento" (control causal de atributos).
• Composición de Características: C2R produjo la menor similitud de coseno máxima entre los pesos del decodificador, lo que indica un conjunto de características más atómico y distinto.
• Tareas Downstream: En tareas de intervención causal (Eliminación de Correlación Espuria y Perturbación de Sonda Dirigida), C2R superó a TopK, Batch TopK y OrtSAE, logrando un rendimiento comparable al de los Matryoshka SAEs.
• Robustez: El método se mantuvo efectivo a través de diferentes semillas aleatorias, escalas de modelo (8B), capas y composiciones de datos de entrenamiento (OpenWebText vs. The Pile).

5. Significado y Reivindicaciones

El artículo afirma que C2R proporciona una solución principiada al compromiso entre la atomicidad de las características y la fidelidad del modelo. Al imponer la consistencia entre muestras, aborda la limitación fundamental de la optimización por muestra en los SAEs.

Los autores enfatizan que su enfoque:

• Mejora la Interpretabilidad de los Latentes: Al consolidar conceptos fragmentados y eliminar excepciones arbitrarias, el diccionario resultante refleja mejor la naturaleza jerárquica de las características de un modelo de lenguaje.
• Preserva el Rendimiento: Crucialmente, estas mejoras se logran sin degradar la capacidad del SAE para reconstruir las activaciones originales del modelo, un fallo común en intentos estructurales previos de los SAE.
• Ofrece Garantías Teóricas: Bajo condiciones específicas (empíricamente satisfechas en el 88.1% de los pares de absorción), el método proporciona una garantía teórica contra la fragmentación y la absorción derivada de la desigualdad de Minkowski.

Este trabajo posiciona a C2R como un regularizador de propósito general compatible con diversas arquitecturas de SAE (TopK, Batch TopK, OrtSAE, AbsTopK), ofreciendo un camino robusto para el análisis de los componentes internos de los grandes modelos de lenguaje.