Resumen Técnico: Estructurando la Dispersión: Featurizadores de Dispersión por Bloques (Block-Sparse Featurizers)

1. Planteamiento del Problema

Los métodos actuales de interpretabilidad, particularmente los Autoencoders Dispersos (SAEs), descomponen las activaciones de las redes neuronales en combinaciones dispersas de direcciones aisladas (átomos). Este enfoque asume que los conceptos están representados por vectores únicos en el espacio de activación. Sin embargo, trabajos recientes sugieren que los conceptos neuronales poseen a menudo una geometría interna, manifestándose como variedades (manifolds) de baja dimensión, regiones convexas o características densas, en lugar de direcciones aisladas.

Esto crea un desajuste entre la fenomenología de las representaciones neuronales (estructuradas, multidimensionales) y el aparato utilizado para analizarlas (direcciones aisladas). El artículo postula que tratar los conceptos como una única dirección fuerza una visión "fragmentada" donde un solo concepto se divide en muchos átomos, fallando en capturar la geometría intrínseca y la variación continua dentro de un concepto.

2. Metodología

2.1 Fundamento Teórico: Dispersión Estructurada

Los autores proponen los Featurizadores de Dispersión por Bloques (BSFs) para cerrar esta brecha. Basándose en la literatura sobre dispersión estructurada (específicamente la dispersión de grupo), hipotetizan que las activaciones neuronales se generan como una suma dispersa de variedades de baja dimensión.

• Proceso Generador de Datos (DGP): Una activación $x$ se modela como $x = \sum_{i \in S} m_i + \epsilon$, donde $m_i$ reside en una variedad $M_i$ y $S$ es un pequeño conjunto de factores activos.
• Derivación Bayesiana: Al colocar un prior de tipo spike-and-slab sobre bloques de coordenadas (donde el "slab" es una distribución uniforme sobre una bola en $\mathbb{R}^b$), la estimación de Máxima Probabilidad a Posteriori (MAP) conduce naturalmente a una penalización de dispersión por bloques (norma $\ell_{2,0}$). Esta penalización impone dispersión a través de grupos de direcciones, permitiendo al mismo tiempo una variación densa dentro de un grupo activo.
• Interpretación Geométrica: A diferencia de los SAEs que seleccionan direcciones únicas, los BSFs seleccionan subespacios. El "átomo" es el subespacio mismo, y el código dentro del bloque representa la posición en la variedad.

2.2 Tres Variantes de Featurizadores de Dispersión por Bloques

El artículo implementa tres arquitecturas distintas para instanciar este principio:

1. BSF Vanilla: Utiliza un codificador y un decodificador lineales. La dispersión se impone mediante un operador de proyección dura ($\Pi_k$) que retiene solo los $k$ bloques con las mayores normas $\ell_2$.
2. BSF de Grassmanniano: Fuerza a que las direcciones dentro de un bloque sean ortonormales (los bloques del decodificador residen en la variedad de Stiefel). El codificador está vinculado a la transpuesta del decodificador ($z = \gamma x D^\top$), y la dispersión se impone vía $\Pi_k$. Esto modela explícitamente el bloque como un subespacio.
3. BSF de Lasso de Grupo: Utiliza un codificador lineal con una función de activación de umbral suave ($sh_\theta$) que contrae las normas de los bloques hacia cero. La dispersión se induce mediante una penalización $\ell_{2,1}$ en la función de pérdida, relajando la restricción dura para obtener un objetivo suave.

2.3 Marco de Evaluación

• Validación Sintética: Un modelo de juguete controlado donde se embeben y suman variedades de verdad fundamental (círculos, esferas, toros). La recuperación se mide por qué tan bien un solo bloque reconstruye la contribución de la variedad específica ($R^2$).
• Análisis del Mundo Real: Aplicado a DINOv3 (modelo de visión fundacional), InceptionV1 y SDXL (modelo de difusión).
• Métricas:
  • Longitud de Descripción Mínima (MDL): Utilizada para comparar BSFs frente a SAEs. El costo incluye bits para el soporte (qué bloques se activan), el código (coordenadas dentro de los bloques), el residuo y el diccionario.
  • Rango Estable (Stable Rank): Utilizado para cuantificar la dimensionalidad intrínseca de las características recuperadas.
  • Tareas de Aval (Downstream Tasks): Probing lineal en clasificación, segmentación y estimación de profundidad.
  • Direccionamiento de la Variedad (Manifold Steering): Intervención en el espacio de activación para controlar la generación de imágenes.

3. Contribuciones Clave

1. Alineación Teórica: El artículo conecta formalmente la hipótesis de que los conceptos son variedades con la literatura de dispersión estructurada, derivando la dispersión por bloques como el prior adecuado para una mezcla aditiva de variedades.
2. Implementación Algorítmica: Introducción de tres variantes de BSF (Vanilla, Grassmanniano, Lasso de Grupo) que van más allá de la suposición de "una dirección por concepto".
3. Evidencia Cuantitativa:
   • Análisis MDL: Los BSFs describen las activaciones de forma más compacta que los SAEs. Se encuentra que la dimensión óptima del bloque es moderada (2–4 dimensiones), lo que sugiere que los conceptos son inherentemente multidimensionales.
   • Recuperación Sintética: Los BSFs recuperan superposiciones de variedades aditivas con alta fidelidad ($R^2 \approx 0.93-0.97$), mientras que los SAEs estándar fragmentan estas estructuras ($R^2 \approx 0.53$).
4. Descubrimiento de Variedades de Conceptos:
   • InceptionV1: Demostró que las neuronas detectoras de curvas y las características de los SAE son en realidad fragmentos de una única variedad de curva continua. El BSF recupera esto como una región conectada y revela modos de Fourier de orden superior (por ejemplo, invariancia de 180°) previamente oscurecidos.
   • DINOv3: Descubrió variedades correspondientes a atributos físicos de la escena como la iluminación y las sombras, que rastrean la iluminación de manera consistente a través de diferentes identidades de objetos.
   • SDXL: Identificó variedades para objetos específicos (por ejemplo, pretzels) donde el direccionamiento dentro del subespacio del bloque produce variaciones semánticamente coherentes, a diferencia del direccionamiento a lo largo de direcciones aisladas.

4. Resultados

• Eficiencia de Reconstrucción: A un piso de distorsión fijo (determinado por la tolerancia de rendimiento de la tarea), los BSFs logran longitudes de descripción menores que los SAEs. La descripción más eficiente ocurre cuando las dimensiones de los bloques están entre 2 y 4, incluso cuando hay capacidades mayores disponibles.
• Dimensionalidad de las Características: El análisis de rango estable revela que los conceptos recuperados en DINOv3 son típicamente de 2 a 4 dimensiones, confirmando que los bloques no son meramente direcciones sobreparametrizadas, sino que utilizan su geometría interna.
• Coherencia Espacial: Los mapas de conceptos de los BSFs son significativamente más suaves (menor Variación Total y Energía de Dirichlet) que los mapas de los SAEs, lo que indica que rastrean mejor los atributos contiguos de la escena.
• Direccionamiento de la Variedad (Manifold Steering): En SDXL, el direccionamiento a lo largo de la geometría de la variedad aprendida (usando mapas de Kohonen para atravesar el subespacio) genera imágenes que varían suavemente a lo largo de las dimensiones internas del concepto (por ejemplo, cambiando la forma de un pretzel) sin degradar la calidad de la imagen, una hazaña difícil con las direcciones aisladas de los SAE.

5. Significado y Reivindicaciones

El artículo afirma que la dispersión por bloques es el sesgo inductivo correcto para descomponer las representaciones neuronales cuando estas están estructuradas como variedades de baja dimensión.

• Conexión con la Neurociencia: El trabajo se alinea con los modelos de neurociencia visual (por ejemplo, el modelo de energía, células complejas) donde las características son transportadas por grupos coordinados de neuronas en lugar de unidades sintonizadas individuales. Los BSFs recuperan el comportamiento de las "células complejas" al retener la coordenada interna (fase/geometría) en lugar de eliminarla para lograr la invariancia.
• Paradigma de Interpretabilidad: Los autores argumentan que un featurizador es una hipótesis sobre el proceso generador de datos. Al hacer coincidir la estructura del featurizador (bloques) con la geometría de la representación (variedades), se pueden recuperar conceptos más ricos y coherentes.
• Limitaciones y Alcance: El artículo señala modestamente que la dispersión por bloques no es un átomo universal para todas las modalidades (por ejemplo, el lenguaje o el video pueden requerir estructuras diferentes como bloques temporales o jerárquicos). La contribución es específica para el caso donde las representaciones son mezclas aditivas de variedades de baja dimensión, una propiedad observada en los modelos visuales probados.

En resumen, el artículo proporciona un caso teórico y empírico para pasar de featurizadores basados en "direcciones" a featurizadores basados en "regiones" (bloques), demostando que este cambio recupera la geometría interna de los conceptos, mejora la eficiencia de la descripción y permite un control más preciso sobre los modelos generativos.