Resumen Técnico: Autoencoders Bilineales Encuentran Variedades Interpretables

Declaración del Problema

La interpretabilidad mecánica actual depende en gran medida de los Autoencoders Dispersos (SAE) para descubrir representaciones latentes interpretables en redes neuronales. Estos métodos operan bajo la Hipótesis de Representación Lineal, asumiendo que los conceptos se codifican a lo largo de direcciones lineales. Sin embargo, investigaciones recientes indican que los conceptos salientes a menudo abarcan variedades complejas y multidimensionales (por ejemplo, elipsoides, hiperboloides) que los métodos lineales no pueden capturar sin un análisis post-hoc. Además, el estudio aislado de latentes lineales a menudo falla en dar cuenta de la dependencia del contexto, donde el significado de un latente cambia según las características co-activas. Aunque aumentar la capacidad del modelo puede capturar más estructura, la expresividad ilimitada a menudo conduce a soluciones triviales que derrotan la interpretabilidad. El desafío central es encontrar una clase de representación que sea lo suficientemente no lineal para capturar estas variedades, pero lo suficientemente tratable algebraicamente para permitir un análisis geométrico en forma cerrada y una comprensión composicional.

Metodología

El artículo propone Autoencoders Bilineales como solución, extendiendo la arquitectura estándar del autoencoder disperso para aprender latentes cuadráticos.

Arquitectura

En lugar de reconstruir directamente el vector de entrada $x$, el autoencoder bilineal reconstruye el espacio producto elevado $X = xx^\top$.

• Codificador: El modelo utiliza Unidades Lineales con Puerta (GLU) adaptadas para calcular polinomios de segundo orden. La activación del $i$-ésimo latente se define como $z_i = x^\top W_i x$, donde $W_i$ es una matriz simétrica que representa una forma cuadrática.
• Decodificador: La reconstrucción se realiza linealmente en el espacio elevado: $\hat{X} = W^\top W X$.
• Eficiencia en el Entrenamiento: Materializar directamente la matriz $d \times d$ $X$ es computacionalmente intratable para modelos grandes. Los autores emplean un truco del núcleo para calcular la pérdida de reconstrucción y los gradientes sin construir explícitamente $X$. La matriz del núcleo $K = WW^\top$ se calcula eficientemente mediante la factorización $K = C^\top (LL^\top \odot RR^\top) C$, donde $L$ y $R$ son matrices factoriales del codificador y $C$ es una matriz de composición.
• Dispersión: Los autores introducen la densidad de Hoyer como una penalización de dispersión invariante a la escala. A diferencia de las penalizaciones estándar $L_1$ que pueden causar una contracción trivial, la densidad de Hoyer fomenta la prominencia relativa a través del lote, asegurando que los latentes se activen selectivamente en estructuras específicas sin colapsar a cero.

Hipótesis Estructurales

El artículo formaliza tres hipótesis de representación anidadas que definen los priores geométricos de los átomos del diccionario:

1. Hipótesis de Representación Cuadrática: El diccionario consiste en matrices simétricas $W_i$. El modelo descompone $xx^\top$ en una suma dispersa de estas matrices. Esto permite la detección de geometrías cuadráticas (elipsoides, hiperboloides, paraboloides).
2. Hipótesis de Representación Atómica: Una restricción donde cada átomo del diccionario es una matriz de rango 1 ($W_i = w_i w_i^\top$). El campo receptivo es una "losa" simétrica (dos hiperplanos paralelos), detectando energía a lo largo de una dirección independientemente del signo.
3. Hipótesis de Representación Compuesta: Los átomos del diccionario son mezclas dispersas de matrices de rango 1 ($W_i = \sum C_{ij} w_j w_j^\top$). Esto permite que el modelo aprenda subespacios de bajo rango automáticamente. Un átomo compuesto puede formar un elipsoide (si es semidefinido positivo) o un hiperboloide (si es indefinido), capturando efectivamente conceptos que requieren múltiples direcciones lineales para definirse.

Contribuciones Clave

1. Arquitectura: Los autores adaptan los autoencoders bilineales para el aprendizaje de diccionarios, permitiendo un entrenamiento eficiente mediante un truco del núcleo. Esto proporciona una extensión natural y tratable de los SAE lineales que opera en el espacio de pesos, permitiendo un análisis geométrico sin pasadas hacia adelante.
2. Marco: Proponen un marco formal de priores estructurales (Atómico, Compuesto, Cuadrático) que mapean las restricciones del diccionario a geometrías específicas de campo receptivo (losas, elipsoides/hiperboloides y cuadráticas arbitrarias). Esto desafía la hipótesis lineal estándar al demostrar que los conceptos pueden detectarse mediante su proximidad a superficies cuadráticas en lugar de semiespacios lineales.
3. Validación Empírica:
   • Reconstrucción: Los experimentos en Qwen 3.5 (0.8B), Gemma-3 (1B) y Llama-3.2 (1B) muestran que los latentes compuestos y cuadráticos logran consistentemente un error de reconstrucción menor (NMSE) que los latentes atómicos (rango 1) y las líneas base lineales.
   • Prevalencia Geométrica: El análisis espectral revela que, aunque muchos conceptos son de bajo rango, una "cola larga" significativa de conceptos requiere geometrías de mayor dimensión (rango > 1) para ser capturados con precisión.
   • Estabilidad: Mientras que los átomos individuales del diccionario (descomposiciones) varían significativamente entre ejecuciones de entrenamiento e hiperparámetros, el subespacio de entrada global recuperado por los autoencoders permanece altamente estable (>90% de similitud). Esto sugiere que la descomposición específica es menos importante que la estructura de variedad subyacente.
   • Análisis Cualitativo: Un visualizador interactivo demuestra que los autoencoders bilineales capturan patrones geométricos diversos, incluyendo conos (años), agrupaciones (ubicaciones), interpolaciones (puentes semánticos) y subconjuntos (distinciones contextuales como "para" vs. "por ejemplo").

Significado y Afirmaciones

El artículo argumenta que los autoencoders bilineales representan un paso significativo hacia representaciones latentes no lineales pero matemáticamente tratables.

• Más allá de la Linealidad: El trabajo desafía el dominio de la hipótesis de representación lineal, mostrando que los conceptos salientes a menudo habitan variedades multidimensionales que los métodos lineales pasan por alto.
• Interpretabilidad Composicional: Al utilizar polinomios, el modelo asegura que la composición ocurra en el espacio de pesos. Esto permite interacciones explícitas y computables entre características, moviendo la interpretabilidad de bases aisladas a estructuras composiciones comprensibles.
• Descubrimiento de Variedades: Los autores posicionan estos modelos como herramientas no supervisadas para el descubrimiento de variedades. Dado que la geometría se lee directamente de los tensores de pesos (valores y vectores propios de $W_i$), los modelos ofrecen una "lente" sobre la geometría de la representación que es interpretable por diseño.
• Alcance Modesto: Los autores declaran explícitamente que los priores estructurales presentados son una prueba de concepto. No afirman haber barrido todos los priores posibles para encontrar el equilibrio óptimo, ni afirman haber resuelto la ablación causal. En cambio, enmarcan esto como una base para trabajos futuros en la dirección causal y la caracterización de qué priores geométricos prefieren modelos específicos.

El artículo concluye que, aunque los métodos lineales son útiles, el campo debe avanzar hacia representaciones que puedan modelar explícitamente la geometría curva y de alta dimensión inherente a las activaciones de las redes neuronales para lograr una verdadera comprensión composicional.