Resumen Técnico: Descomposición del Espacio de Representación en Subespacios Interpretables con Aprendizaje No Supervisado

Enunciado del Problema

La interpretabilidad mecánica busca descubrir los algoritmos y circuitos internos de las redes neuronales. Aunque se han logrado avances significativos en la identificación de componentes (cabeceras de atención, MLPs), características dispersas (mediante Autoencoders Dispersos) y subespacios específicos, los métodos existentes enfrentan limitaciones. El análisis basado en componentes a menudo requiere datos contrafactuales especializados para la intervención causal. Las características dispersas ofrecen interpretabilidad, pero dan lugar a circuitos dependientes de la entrada que modifican el cálculo del modelo. Los enfoques actuales basados en subespacios dependen típicamente del aprendizaje supervisado guiado por modelos causales abstractos especificados por humanos, lo que exige que los investigadores anticipen mecanismos específicos con antelación.

La pregunta central abordada por este artículo es si es posible encontrar subespacios "naturales" e interpretables dentro del espacio de representación de los modelos neuronales de manera puramente no supervisada, sin acceso a características de verdad fundamental ni hipótesis definidas por humanos.

Metodología: Minimización de la Distancia entre Vecinos (NDM)

Los autores proponen la Minimización de la Distancia entre Vecinos (NDM), un método no supervisado para dividir el espacio de representación en subespacios ortogonales no alineados con la base.

Intuición Central

El método se fundamenta en la hipótesis de que las representaciones neuronales exhiben mutua exclusividad dentro de los grupos de características. Si un conjunto de características es mutuamente exclusivo (solo una o ninguna está activa a la vez), pueden superponerse dentro de un subespacio dedicado. Por el contrario, las características de diferentes grupos (que pueden coexistir) deben representarse de forma ortogonal para evitar interferencias.

• Interpretación Geométrica: En un espacio correctamente dividido, los puntos de datos proyectados sobre un subespacio específico se situarán sobre unas pocas líneas concentradas (que representan las características activas de ese grupo). En consecuencia, cada punto tendrá un vecino muy cercano dentro de dicho subespacio.
• Objetivo de Optimización: NDM busca una matriz ortogonal $R$ y una configuración de dimensiones $c$ que minimicen la distancia entre cada activación y su vecino más cercano dentro de cada subespacio resultante.

Algoritmo

1. Transformación: Una matriz ortogonal $R$ rota y refleja las activaciones del modelo $h$. El espacio transformado se divide en subespacios basándose en una configuración de dimensiones $c = [d_1, \dots, d_S]$.
2. Función de Pérdida: El objetivo minimiza la distancia promedio al vecino más cercano dentro de cada subespacio $s$:
   $$\min_R \frac{1}{N} \sum_{s=1}^S \sum_{n=1}^N \text{dist}(\hat{h}_n^{(s)}, \hat{h}_{n^*}^{(s)})$$
   donde $\hat{h}_{n^*}^{(s)}$ es el vecino más cercano de $\hat{h}_n^{(s)}$ en el subespacio $s$.
3. Configuración de Dimensiones: Dado que el número de subespacios y sus dimensiones son desconocidos, el método comienza con subespacios pequeños y de tamaño igual. Durante el entrenamiento, estima periódicamente la Información Mutua (MI) entre subespacios utilizando un estimador KSG. Si la MI entre dos subespacios supera un umbral, se fusionan. Este proceso continúa hasta que ningún par supera el umbral, encontrando efectivamente una partición donde los subespacios son lo más independientes posible.

Contribuciones y Resultados Clave

1. Validación con Modelo de Juguete

En un entorno controlado de modelo de juguete donde se conocen los grupos de características de verdad fundamental, NDM recupera con éxito los subespacios ortogonales dedicados a cada grupo de características. El método minimiza la distancia a los vecinos más cercanos, lo que lleva a una partición donde cada subespacio codifica solo un grupo de características, validando el vínculo teórico entre la mutua exclusividad, la superposición y la ortogonalidad de los subespacios.

2. Evaluación Cuantitativa en GPT-2 Small

Los autores evaluaron NDM en GPT-2 Small utilizando parcheo de activación de subespacio en circuitos conocidos (Identificación de Objeto Indirecto y circuitos Mayor-que).

• Métrica: midieron la concentración de los efectos del parcheo utilizando el coeficiente de Gini. Un coeficiente de Gini alto indica que una pieza específica de información (por ejemplo, el token anterior) está concentrada en un solo subespacio.
• Rendimiento: NDM superó significativamente a las líneas base (Identidad, Aleatorio, PCA y agrupamiento de características de SAE). NDM logró un coeficiente de Gini promedio de 0.71, muy por encima del umbral de 0.6 para una concentración satisfactoria, mientras que las líneas base oscilaron entre 0.21 y 0.38.
• Evidencia: Los resultados demuestran que NDM encuentra subespacios que se alinean con "variables" de alto nivel en circuitos conocidos, como el token anterior o la posición del sujeto, independientemente de los valores específicos que tomen esas variables.

3. Análisis Cualitativo mediante InversionView

Utilizando InversionView, los autores analizaron las preimágenes (entradas que se mapean a activaciones similares) de los subespacios descubiertos.

• Interpretabilidad: Se encontró que los subespacios codifican aspectos distintos e interpretables del contexto, como el token actual, el token anterior, la posición del token y el tema general.
• Consistencia: La función de un subespacio fue consistente a través de diferentes entradas (por ejemplo, un subespacio específico codificó consistentemente el token actual), lo que sugiere que estos subespacios actúan como "variables" estables para el modelo.

4. Escalabilidad a Modelos Más Grandes

El método se aplicó a Qwen2.5-1.5B y Gemma-2-2B para investigar escenarios de conflicto de conocimiento (conocimiento paramétrico vs. conocimiento contextual).

• Hallazgos: NDM identificó subespacios separados que median el enrutamiento de conocimiento paramétrico y el enrutamiento de conocimiento contextual. Los experimentos de parcheo mostraron que subespacios específicos tuvieron efectos fuertes bajo entradas contrafactuales diseñadas para romper un mecanismo mientras dejaban intacto el otro.
• Significado: Esto sugiere que incluso en modelos más grandes sin circuitos de verdad fundamental conocidos, NDM puede descubrir estructuras funcionales significativas y separables.

Significado y Afirmaciones

El artículo afirma que NDM ofrece una nueva perspectiva para comprender los internos del modelo al descomponer el espacio de representación en subespacios interpretables e independientes de la entrada sin supervisión.

• Nuevas Unidades Básicas: Los autores proponen que estos subespacios pueden servir como unidades fundamentales para circuitos de subespacio. A diferencia de los circuitos de características, que son dependientes de la entrada, los circuitos de subespacio operan sobre "variables" (grupos de características) y pueden construirse analizando los pesos del modelo (por ejemplo, desde qué subespacios lee y a cuáles escribe una cabecera de atención).
• Descubrimiento No Supervisado: El método demuestra que existen particiones "naturales" en modelos del mundo real, impulsadas por la estructura estadística de los datos (mutua exclusividad) en lugar de hipótesis humanas.
• Limitaciones: Los autores reconocen que las particiones actuales pueden no ser lo suficientemente finas (por ejemplo, faltan subespacios diminutos para variables con conjuntos de valores pequeños) y que algunos subespacios siguen siendo difíciles de interpretar. Señalan que el método depende de la Hipótesis de Representación Lineal y que la optimización a veces puede quedar atrapada en mínimos locales.

En conclusión, el artículo argumenta que la descomposición no supervisada mediante la minimización de la distancia entre vecinos es un camino viable hacia el descubrimiento de las "variables" y los circuitos que gobiernan el comportamiento de los modelos neuronales, proporcionando un marco escalable e interpretable para el análisis mecánico.