Resumen Técnico: Descubrimiento de Estrategias de Procesamiento de Modelos de Lenguaje mediante la Factorización de Fisher por Ejemplo No Negativa

Planteamiento del Problema

Comprender las heurísticas y algoritmos que constituyen el comportamiento de un modelo de lenguaje es crítico para un despliegue seguro y fiable. Si bien trabajos previos sobre circuitos de Transformers han identificado con éxito grafos computacionales interpretables para comportaciones específicas y predefinidas (por ejemplo, la identificación del objeto indirecto), estos enfoques requieren que los investigadores definan de antemano los comportamientos de interés, lo que introduce sesgos y conlleva el riesgo de omitir estrategias de modelado no intuitivas.

Los métodos no supervisados recientes, como el agrupamiento de gradientes (gradient clustering), intentan descubrir los comportamientos del modelo agrupando ejemplos basados en los gradientes de la pérdida con respecto a los parámetros del modelo. Sin embargo, estos métodos sufren dos limitaciones principales:

1. Supuesto Monogénico: Operan bajo la suposición de que un único módulo interno impulsa el comportamiento para cada ejemplo. En realidad, los comportamientos de los modelos suelen ser "poligénicos", lo que significa que están influenciados por múltiples factores simultáneamente (por ejemplo, contextos ambiguos que involucran múltiples continuaciones posibles). El agrupamiento de gradientes fuerza una asignación de factor único, fallando al capturar esta complejidad.
2. Alcance Limitado de los Gradientes: Los gradientes de una única log-probabilidad (o pérdida) capturan solo una fracción estrecha de la distribución predictiva del modelo. Están sesgados hacia la clase específica que se está prediciendo, lo que los hace poco adecuados para capturar factores que influyen en las predicciones a través de diferentes clases, particularmente en escenarios de alta entropía o multiclasificación.

Metodología: NPEFF

Los autores presentan NPEFF (Non-Negative Per-Example Fisher Factorization), un método de interpretabilidad diseñado para descubrir factores de comportamiento poligénicos sin preespecificarlos.

1. Matrices de Fisher por Ejemplo (PEF)

En lugar de utilizar gradientes de pérdida, NPEFF utiliza la matriz Per-Example Fisher (PEF), $F(x)$, definida como:
$$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$$
La PEF es una matriz semidefinida positiva (PSD) que relaciona las perturbaciones de los parámetros con los cambios en toda la distribución predictiva del modelo. A diferencia de los gradientes, que se centran en un único resultado, la PEF captura la sensibilidad a través de todas las predicciones potenciales, lo que la hace adecuada para analizar comportamientos poligénicos donde múltiples factores influyen en la distribución.

2. Computación Eficiente mediante Proyecciones Aleatorias

Las matrices PEF son computacionalmente intratables para los modelos modernos debido a su tamaño (quintillones de entradas). Para abordar esto, los autores emplean proyecciones aleatorias (Achlioptas, 2003) para aproximar la PEF. Construyen una representación de matriz de bajo rango (LRM-PEF) y aplican proyecciones aleatorias para reducir la dimensionalidad. Crucialmente, demuestran que estas proyecciones pueden "revertirse" utilizando técnicas de sensores comprimidos (Donoho, 2006) para recuperar vectores dispersos en el espacio de parámetros, permitiendo la identificación de direcciones de modelo específicas correspondientes a los factores de comportamiento.

3. Descomposición No Negativa

El núcleo de NPEFF es un algoritmo de descomposición que aproxima un conjunto de PEFs como una combinación no negativa de matrices PSD de rango 1:
$$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{sujeto a} \quad W_{ij} \geq 0$$
Aquí, $h_j h_j^T$ representa la "pseudo-Fisher" del componente $j$, y $W_{ij}$ son coeficientes no negativos. Esta formulación permite que cada ejemplo sea explicado por una combinación ponderada de múltiples factores, modelando directamente la poligenicidad. El algoritmo alterna entre la actualización de coeficientes (usando actualizaciones multiplicativas similares a la factorización de matrices no negativas o NMF) y la actualización de los vectores pseudo-Fisher (usando descenso de gradiente).

4. Variante G-NPEFF

Para reducir los costes computacionales, los autores proponen G-NPEFF, que aplica el mismo algoritmo de descomposición a matrices de rango 1 construidas a partir del gradiente de la log-probabilidad de la clase/token predicho. Aunque es más económico, se demuestra que G-NPEFF es menos efectivo para capturar factores poligénicos a medida que aumenta el número de clases, ya que sigue estando sesgado hacia la clase predominante predicha.

Contribuciones Clave y Resultados

1. Descubrimiento de Factores Poligénicos Interpretables

A través de evaluaciones humanas y de LLM en tareas como análisis de sentimiento (SST2), identificación de temas (Yahoo Answers Topics) e identificación de intención (CLINC150), los autores demuestran que los componentes de NPEFF corresponden a temas interpretables (por ejemplo, "preguntas sobre la pérdida rápida de peso" o "descripciones positivas de actores").

• Poligenicidad: A diferencia del agrupamiento de gradientes, que recupera comportamientos casi exclusivamente "monogénicos" (de un solo factor), NPEFF recupera con éxito una fracción significativa de factores poligénicos. Esto se evidencia por un alto porcentaje de componentes que están ajustados a las etiquetas de verdad fundamental (ground-truth) pero no a las predicciones específicas del modelo (LnP-tuned), lo que indica que capturan factores que influyen en la distribución más allá de la predicción principal.
• Comparación: NPEFF supera a los modelos de referencia, incluyendo el agrupamiento de gradientes, los autoencoders dispersos de activaciones (SAEs) y la SVD sobre gradientes/activaciones, en la identificación de estos comportamientos matizados y multifactoriales.

2. Validación Causal mediante Perturbaciones de Parámetros

Los autores validan la importancia causal de los componentes de NPEFF reconstruyendo vectores en el espacio de parámetros a partir de los pseudo-Fishers proyectados mediante sensores comprimidos. Aplican perturbaciones a lo largo de estas direcciones y observan que:

• Las perturbaciones interrumpen significativamente las predicciones del modelo en los ejemplos donde el componente tiene un coeficiente alto.
• La interrupción es selectiva, afectando a los ejemplos objetivo mucho más que a los ejemplos aleatorios.
• Esto confirma que las direcciones descubiertas por NPEFF están vinculadas causalmente al procesamiento de factores de comportamiento específicos por parte del modelo.

3. Análisis de Aprendizaje en Contexto (ICL)

Los autores aplican NPEFF para analizar el ICL. Construyen un clasificador lineal basado en los ajustes de los componentes de NPEFF de disparo cero (zero-shot). Este clasificador logra una precisión comparable a la de un ICL de 6 disparos (6-shot) y realiza predicciones muy similares.

• Hallazgo: Esto sugiere que gran parte de la ganancia de rendimiento del ICL proviene de que el modelo repondera sus existentes factores de comportamiento de disparo cero para adaptarse a la formulación de la tarea, en lugar de aprender comportamientos completamente nuevos a partir del contexto.

4. Eficiencia y Escalabilidad

• G-NPEFF: El artículo muestra que para tareas con pocas clases, G-NPEFF funciona de manera similar al NPEFF completo, ofreciendo una alternativa rentable.
• Ablaciones: Los experimentos sobre los tamaños de proyección aleatoria y el número de componentes indican que el método es robusto. Incluso con una reducción de dimensionalidad agresiva, la descomposición retiene información significativa sobre el comportamiento del modelo.

Significado y Reivindicaciones

El artículo afirma que NPEFF representa un método novedoso y bien adecuado para descubrir factores de comportamientos de modelos poligénicos, abordando una brecha crítica dejada por los métodos de agrupamiento basados en gradientes.

• Novedad Metodológica: Al utilizar matrices de Fisher por ejemplo y una descomposición no negativa sobre matrices PSD de rango 1, NPEFF proporciona un marco que respeta la naturaleza multifactorial del procesamiento del lenguaje.
• Interpretabilidad Causal: La capacidad de mapear los componentes de vuelta a direcciones en el espacio de parámetros y de interrumpirlos selectivamente proporciona una fuerte evidencia causal de que estos componentes representan estrategias de procesamiento reales utilizadas por el modelo.
• Utilidad Práctica: El método permite la disección de comportamientos complejos (como el ICL) en sus factores constituyentes, ofreciendo un camino hacia una modificación de modelos y de seguridad más dirigida.

Los autores mantienen la modestia respecto al alcance de su trabajo, señalando que, si bien NPEFF identifica las direcciones en el espacio de parámetros importantes para comportamientos específicos, la construcción de los algoritmos explícitos o los circuitos computacionales correspondientes a estas direcciones sigue siendo competencia de la investigación futura sobre circuitos de Transformers. También advierten que, aunque su código de perturbación permite la interrupción, la modificación sofisticada del comportamiento del modelo a escala conlleva riesgos de eliminar inadvertidamente comportamientos raros pero contextualmente apropiados.