Resumen Técnico: Particionamiento de Ejemplares para la Interpretabilidad Mecanicista

Enunciado del Problema

La interpretabilidad mecanicista busca desreverse ingeniería las redes neuronales en algoritmos legibles por humanos. Los enfoques actuales enfrentan limitaciones distintas:

• Análisis de Circuitos: Aísla subgrafos específicos de la tarea pero falla en producir un inventario de características a nivel de modelo.
• Sondeo Supervisado: Limitado a probar conceptos que los investigadores ya saben buscar.
• Autoencoders Dispersos (SAEs): Como enfoque no supervisado dominante, los SAEs aprenden un diccionario de tamaño fijo optimizando un objetivo de reconstrucción que agrupa dispersión, reconstrucción y tamaño del diccionario. Este proceso de entrenamiento es computacionalmente costoso (requiriendo miles de millones de tokens) e introduce compromisos (por ejemplo, tamaño de diccionario fijo, aprendizaje de base lineal) que pueden oscurecer propiedades intrínsecas de la geometría de activación del modelo.

La pregunta central planteada es: ¿Cuánta de la estructura de características que los SAEs descubren se debe al propio objetivo de entrenamiento, en comparación con cuánto ya está presente en la geometría de activación del modelo y es accesible mediante una construcción más directa y no aprendida?

Metodología: Particionamiento de Ejemplares (EP)

El Particionamiento de Ejemplares es un método no supervisado para construir diccionarios de características interpretables a partir de activaciones de Modelos de Lenguaje Grande (LLM) sin entrenamiento. Trata el diccionario como una partición de Voronoi del espacio de activación, construida mediante agrupamiento de líderes en un solo paso de transmisión en flujo.

Construcción Central

1. Agrupamiento de Líderes en Flujo: En lugar de promediar activaciones para formar centroides (lo que puede crear direcciones incoherentes y causar inestabilidad en el agrupamiento), EP utiliza ejemplares fijos. Un ejemplar es una activación real y observada del flujo de datos.
   • Cuando llega una nueva activación, se centra y normaliza.
   • Si su distancia al ejemplar existente más cercano está por debajo de un umbral, se une a esa región.
   • Si supera el umbral, se convierte en un nuevo ejemplar, sembrando una nueva región.
2. Calibración y Umbralización: El umbral de distancia $\theta_p$ no es un valor absoluto, sino el percentil $p$-ésimo de las distancias por pares calculadas en un pequeño lote de calibración. Esto permite ajustar la resolución del diccionario (menor $p$ = granularidad más fina; mayor $p$ = más gruesa) manteniéndola comparable entre capas y modelos.
3. Criterio de Saturación: El diccionario crece hasta que pasa una "ventana de saturación" sin nuevos ejemplares. Esto significa que el tamaño del diccionario no está prescrito, sino determinado por la geometría de activación a la resolución elegida.
4. Inferencia: Las nuevas activaciones se asignan a su ejemplar más cercano. El diccionario es nativamente 1-disperso (one-hot) pero puede extenderse a asignaciones $n$-dispersas o densas basadas en distancias.

Propiedades Clave

• Observabilidad: Dado que las regiones están ancladas por ejemplares observados en lugar de pesos aprendidos, los diccionarios construidos a partir del mismo flujo de datos son directamente comparables entre capas, modelos y puntos de control de entrenamiento mediante la coincidencia de ejemplares.
• Métrica de Estabilidad: El artículo introduce una estadística $D_i = \log_{10}(N_i c_i^2)$ (donde $N_i$ es el conteo de miembros y $c_i$ es la coherencia de los miembros) para predecir la estabilidad cruzada de semillas de una región. Las regiones con alto $D_i$ tienen más probabilidades de replicarse a través de diferentes órdenes de transmisión.

Contribuciones y Resultados Clave

1. Eficiencia y Escalabilidad

EP construye diccionarios con $\sim 10^3\times$ menos tokens que los SAEs comparables.

• Costo de Construcción: Un diccionario p1 para Gemma-2-2B se construye en minutos en una sola GPU utilizando $\sim 3.6 \times 10^6$ tokens, mientras que los SAEs comparables requieren entrenamiento en miles de millones de tokens.
• Sin Retropropagación: El método requiere cero pasos hacia atrás.

2. Interpretabilidad e Intervención Causal

• Ablación Causal: En Gemma-2-2B-it, el comportamiento de rechazo se concentra en una región específica de EP. Ablar la dirección del ejemplar (la activación de primera llegada) de esta región colapsa el rechazo mantenido en hasta $\Delta = -0.96$. Esto demuestra que la "dirección de rechazo" es un eje preciso capturado por un solo ejemplar, lo cual es más efectivo para la intervención que la dirección media de la región.
• Coincidencia Cruzada de Puntos de Control: Coincidir diccionarios base y ajustados por instrucciones revela que el ajuste por instrucciones reancla en gran medida la estructura direccional del modelo, preservando solo un pequeño subconjunto universal. También muestra que la dirección de rechazo en el modelo ajustado se promueve desde una dirección de contenido dañino dentro del prompt presente en el modelo base.

3. Rendimiento en Pruebas de Referencia

• AxBench (Detección de Conceptos): En Gemma-2-2B-it L20, un diccionario EP a resolución $p=1$ logra un AUROC medio de 0.881 a través de 500 conceptos latentes.
  • Esto es +0.126 sobre la entrada canónica de GemmaScope SAE (0.755).
  • Está dentro de 0.030 de la línea base más fuerte, SAE-A (0.911), a pesar de usar un grupo de candidatos más pequeño y significativamente menos computación.
• SAEBench (Retención de Información): Un diccionario EP p10 ($\ell_0=1$) retiene $\sim 97\%$ de la precisión del sondeo de activación cruda (0.930 vs. 0.959 para IdentitySAE). Esto sugiere que la identidad linealmente decodificable de los conceptos se preserva en gran medida por la estructura de densidad sola, incluso al descartar casi todas las coordenadas crudas.

4. Perspectivas Geométricas

• Densidad vs. Separabilidad Lineal: EP y los SAEs hacen compromisos geométricos diferentes. EP se compromete con la densidad (las regiones son conos reales en el espacio de activación), mientras que los SAEs se comprometen con la separabilidad lineal (reconstrucción dispersa).
• Núcleo Compartido: Aproximadamente el 20% de las regiones de EP coinciden con una característica de SAE en $F1 > 0.5$ (en $p=10$). Coinciden donde las direcciones están tanto concentradas en densidad como linealmente separables.
• Señal Fuera de Distribución (OOD): La distancia al ejemplar más cercano proporciona una señal OOD gratuita. Los tokens aleatorios están consistentemente más lejos de su ejemplar más cercano que los tokens dentro de la distribución, con la brecha ampliándose a resoluciones más finas.

Significado y Afirmaciones

El artículo afirma que el Particionamiento de Ejemplares ofrece una nueva clase de objetos de interpretabilidad que son:

1. Eficientes: Accesibles para investigadores sin presupuestos de computación de laboratorios de vanguardia.
2. Directos: Revelan propiedades de la geometría de activación (densidad, estabilidad, direcciones causales) que pueden estar oscurecidas por los objetivos de reconstrucción de los SAEs.
3. Conmensurables: El uso de ejemplares observados permite el seguimiento directo de la evolución de características a través de puntos de control de entrenamiento y variantes de modelos sin procedimientos de alineación complejos.

Los autores enfatizan que, aunque EP captura un "núcleo compartido" con los SAEs, también expone regiones amplias y ancladas en contenido que los SAEs fragmentan, y viceversa, los SAEs capturan direcciones lineales dispersas que EP no resuelve a una resolución dada. El artículo concluye que la estructura de densidad por sí sola lleva gran parte de la señal medida por el sondeo, y que la eficiencia del método y su interfaz de diccionario abierto lo convierten en una adición práctica al conjunto de herramientas de interpretabilidad.

Limitaciones Reconocidas:

• EP depende de la semilla; la identidad de la región cambia con el orden de transmisión, aunque la estabilidad puede predecirse mediante $D_i$.
• La implementación actual asume una geometría de coseno centrada, lo cual puede no capturar características dependientes de la magnitud de la activación.
• Los experimentos son exploratorios; el artículo no afirma que EP sea un reemplazo completo para los SAEs, sino una alternativa complementaria y altamente eficiente para tareas específicas de interpretabilidad.