Resumen Técnico: Atlas de Características de Referencia para la Auditoría Mecanicista de Modelos de Lenguaje

1. Declaración del Problema

La auditoría de nuevos modelos de lenguaje (LM) para evaluar su seguridad, sesgo u objetivos ocultos suele requerir el reaprendizaje y la reinterpretación de las características internas desde cero para cada nueva versión. Las herramientas actuales, como los Autoencoders Dispersos (SAEs) o los Crosscoders Dispersos, sufren limitaciones significativas en este contexto:

• Falta de Baselines Compartidos: Los SAE de un solo modelo producen un diccionario fresco para cada objetivo, lo que imposibilita distinguir si una característica es una anomalía específica del modelo o una característica típica de la familia.
• Comparación Ineficiente: Los Crosscoders por pares amortizan la interpretación entre dos modelos, pero requieren un reentrenamiento para un tercero. Estos aíslan las características específicas del objetivo mediante un umbral de norma del decodificador post-hoc dentro de un diccionario compartido, lo cual es una decisión suave por característica en lugar de una separación arquitectónica.
• Ausencia de Sistemas de Coordenadas: No existe una herramienta actual que ofrezca un sistema de coordenadas estable donde diferentes objetivos puedan compararse en igualdad de condiciones, ni un mecanismo para señalar explícitamente la estructura que se encuentra "fuera" de un panel de referencia de modelos conocidos.

El desafío central es distinguir entre los mecanismos genéricos y compartidos de una familia de modelos y los mecanismos específicos del objetivo que pueden codificar objetivos ocultos o sesgos únicos, sin tener que reiniciar el proceso de interpretabilidad para cada nuevo modelo.

2. Metodología: Atlas de Características de Referencia

Los autores proponen un Atlas de Características de Referencia, una librería de características dispersas entrenada una sola vez sobre un panel de referencia de modelos y reutilizada para nuevos objetivos. La metodología separa la identidad de la característica (qué es una característica) de el uso de la característica (con qué fuerza un nuevo modelo la activa).

2.1 Entrenamiento del Atlas (Etapa 1)

Se utiliza un panel de referencia $P = \{M_1, \dots, M_k\}$ de $k$ modelos para entrenar un sistema de coordenadas disperso compartido.

• Arquitectura: Un codificador multientrada $E_A$ mapea las activaciones de todos los modelos del panel hacia un espacio latente compartido $z_A \in \mathbb{R}^K$.
• Dispersión: El sistema utiliza dispersión BatchTopK (manteniendo las $k$ activaciones más grandes por token) para asegurar conteos de características estables a través de escalas de activación heterogéneas, evitando artefactos asociados con la dispersión L1 en el entrenamiento de crosscoders.
• Objetivo: El atlas minimiza la Fracción de Varianza No Explicada (FVU) para reconstruir las activaciones de cada modelo del panel ($h_i$) utilizando su decodificador específico $D_i$ y el código compartido $z_A$:
  $$\mathcal{L}_{atlas} = \sum_{i=1}^k \text{FVU}(h_i, D_i z_A)$$
• Curación de Metadatos: Una vez entrenado, las características del atlas se interpretan (por ejemplo, mediante hipótesis generadas por LLM, prompts de máxima activación) y se validan. Esta metadata es fija y se reutiliza para todas las auditorías futuras.

2.2 Acoplamiento de un Objetivo (Etapa 2)

Cuando llega un nuevo modelo objetivo $M_\star$, este se "acopla" al atlas congelado sin reentrenar el codificador ni los decodificadores del panel.

1. Ajuste de Decodificador Lineal: Se ajusta un único decodificador lineal para el objetivo $D_\star$ para reconstruir las activaciones de $M_\star$ utilizando el código del atlas $z_A$ congelado:
   $$\hat{h}_\star = D_\star z_A$$
   Este paso es computacionalmente económico (regresión de Ridge sobre un corpus neutral) y genera el Canal del Atlas.
2. Canal Residual: La parte de las activaciones del objetivo que no es reconstruida por el atlas se define como el residuo:
   $$r_\star = \text{sg}[h_\star - D_\star z_A]$$
   Se entrena un SAE Residual dedicado sobre $r_\star$ para formar un diccionario separado. Este canal captura explícitamente la estructura no cubierta por el panel —características que existen en el objetivo pero que no están representadas en el panel de referencia.

2.3 Salida de la Auditoría

La auditoría produce dos vistas complementarias:

• Canal del Atlas: Lee el objetivo sobre las características ya interpretadas del panel. Proporciona un sistema de coordenadas estable para la comparación de $N$ vías, mostrando qué características compartidas activa el objetivo y cuáles ignora.
• Canal Residual: Expone un inventario de características con nombre para los mecanismos que están "fuera del panel de referencia". Debido a que estas características residen en un diccionario separado por construcción arquitectónica (no por un umbral post-hoc), son distintas de las características compartidas.

3. Contribuciones Clave

1. Sistema de Coordenadas de Características Reutilizable: El atlas proporciona un sistema de coordenadas compartido entrenado una vez sobre un panel de referencia. Los nuevos objetivos se acoplan mediante un ajuste de decodificador lineal, permitiendo la comparación directa contra todos los modelos de referencia sin reentrenar el diccionario de características.
2. Separación Arquitectónica de la Estructura No Cubierta por el Panel: A diferencia de los crosscoders dispersos que mezclan características compartidas y específicas del modelo en un solo diccionario, este método ajusta un SAE residual separado sobre la señal no reconstruida. Esto hace que las características "no cubiertas por el panel" sean una propiedad arquitectónica fija, no una decisión post-hoc.
3. Firma de Linaje Cruzado vía Acoplamiento: La calidad del acoplamiento (medida por FVU o divergencia KL) sirve como una métrica escalar de cuánto del comportamiento de un objetivo se encuentra fuera del panel de referencia. Esto se expande en un inventario de características con nombre mediante el SAE residual.

4. Resultados Experimentales

Los autores entrenaron dos atlas de exclusión mutua (leave-one-out) sobre un panel de cinco modelos de instrucción de 7–9B (Llama-3.1, Qwen2.5, Mistral-7B, Gemma-2, OLMo-2) y auditaron los modelos excluidos (Mistral y Qwen).

4.1 Auditoría de Objetivo Oculto Controlado

Se inyectaron tres objetivos ocultos (una marca ficticia de postres, epiciclos ptolemaicos y la defensa del "Flying Spaghetti Monster") en ambos objetivos excluidos mediante pequeños LoRAs.

• Recuperación: El canal residual recuperó el mecanismo inyectado como la característica latente de mayor rango (rango medio 1.0, $\sigma=0$) en las seis ejecuciones emparejadas (3 semillas $\times$ 2 objetivos).
• Control Causal: Las intervenciones en tiempo de ejecución sobre las direcciones residuales llevaron la tasa del objetivo plantado a cero, mientras que las de control benignas no se vieron afectadas.
• Comparación con Baselines: En el objetivo Mistral, los autores reentrenaron los SAE por objetivo y los crosscoders por pares para un benchmark frente a frente. Ambos baselines fallaron en recuperar el objetivo como la característica principal (rangos 12 y 9, respectivamente), mientras que el atlas de referencia tuvo éxito.

4.2 Hallazgo de Encuadre Político Relativo al Panel (Qwen)

• Brecha de Acoplamiento: Qwen-2.5 se acopló al Atlas B (donde fue excluido) con una divergencia KL $\sim7\times$ mayor que su valor dentro del panel, indicando una estructura significativa fuera del panel de referencia.
• Descubrimiento Residual: El canal residual localizó esta brecha en continuaciones políticas específicas no cubiertas por el panel, incluyendo restricciones de poderes de emergencia, encuadres de suspensión de medios durante disturbios y justificaciones de ley y orden que restan importancia a los derechos individuales.
• Intervención: Dirigir el clúster residual desplazó monótonamente la tasa de rechazo de palabras clave políticas y el encuadre de ley y orden, mientras que los controles fuera de dominio permanecieron inalterados.
• Naturaleza del Hallazgo: Los autores enfatizan que esto es un hallazgo relativo al panel. Identifica una estructura en Qwen que el panel de referencia, de entrenamiento mayoritariamente occidental, no abarca, en lugar de hacer una afirmación intrínseca sobre los valores del modelo.

5. Significado y Reivindicaciones

El artículo afirma que el Atlas de Características de Referencia ofrece un marco más escalable, eficiente y riguroso para la auditoría mecanicista en comparación con los métodos actuales de vanguardia.

• Eficiencia: Evita el costo computacional de reentrenar diccionarios completos para cada nuevo modelo, requiriendo solo un ajuste de decodificador lineal.
• Comparabilidad: Resuelve el problema de la "inconmensurabilidad" de los SAE de un solo modelo y los crosscoders por pares al proporcionar un único sistema de $K$ dimensiones para la comparación de $N$ vías.
• Detección Explícita de Anomalías: Al separar arquitectónicamente el canal residual, el método hace explícita la superficie de los mecanismos que están "fuera del panel de referencia", proporcionando una señal clara de anomalías específicas del objetivo que los diccionarios compartidos podrían oscurecer.
• Modestia: Los autores señalan que los hallazgos son relativos al panel de referencia y al corpus de auditoría. Por ejemplo, el hallazgo de encuadre político está delimitado por la distribución de prompts y el panel utilizados; un panel diferente podría absorber estas características en las coordenadas compartidas. El método requiere acceso a las activaciones (modelos de pesos abiertos) y depende de etiquetas de características que siguen siendo hipótesis sujetas a validación.

El trabajo posiciona al atlas no solo como un extractor de características, sino como un protocolo de auditoría estandarizado que permite a los investigadores distinguir entre rasgos familiares compartidos y objetivos ocultos específicos del objetivo con mayor precisión y menor sobrecarga.