Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

Resumen Técnico: Dirección Conductual en Modelos LLM de 35B mediante Vectores Decodificados de SAE

1. Problema y Contexto

El objetivo central de la interpretabilidad mecánica es pasar de observar qué hacen los modelos de lenguaje a intervenir en cómo lo hacen. Aunque existen métodos prometedores como los Autoencoders Dispersos (SAE) para descomponer representaciones en características interpretables y la dirección de activación (activation steering) para modificar comportamientos sin reentrenamiento, la mayoría de estos estudios se han limitado a modelos pequeños (hasta 7B) con arquitecturas Transformer estándar.

Este trabajo aborda la pregunta de si estas técnicas escalan a modelos de producción masivos con arquitecturas híbridas no estándar. Específicamente, se centra en Qwen 3.5-35B-A3B, un modelo de 35 mil millones de parámetros (con 3B activos por token) que utiliza una arquitectura híbrida de Mixture-of-Experts (MoE) combinando capas de GatedDeltaNet (recurrencia lineal) y capas de Atención estándar.

El desafío es identificar y controlar cinco rasgos conductuales de agentes: autonomía, entusiasmo por el uso de herramientas, persistencia, calibración de riesgos y deferencia.

2. Metodología

Los autores proponen un pipeline de cuatro etapas que combina la descubrimiento de características con SAE y la ingeniería de activaciones:

1. Entrenamiento de SAE: Se entrenaron 9 Autoencoders Dispersos (SAE) sobre el flujo residual del modelo en diferentes profundidades (capas tempranas, medias y tardías), cubriendo tanto las capas GatedDeltaNet como las de Atención.
2. Identificación de Características Contrastivas: Se definieron pares de prompts contrastantes (ALTO vs. BAJO) para cada rasgo conductual. Se calcularon puntuaciones de asociación de rasgos (TAS) en las activaciones latentes de los SAE para identificar los puntos de conexión óptimos.
3. Proyección de Sonda a Vector de Dirección (SAE-Decoded Probe):
   • Se entrena una sonda lineal (regresión ridge) sobre las activaciones latentes del SAE para predecir el rasgo.
   • Innovación clave: En lugar de manipular directamente las características del SAE (lo cual implicaría una discretización top-k que destruye la información direccional fina), los pesos de la sonda ($w_{probe}$) se proyectan a través de la matriz de decodificador del SAE ($W_{dec}$) para obtener un vector de dirección continuo en el espacio de activación nativo del modelo:
     $$v_{steer} = W_{dec}^{\top} w_{probe}$$
   • Esto permite una intervención conductual de alta precisión sin reentrenar el modelo.
4. Evaluación Conductual: Se ejecutaron 1,800 simulaciones de agentes (50 escenarios × 36 condiciones) en tareas estilo ReAct. Se midieron métricas proxy extraídas de las trayectorias (ej. frecuencia de llamadas a ask_user vs. ejecución de código o búsqueda web).

3. Contribuciones Clave

1. Escalabilidad a 35B MoE: Demuestran que la proyección de sondas decodificadas por SAE es causalmente efectiva en una arquitectura híbrida de producción, logrando tamaños de efecto (Cohen's $d$) de hasta 1.04 para la autonomía.
2. Un Eje de Agencia Dominante: El análisis cruzado revela que los cinco vectores de dirección no controlan rasgos independientes, sino que modulan principalmente un único eje de agencia compartido (la disposición a actuar independientemente vs. deferir al usuario). Los efectos específicos del rasgo aparecen solo como modulaciones secundarias en el tipo de herramienta utilizada.
3. Disociación Correlación-Causalidad: Se demuestra empíricamente que una alta precisión de sonda ($R^2$) no garantiza relevancia causal. Dos rasgos (calibración de riesgos y entusiasmo por herramientas) compartieron el mismo SAE y capa con $R^2$ casi idénticos (~0.79), pero sus vectores eran ortogonales; uno funcionó para dirigir el comportamiento, mientras que el otro solo suprimió la acción sin redirigirla.
4. Compromiso Conductual en la Fase de "Prefill": Se encontró que la dirección conductual solo tiene efecto si se aplica durante el procesamiento del prompt (prefill). La aplicación de vectores solo durante la generación autoregresiva (decode-only) tiene un efecto nulo, lo que sugiere que las decisiones de comportamiento se "compilan" en el estado recurrente de GatedDeltaNet durante la fase de prellenado.

4. Resultados Principales

• Eficacia por Rasgo:

  • Autonomía (Éxito): Logró reducir las llamadas de ayuda al usuario del 78% al 12% y aumentar la ejecución proactiva de herramientas. El efecto sigue una curva en forma de "U invertida" suave.
  • Entusiasmo por Herramientas (Éxito con transición de fase): Mostró un comportamiento no monótono. Multiplicadores intermedios degradaron el rendimiento, pero un multiplicador alto ($\alpha=3$) provocó una transición a un nuevo modo de comportamiento estable (88% de búsquedas web).
  • Deferencia (Éxito limitado): Solo funcionó bien si se aplicaba exclusivamente en la fase de prefill, sugiriendo que es una propiedad disposicional establecida al inicio.
  • Persistencia y Calibración de Riesgos (Fallo): No lograron redirigir el comportamiento. La calibración de riesgos, a pesar de tener una alta $R^2$, produjo solo supresión de acciones, demostrando ser una representación epifenominal (predictiva pero no causal).

• Análisis de Especificidad Cruzada:

  • Todos los vectores de dirección aumentaron la autonomía y disminuyeron la deferencia, independientemente del rasgo objetivo.
  • No se encontró un vector con una relación de especificidad > 1.0 (el efecto en el rasgo objetivo no fue mayor que en otros rasgos).
  • La "agencia" es un eje unificado; la diferencia entre rasgos radica en qué tipo de herramienta se usa (código vs. web) y no en la decisión fundamental de actuar o no.

• Hallazgo de Arquitectura (GatedDeltaNet):

  • La falta de efecto en el modo decode-only proporciona evidencia causal de que las capas recurrentes de GatedDeltaNet propagan las decisiones de comportamiento tomadas durante el prefill a través del estado oculto, determinando la generación posterior.

5. Significado e Impacto

• Interpretabilidad Mecánica: Este trabajo desafía la noción de que los rasgos conductuales complejos son direcciones lineales independientes en el espacio latente. Sugiere una estructura jerárquica donde una decisión binaria fundamental (actuar vs. deferir) domina, y los detalles específicos son modulaciones secundarias.
• Advertencia sobre Sondas: Proporciona una advertencia crítica para la investigación futura: las sondas lineales miden correlación, no causalidad. Una dirección puede ser estadísticamente predictiva de un comportamiento sin ser parte de la cadena causal que lo genera.
• Implicaciones de Seguridad (Dual-Use): La capacidad de alterar la "agencia" de un modelo tiene riesgos de doble uso. Un vector que aumenta la productividad (autonomía) podría también eliminar comportamientos de deferencia necesarios para la seguridad. Además, el hallazgo de que la dirección ocurre en el prefill sugiere que el monitoreo de esta fase es crucial para detectar modificaciones no autorizadas.
• Viabilidad Técnica: Confirma que las técnicas de ingeniería de activaciones pueden aplicarse exitosamente a modelos de escala de producción con arquitecturas híbridas complejas, abriendo la puerta a la intervención en tiempo real sin reentrenamiento.

En conclusión, el estudio demuestra que la dirección conductual es posible a gran escala, pero revela una estructura subyacente más simple (un solo eje de agencia) y más compleja (disociación entre predicción y causalidad) de lo que se esperaba inicialmente.