Resumen Técnico: FLAS (Dirección de Activación Basada en Flujos)

Declaración del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) demuestran capacidades sólidas, controlar de manera fiable su comportamiento para alinearlo con preferencias o conceptos humanos específicos durante la inferencia sigue siendo un desafío. Los mecanismos de control existentes enfrentan limitaciones distintas:

• Prompting: Aunque simple, el prompting en contexto a menudo falla al incorporar conceptos complejos de manera robusta sin degradar el seguimiento de instrucciones o la fluidez.
• Ajuste fino: Métodos como LoRA o SFT son computacionalmente costosos, propensos al olvido catastrófico y carecen de interpretabilidad.
• Dirección de Activación: Los métodos actuales de dirección de activación (por ejemplo, DiffMean, CAA, ReFT) modifican representaciones intermedias mientras mantienen los parámetros del modelo congelados. Sin embargo, evaluaciones a gran escala en AxBench revelan que estos métodos son frecuentemente superados por el prompting simple. Además, a menudo requieren ajuste de fuerza por concepto en conjuntos de desarrollo y generalizan mal a conceptos no vistos.

Los autores hipotetizan que estas limitaciones provienen de suposiciones simplificadoras no validadas compartidas entre métodos anteriores, específicamente:

1. Transformaciones Fijas y de Un Solo Paso: Las intervenciones se restringen a un único vector de desplazamiento aplicado una sola vez.
2. Invarianza de Posición: La misma intervención se aplica uniformemente en todas las posiciones de token en una secuencia.
3. Supervisión Contrastiva: Muchos métodos dependen de datos apareados positivos/negativos (pares contrastivos) para el entrenamiento.

Metodología: FLAS

El artículo propone FLAS (Dirección de Activación Basada en Flujos), un método que reemplaza las intervenciones fijas de un solo paso con un campo de velocidad aprendido condicionado al concepto.

Formulación Central

FLAS modela el proceso de dirección como un flujo continuo en lugar de un salto discreto. Dado un modelo de lenguaje base con estado oculto $h$ en la capa $\ell$ y una descripción de concepto en lenguaje natural $c$, FLAS aprende un campo de velocidad $v_\theta(h, t, c)$ definido por la Ecuación Diferencial Ordinaria (ODE):
$$\frac{d}{dt}\phi_t(h) = v_\theta(\phi_t(h), t, c)$$
donde $\phi_0(h) = h$. La activación dirigida $h'$ se obtiene integrando este campo de velocidad desde el tiempo $t=0$ hasta un tiempo de flujo $T$:
$$h' = \phi_T(h) = h + \int_0^T v_\theta(\phi_t(h), t, c) dt$$

En la práctica, esta integral se aproxima utilizando un método de Euler hacia adelante de N pasos:
$$h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k, \frac{kT}{N}, c\right)$$
Esto permite que la intervención siga trayectorias curvas y de múltiples pasos a través del espacio de activación, adaptándose a medida que evoluciona el estado de activación.

Arquitectura (FlowBlock)

El campo de velocidad $v_\theta$ se instancia como un FlowBlock, un módulo estilo transformador insertado en una capa específica del modelo base congelado.

• Entradas: Activación actual $h_k$, representación codificada del concepto $\phi(c)$ y paso de tiempo $t_k$.
• Mecanismo:
  1. Condicionamiento de Tiempo: El tiempo se inyecta mediante incrustaciones sinusoidales.
  2. Atención Cruzada: La activación atiende a la codificación del concepto (producida por un codificador de conceptos congelado que reutiliza las primeras capas del modelo base).
  3. Atención Self y MLP: Una capa de atención self causal y una red de alimentación hacia adelante procesan la información para producir un desplazamiento por token.
• Propiedades Clave:
  • Dependiente del Estado: La velocidad depende de la activación actual $h$, permitiendo trayectorias adaptativas.
  • Por Token: La velocidad se calcula para cada posición de token, permitiendo una dirección no uniforme a través de una secuencia.
  • Zero-Shot: Se entrena solo con ejemplos positivos (respuestas alineadas con el concepto) utilizando un objetivo estándar de modelado de lenguaje, eliminando la necesidad de pares contrastivos.

Estrategia de Entrenamiento

• Objetivo: Minimizar la entropía cruzada de modelado de lenguaje en los tokens de salida después de inyectar la activación dirigida $h_N$.
• Penalización de Diversidad: Se añade una pérdida de diversidad para penalizar la similitud coseno entre velocidades promediadas de diferentes conceptos dentro de un lote, asegurando direcciones de dirección distintas.
• Control de Fuerza: El tiempo de flujo $T$ actúa como un parámetro escalar continuo. Al aleatorizar $T$ durante el entrenamiento (por ejemplo, $T \sim \text{Uniforme}[0.5, 2.0]$), el modelo aprende a extrapolar a diferentes fuerzas en la inferencia sin ajuste por concepto.

Contribuciones Clave

1. Marco FLAS: La introducción de un campo de velocidad condicionado al concepto integrado mediante pasos de Euler de múltiples pasos, permitiendo una dirección adaptativa, de múltiples pasos y sensible a la posición, entrenada únicamente con datos positivos.
2. Rendimiento en AxBench: FLAS es el primer método de dirección aprendido que supera consistentemente al prompting en contexto en la referencia AxBench.
   • Gemma-2-2B-IT (Retenido): HMean 1.015 (vs. Prompting 0.762).
   • Gemma-2-9B-IT (Retenido): HMean 1.113 (vs. Prompting 1.091).
   • Crucialmente, esto se logra con un único tiempo de flujo fijo ($T=2$) y sin ajuste por concepto.
3. Generalización: El método generaliza entre familias de modelos (probado en Qwen3-4B) y escala monótonamente con el número de conceptos de entrenamiento (hasta 16k), mostrando ninguna saturación clara.
4. Insights Geométricos: El análisis del flujo aprendido revela que las trayectorias de dirección efectivas son curvas, requieren múltiples pasos para resolverse y varían significativamente entre posiciones de token. Esto desafía la "Hipótesis de Representación Lineal" y sugiere que las suposiciones anteriores sobre la geometría del espacio de activación son incompletas.

Resultados y Análisis

• Robustez: A diferencia de las líneas base (por ejemplo, ReFT, DiffMean, AcT) que degradan el seguimiento de instrucciones y la fluidez a medida que aumenta la fuerza de dirección, FLAS mantiene puntuaciones altas en un amplio rango de tiempos de flujo ($T \in [0.5, 4.0]$).
• Estudios de Ablación:
  • Atención Cruzada: Deshabilitar la atención cruzada (la vía para la información del concepto) causa una caída catastrófica en el rendimiento ($t = -37.82$).
  • Múltiples Pasos: Reducir los pasos de integración a $N=1$ (un único desplazamiento adaptativo) degrada significativamente el rendimiento, confirmando la necesidad de trayectorias curvas y de múltiples pasos.
  • Pérdida de Diversidad: Eliminar la penalización de diversidad reduce el rendimiento y causa un colapso en el seguimiento de instrucciones a tiempos de flujo altos.
• Costo Computacional: FLAS introduce una sobrecarga de generación por token (aprox. 1.5x en modelos de 2B) debido a la evaluación repetida del FlowBlock, pero esto se considera aceptable dadas las ganancias de calidad. Es significativamente más eficiente en parámetros que HyperSteer (que utiliza una hiperred de más de 2.6B de parámetros).

Significado

El artículo afirma que FLAS representa un cambio de paradigma en la dirección de activación al tratar las intervenciones como flujos en lugar de vectores estáticos.

• Evidencia Empírica: Proporciona evidencia empírica de que la dirección efectiva requiere intervenciones no lineales y sensibles a la posición, sugiriendo que las suposiciones geométricas subyacentes a gran parte de la literatura anterior son incompletas.
• Impacto Práctico: Al eliminar la necesidad de datos contrastivos y ajuste por concepto, FLAS ofrece un camino más escalable y robusto para controlar el comportamiento de los LLM, cerrando exitosamente la brecha entre la flexibilidad del prompting y la eficiencia de la dirección sin parámetros.
• Insight Teórico: La visualización de trayectorias curvas y de múltiples pasos ofrece una nueva lente para comprender los cálculos internos de los LLM, yendo más allá de la hipótesis del subespacio lineal.