Resumen Técnico: UniSteer

Enunciado del Problema

El control basado en activaciones ha surgido como un paradigma ligero y modular para dirigir Grandes Modelos de Lenguaje (LLM) mediante la intervención en representaciones internas durante la inferencia, evitando la necesidad de actualizaciones de parámetros. Sin embargo, los métodos existentes enfrentan limitaciones significativas en flexibilidad y composibilidad:

• Direcciones Fijas: Métodos como la Adición de Activación Contrastiva (CAA) y la Ingeniería de Representaciones (RepE) dependen de direcciones de dirección predefinidas y fijas derivadas de ejemplos contrastivos.
• Módulos Específicos de Tarea: Los métodos de intervención aprendida (por ejemplo, LoReFT, ODESteer) entrenan módulos separados para cada comportamiento objetivo.
• Fallo Composicional: Estos enfoques luchan por manejar conceptos de grano fino o restricciones composicionales (por ejemplo, "sé útil, inofensivo y conciso") porque las direcciones aprendidas independientemente a menudo interfieren entre sí en espacios de activación de alta dimensión.

El desafío central es desarrollar un mecanismo unificado que pueda dirigir LLMs hacia comportamientos, conceptos y requisitos de múltiples restricciones arbitrarios utilizando lenguaje natural, sin ajustar modelos separados para cada objetivo.

Metodología: UniSteer

Los autores proponen UniSteer, un modelo de ajuste de flujo de activación guiado por texto que aprende una distribución condicional sobre las activaciones del flujo residual. En lugar de aprender vectores fijos, UniSteer aprende un campo de velocidad condicional universal en el espacio de activación.

1. Ajuste de Flujo de Activación Condicionado por Texto

UniSteer modela la distribución condicional $p_\theta(a^{(\ell)}_i | c, \ell, i)$, donde $a$ es la activación del flujo residual en la capa $\ell$ y el token $i$, y $c$ es una condición de lenguaje natural (por ejemplo, "Sé malvado" o "Sé conciso e inofensivo").

• Objetivo de Entrenamiento: El modelo aprende un campo vectorial condicional $v_\theta$ minimizando la pérdida de ajuste de flujo. Interpola entre un estado de ruido previo $a_0 \sim \mathcal{N}(0, I)$ y una activación objetivo $a_1$ utilizando una trayectoria de probabilidad lineal $a_t = (1-t)a_0 + ta_1$. La velocidad objetivo es $u_t = a_1 - a_0$. El modelo se entrena para predecir esta velocidad condicionada al texto $c$.
• Arquitectura: El modelo de flujo se implementa como un transformador estilo DiT con atención cruzada hacia un codificador de texto congelado (Qwen3-0.6B) y embebidos aprendidos para las posiciones de capa y token.

2. Dirección de Activación en Tiempo de Inferencia mediante Inversión de Flujo

Para dirigir un LLM congelado, UniSteer realiza inversión de flujo en lugar de muestrear desde cero:

1. Inversión Parcial: Una activación fuente $a_{src}$ (observada durante la generación) se transporta hacia atrás a lo largo del flujo condicionado a la condición fuente $c_{src}$ hasta un estado latente ruidoso intermedio $a_\tau$ (donde $\tau = 1 - \lambda$, y $\lambda$ es la fuerza de edición).
2. Regeneración Hacia Adelante: El estado latente se transporta luego hacia adelante a lo largo del flujo condicionado a la condición objetivo $c_{tgt}$ para generar una activación editada $\hat{a}_{edit}$.
3. Inyección: La activación editada se inyecta de nuevo en el flujo residual del LLM congelado para influir en la generación posterior.

3. Clasificación en el Espacio de Activación

UniSteer también funciona como un clasificador sin una cabeza separada. Dado un conjunto candidato de etiquetas textuales, el modelo reconstruye la activación de entrada bajo cada condición. La etiqueta que produce la menor energía de reconstrucción condicional ($\|a - \tilde{a}(c_j)\|^2_2$) se selecciona como la predicción.

Contribuciones Clave

1. Formulación Unificada: El artículo formula la dirección de activación como transporte de activación condicionado por texto, introduciendo un modelo de ajuste de flujo condicional que aprende un único campo de velocidad para objetivos de control heterogéneos (rasgos conductuales, conceptos de grano fino y múltiples restricciones).
2. Inversión de Flujo para Edición: Los autores proponen un mecanismo de inversión de flujo que permite que un único modelo maneje tanto la dirección de un solo comportamiento como la dirección composicional invirtiendo y regenerando parcialmente las activaciones basadas en condiciones de lenguaje natural.
3. Interfaz Unificada para Edición y Clasificación: El mismo modelo de activación condicional sirve para dos propósitos: dirigir la generación mediante inversión de flujo y clasificar estados internos mediante energía de reconstrucción, eliminando la necesidad de clasificadores específicos de tarea o módulos de intervención.

Resultados Experimentales

Los autores evaluaron UniSteer en tres LLMs objetivo (Llama-3.2-1B, Qwen2.5-1.5B y Qwen2.5-7B) en cinco configuraciones:

• Control Conductual (Persona): UniSteer obtuvo las puntuaciones más altas de rasgo objetivo en todos los modelos para rasgos como "malvado" y "adulador", superando a líneas base como CAA y RepE.
• Dirección de Veracidad (TruthfulQA): UniSteer mejoró la puntuación Truth*Info sobre los modelos originales, demostrando la capacidad de dirigir hacia la precisión factual en lugar de solo el estilo.
• Dirección de Conceptos de Grano Fino (AxBench): UniSteer logró un rendimiento competitivo o superior en la dirección de conceptos (por ejemplo, "sé breve") en comparación con líneas base específicas de conceptos, a pesar de utilizar un único modelo compartido.
• Seguimiento de Instrucciones con Múltiples Restricciones (RECAST): UniSteer manejó con éxito restricciones simultáneas (por ejemplo, 5 o 10 restricciones), superando a líneas base que luchan con la interferencia entre múltiples direcciones fijas.
• Clasificación en el Espacio de Activación (ToxiGen): Utilizando la energía de reconstrucción, UniSteer logró una precisión y un AUC de vanguardia o empatados con los mejores en la clasificación de contenido tóxico frente a no tóxico, validando su capacidad para capturar distribuciones de activación dependientes de la condición.
• Análisis a Nivel de Token: El análisis de las restricciones "start_with" mostró que UniSteer aplica ediciones de manera consciente de la posición, alineándose fuertemente con las direcciones de restricción en posiciones específicas de token (por ejemplo, el inicio de una respuesta) en lugar de aplicar perturbaciones globales.

Significado y Afirmaciones

El artículo afirma que UniSteer proporciona una interfaz unificada para la dirección y clasificación de LLM. Al cambiar de direcciones fijas o módulos específicos de tarea a un campo de velocidad condicionado por texto, el método maneja naturalmente restricciones composicionales y conceptos de grano fino que son difíciles de combinar para los métodos existentes.

Los autores enfatizan que este enfoque permite:

• Versatilidad: Un único modelo puede manejar diversas tareas (persona, veracidad, restricciones) simplemente cambiando la condición textual.
• Composibilidad: Los requisitos de múltiples restricciones se expresan directamente en el texto de la condición, evitando los problemas de interferencia de combinar vectores de dirección separados.
• Interpretabilidad: La capacidad del modelo para clasificar activaciones mediante energía de reconstrucción sugiere que el flujo aprendido captura efectivamente la estructura semántica de los estados internos del modelo.

Los autores señalan limitaciones, incluida la falta de evaluación en generación de texto largo, estabilidad en múltiples turnos y tareas de razonamiento complejo. También destacan consideraciones de seguridad, reconociendo que el mismo mecanismo utilizado para mejorar la utilidad podría teóricamente utilizarse para amplificar comportamientos indeseables, lo que hace necesarios futuros filtros de seguridad y auditorías.