Resumen Técnico: Optimización de Políticas Guiada por Vectores (VSPO)

Declaración del Problema

Los modelos de lenguaje grandes (LLM) modernos a menudo requieren optimización para un objetivo principal de precisión mientras acomodan simultáneamente preferencias conductuales secundarias, como la verbosidad, la expresión de confianza, el nivel de experiencia o la robustez ante contextos engañosos. En la práctica, los modelos base pueden exhibir estos comportamientos deseados raramente o no en absoluto, creando un cuello de botella de recompensa conductual dispersa.

Los enfoques existentes enfrentan limitaciones significativas en este escenario multiobjetivo:

• Configuración de Recompensas: Añadir recompensas auxiliares a la Optimización de Políticas Relativa por Grupos (GRPO) es a menudo ineficiente cuando el comportamiento objetivo es raro en las trayectorias muestreadas. Las recompensas escalares evalúan trayectorias pero no mejoran la diversidad ni la calidad de la distribución de trayectorias en sí misma. Si un grupo de GRPO carece de candidatos de alta calidad o conductualmente diversos, la normalización de ventaja relativa proporciona señales de aprendizaje débiles.
• Destilación de Rastros de Profesor (SFT): Utilizar un modelo profesor más fuerte para generar o reescribir rastros con comportamientos objetivo introduce un desajuste fuera de política. El modelo estudiante aprende de trayectorias producidas por otro modelo en lugar de sus propias salidas muestreadas, lo que potencialmente causa una desconexión entre el comportamiento destilado y la distribución alcanzable del estudiante.
• Retroalimentación de IA en Línea (RLAIF): Los métodos que utilizan modelos profesores potentes como anotadores o reescritores durante el bucle de RL son computacionalmente costosos debido a las llamadas repetidas a API y aún sufren de inconvenientes fuera de política al entrenar sobre rastros reescritos.

Metodología: Optimización de Políticas Guiada por Vectores (VSPO)

VSPO aborda estos cuellos de botella empleando vectores de guiado asociados a comportamientos objetivo para controlar la intensidad de las trayectorias generadas. El método se enmarca como un procedimiento de auto-destilación latente en política donde el modelo internaliza su propio vector de guiado.

El flujo de trabajo de VSPO consta de dos etapas:

Etapa 1: Construcción del Vector de Guiado

Se construye un vector de guiado para representar el comportamiento objetivo en el espacio de activación latente del modelo.

1. Reescritura Contrastiva: Un modelo profesor reescribe las respuestas base del modelo objetivo en variantes conductuales positivas y negativas (por ejemplo, explicaciones de experto vs. explicaciones elementales).
2. Extracción de Vectores: Se calculan las diferencias de activación entre estas variantes positivas y negativas por capa. Se selecciona la dirección más fuerte por capa y se normaliza para formar el vector de guiado $v$. Este vector captura la dirección latente del comportamiento objetivo.

Etapa 2: Optimización de Políticas de Auto-Destilación

La política actual se optimiza utilizando GRPO, pero con un proceso de generación de trayectorias modificado:

1. Trayectorias Guiadas: Para cada prompt, se muestrea un grupo de $G$ trayectorias con intensidades de guiado variables $\beta \in \{\beta_1, \dots, \beta_G\}$. Estas intensidades se aplican inyectando el vector de guiado en el flujo residual durante la decodificación: $\tilde{h}_t = h_t + \beta v$.
2. Cálculo de Recompensa: Cada trayectoria recibe una recompensa $r = r_0 + \alpha \beta$, donde $r_0$ es la recompensa de la tarea principal (por ejemplo, corrección) y $\alpha \beta$ es una recompensa conductual proxy proporcional a la intensidad de guiado.
3. Actualización de la Política: La política se actualiza utilizando el objetivo estándar de GRPO con ventajas relativas al grupo. Crucialmente, la actualización se aplica a la política no guiada ($\pi_\theta$), mientras que la ventaja se calcula basándose en las trayectorias guiadas. Esto permite que el modelo destile comportamientos útiles de sus propias variantes guiadas sin alterar permanentemente el comportamiento de inferencia de la política con el vector de guiado.

Contribuciones Clave

1. Innovación Algorítmica: La introducción de VSPO, un método de optimización de políticas multiobjetivo que aprovecha vectores de guiado para controlar el comportamiento mientras preserva la precisión de la tarea. A diferencia de GRPO estándar o la configuración de recompensas, VSPO mejora activamente la diversidad de trayectorias muestreando explícitamente rastros a lo largo del vector latente objetivo. A diferencia de SFT con rastros de profesor, evita entrenar sobre trayectorias de profesor fuera de política; el profesor solo asiste en la construcción del vector.
2. Garantías Teóricas: El artículo establece que VSPO logra teóricamente una complejidad de iteración mejor que GRPO con configuración de recompensas bajo una abstracción de bandido. Específicamente, cuando las distribuciones inducidas por el guiado están suficientemente alineadas con el comportamiento objetivo (satisfaciendo una condición "$\gamma$-buena"), VSPO remuestrea patrones conductuales raros pero deseables, acelerando la convergencia.
3. Validación Empírica: Una evaluación exhaustiva en los puntos de referencia MATH y MMLU-Pro demuestra que VSPO supera consistentemente a la configuración de recompensas, SFT con rastros de profesor, SDFT, SDPO y líneas base estilo RLAIF. Logra un control fuerte sobre cuatro comportamientos objetivo (nivel de experiencia, expresión de confianza, robustez ante contextos engañosos y verbosidad) mientras mantiene o mejora la precisión de la tarea.
4. Propiedades Favorables: VSPO induce un currículo de aprendizaje natural a lo largo del eje conductual y mantiene una distribución próxima a la política (baja NLL relativa al modelo base), evitando los desplazamientos distribucionales severos que a menudo se observan con métodos fuera de política.

Resultados Experimentales

Los autores evaluaron VSPO en dos puntos de referencia (MMLU-Pro y MATH) con cuatro comportamientos objetivo:

• Nivel de Experiencia: VSPO logró el control bidireccional más fuerte (cambiando entre estilos de experto y elementales) mientras mantenía una alta precisión (por ejemplo, 64.3% de control a nivel de experto en MMLU-Pro frente a 45.0% para SFT).
• Expresión de Confianza: VSPO guió con éxito las respuestas hacia tonos confiables o cautelosos sin degradar la precisión, superando a las líneas base que a menudo intercambian estilo por corrección.
• Robustez ante Contextos Engañosos: En configuraciones donde los modelos están sesgados a estar de acuerdo con respuestas inyectadas incorrectamente, VSPO mejoró significativamente la precisión (64.2% frente a 23.6% para el modelo original) exponiendo más rastros de razonamiento independiente durante la generación de trayectorias.
• Razonamiento Conciso: VSPO mejoró la compensación precisión-longitud, logrando mayor precisión con respuestas más cortas en comparación con la configuración de recompensas por penalización de longitud.

Significado y Afirmaciones

El artículo afirma que VSPO representa un paso significativo hacia adelante en el alineamiento multiobjetivo controlable. Al tratar el control conductual como un problema de guiado latente en lugar de un problema de configuración de recompensas o destilación fuera de política, VSPO:

• Alivia el cuello de botella de recompensa dispersa generando candidatos diversos y alineados conductualmente directamente desde la política actual.
• Reduce la dependencia de retroalimentación externa costosa reutilizando un único vector de guiado durante toda la optimización, a diferencia de los métodos que requieren llamadas repetidas al profesor.
• Permite una optimización estable manteniendo el proceso de entrenamiento en política y próximo a la política, evitando el desajuste distribucional inherente a la destilación de rastros de profesor.

Los autores concluyen que VSPO proporciona un marco robusto para adquirir comportamientos secundarios controlables sin sacrificar el rendimiento de la tarea principal, ofreciendo una alternativa más eficiente en muestras y teóricamente fundamentada a los métodos existentes de RL y destilación.