Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

A continuación se presenta un resumen técnico detallado del artículo "Ajuste de Objetivos de Preferencia: Entrenamiento Posterior como Control Latente para Políticas Congeladas".

1. Declaración del Problema

Las políticas condicionadas por objetivos (por ejemplo, modelos fundacionales para robótica o IA encarnada) han demostrado capacidades sólidas en la interpretación de instrucciones y la ejecución de comportamientos diversos. Sin embargo, su rendimiento aguas abajo es altamente sensible a los prompts o instrucciones específicos utilizados.

• El Dilema:
  • Ingeniería de Prompts: Se basa en una búsqueda de texto discreta y libre de derivadas. Respeta la política congelada, pero a menudo falla en elicitar un comportamiento óptimo debido a las limitaciones del lenguaje natural como interfaz de control.
  • Ajuste Fino Estándar: Actualiza los parámetros de la política para alinearlos con las tareas. Aunque es efectivo, corre el riesgo de olvido catastrófico, sobreajuste a distribuciones de tareas estrechas y destrucción de las amplias capacidades de generalización adquiridas durante el pre-entrenamiento.
• La Brecha: Existe la necesidad de un mecanismo de adaptación que ofrezca el poder de optimización del ajuste fino manteniendo al mismo tiempo la estabilidad estructural y la generalización de un modelo fundacional congelado.

2. Metodología: Ajuste de Objetivos de Preferencia (PGT)

Los autores proponen el Ajuste de Objetivos de Preferencia (PGT), un marco de entrenamiento posterior que reformula la adaptación como un problema de control latente. En lugar de actualizar los pesos de la política, PGT optimiza una incrustación de objetivo latente continua ($g$) para modular el comportamiento de una política congelada.

Formulación Central

• Política Congelada: Los parámetros de la política ($\theta$) permanecen fijos: $\pi(a|s, g; \theta)$.
• Control Latente: El objetivo $g \in \mathbb{R}^d$ se trata como un parámetro aprendible. La política define una "variedad conductual" indexada por $g$.
• Objetivo: Encontrar el $g^*$ óptimo que induzca una distribución de trayectorias alineada con las preferencias de la tarea, minimizando la divergencia de una distribución objetivo definida por preferencias humanas o basadas en recompensas.

Proceso Algorítmico

PGT opera en dos fases principales, a menudo de forma iterativa:

1. Generación de Muestras de Preferencia:
   • Comenzar con un prompt inicial codificado en un objetivo latente $g$.
   • Recopilar trayectorias ($\tau$) interactuando con el entorno utilizando la política congelada y $g$.
   • Etiquetar las trayectorias como positivas (preferidas) o negativas (no preferidas). Las etiquetas pueden provenir de anotadores humanos o señales de recompensa (por ejemplo, recompensa acumulada en Minecraft).
2. Propagación de Preferencias Conductuales:
   • Actualizar el objetivo latente $g$ utilizando un objetivo de aprendizaje de preferencias (por ejemplo, DPO - Optimización Directa de Preferencias).
   • El objetivo maximiza la probabilidad de las trayectorias preferidas en relación con un objetivo de referencia ($g_{ref}$) mientras suprime las indeseables.
   • Función de Pérdida: La optimización minimiza el log-verosimilitud negativo de los pares de preferencia:
     $$\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$$
     Donde $\Delta$ es la diferencia en las razones de log-verosimilitud entre el objetivo actual y el objetivo de referencia para las trayectorias ganadoras ($\tau_w$) y perdedoras ($\tau_l$).

Insight Teórico Clave

Al restringir la optimización a un vector latente de baja dimensión en lugar de millones de parámetros, PGT impone un fuerte sesgo inductivo que favorece la generalización sobre la memorización. Busca eficazmente la entrada de condicionamiento óptima sin alterar la dinámica física subyacente codificada en la política.

3. Contribuciones Clave

1. Paradigma de Control Latente: Introduce un enfoque novedoso de entrenamiento posterior donde la adaptación se logra exclusivamente optimizando la incrustación de objetivo latente, manteniendo la política fundacional congelada. Esto desacopla la alineación de tareas de la dinámica física.
2. Optimización Basada en Preferencias: Adapta el aprendizaje de preferencias (específicamente DPO y variantes) al espacio de objetivos latentes, permitiendo una alineación eficiente con las preferencias de la tarea utilizando datos mínimos.
3. Robustez ante OOD: Demuestra que aislar la adaptación de tareas al objetivo latente previene el olvido catastrófico y mantiene la generalización fuera de distribución (OOD), algo que el ajuste fino estándar suele degradar.
4. Capacidad de Aprendizaje Continuo: Muestra que PGT permite un aprendizaje continuo escalable almacenando un vector latente compacto por tarea, evitando la interferencia entre tareas sin mecanismos complejos de reproducción o regularización.

4. Resultados Experimentales

El marco se evaluó en la pizarra de habilidades SkillForge de Minecraft (17 tareas) utilizando dos políticas fundacionales (GROOT y STEVE-1) y en la pizarra de manipulación robótica LIBERO-goal.

• Mejoras de Rendimiento:
  • PGT logró mejoras relativas promedio del 72.0% (GROOT) y 81.6% (STEVE-1) sobre las políticas pre-entrenadas en tareas dentro de la distribución.
  • Superó consistentemente a los prompts creados por expertos y a las líneas base de ingeniería de prompts estándar.
• Generalización Fuera de Distribución (OOD):
  • En configuraciones OOD (semillas cambiadas, biomas, configuraciones de herramientas), PGT mejoró el rendimiento en un 73.8% y un 36.9% respectivamente.
  • Crucialmente, PGT superó al ajuste fino completo en un 13.4% en configuraciones OOD. El ajuste fino completo mejoró el rendimiento dentro de la distribución, pero a menudo degradó la generalización debido al sobreajuste.
• Eficiencia de Parámetros:
  • PGT optimiza solo 512 parámetros (el vector de objetivo latente), mientras que el ajuste fino completo implica ~100M de parámetros.
  • Superó a otros métodos de Ajuste Fino Eficiente en Parámetros (PEFT) como LoRA, BitFit y VeRA en escenarios OOD.
• Aprendizaje Continuo:
  • En la adquisición secuencial de tareas, PGT evitó el olvido catastrófico por completo, mientras que líneas base como Aprendizaje Continuo Naive (NCL) y Consolidación de Pesos Elásticos (EWC) sufrieron caídas significativas de rendimiento en tareas anteriores.
• Validez Transversal de Dominios:
  • Los experimentos en la política OpenVLA para manipulación robótica (LIBERO-goal) confirmaron que PGT es un mecanismo general de entrenamiento posterior aplicable más allá de Minecraft, mejorando las tasas de éxito en dominios de control continuo.

5. Significado e Impacto

• Preservación de Capacidades Fundacionales: PGT ofrece una forma "no destructiva" de adaptar modelos grandes. Permite que el modelo aprenda nuevas tareas sin borrar el conocimiento amplio y composicional adquirido durante el pre-entrenamiento.
• Eficiencia de Muestras: Al optimizar un vector de baja dimensión, PGT requiere significativamente menos datos y potencia de cálculo que el ajuste fino completo, lo que lo hace altamente práctico para su implementación en el mundo real.
• Adaptación Escalable: La capacidad de almacenar un único vector latente compacto por tarea sugiere un camino viable para agentes multi-tarea escalables que no sufren interferencia ni necesitan búferes de reproducción masivos.
• Seguridad y Control: El marco proporciona una interfaz continua y diferenciable para la modulación del comportamiento, cerrando la brecha entre los prompts de texto discretos y el control continuo requerido para tareas físicas complejas.

En conclusión, el Ajuste de Objetivos de Preferencia representa un cambio significativo en cómo se adaptan los modelos fundacionales, pasando de la modificación de pesos a la navegación en el espacio latente, logrando así una superior robustez, generalización y eficiencia en la toma de decisiones condicionada por objetivos.