Resumen Técnico: BOOST – Optimización Bilevel de Trayectorias Sintéticas para el Ajuste Fino de LLM de Múltiples Vuelcos

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) sobresalen en la generación de un solo turno pero luchan con interacciones de múltiples vueltas y largo alcance (por ejemplo, negociación, resolución de problemas) que requieren planificación a través de múltiples pasos donde las acciones intermedias pueden no generar recompensas inmediatas. Aunque el Aprendizaje por Refuerzo (RL) offline ofrece una alternativa escalable al RL online para el ajuste fino de LLMs en trayectorias pre-recopiladas, enfrenta un cuello de botella crítico: la escasez y la calidad de los datos de trayectorias de múltiples vueltas.

Para abordar la escasez de datos, los enfoques recientes aumentan los conjuntos de entrenamiento con trayectorias sintéticas generadas por LLMs o simuladores. Sin embargo, los datos sintéticos son altamente heterogéneos en calidad. Tratar ingenuamente todas las trayectorias (reales y sintéticas) como igualmente informativas puede degradar el rendimiento, ya que las trayectorias sintéticas de baja calidad o engañosas pueden dominar la señal de aprendizaje. Los intentos previos para mitigar esto involucran filtrado binario utilizando LLMs "jueces" más fuertes o bases de conocimiento de expertos, que descartan señales potencialmente útiles y requieren acceso a modelos de mayor capacidad. Existe la necesidad de un método que pueda reponderar continuamente los datos sintéticos a nivel de trayectoria sin depender de jueces externos, equilibrando efectivamente la diversidad ofrecida por los datos sintéticos contra el riesgo de desplazamiento de la tarea.

Metodología: BOOST

Los autores proponen BOOST (Optimización Bilevel de Trayectorias Sintéticas), un marco que integra datos sintéticos en el ajuste fino de RL de múltiples vueltas mediante un proceso de optimización bilevel.

Marco Central

BOOST formula el proceso de aprendizaje como un problema de optimización bilevel:

1. Nivel Interno: Entrena la política del LLM ($\pi_\theta$) y las funciones de valor Q en un conjunto de datos mixto ($D_{mixed} = D_{real} \cup D_{synthetic}$) utilizando una pérdida reponderada.
2. Nivel Externo: Optimiza una cabeza de reponderación ligera ($w_\phi$) para asignar pesos escalares continuos a trayectorias individuales. El objetivo del nivel externo es minimizar la pérdida de la política resultante en un conjunto de validación real retenido ($D_{val}$).

A diferencia de trabajos anteriores que reponderan fuentes de datos de grano grueso, BOOST opera a nivel de trayectoria, permitiendo un control fino sobre la calidad de los datos. La cabeza de reponderación toma una trayectoria como entrada y genera un peso $w_\phi(\tau)$, que se normaliza mediante softmax sobre un minibatch para modular la contribución de la trayectoria a la pérdida de entrenamiento.

Procedimiento de Entrenamiento y Estabilidad

El algoritmo de entrenamiento (Algoritmo 1) emplea tres innovaciones clave de ingeniería para garantizar la estabilidad y la convergencia:

1. Actualizaciones Alternas Congeladas: En cada iteración, solo se actualiza un grupo de parámetros (política auxiliar $\psi$, política principal $\theta$, o cabeza de reponderación $\phi$) mientras los demás permanecen congelados. Esto evita señales de gradiente conflictivas.
2. Inicialización con Arranque en Caliente: La política principal $\theta$ se reinicializa desde la política auxiliar $\psi$ al inicio de cada iteración externa. Dado que $\psi$ rastrea el óptimo del nivel interno, esto proporciona un arranque en caliente que acelera la convergencia.
3. Tasas de Aprendizaje Asimétricas: Los parámetros de la política ($\theta, \psi$) utilizan una tasa de aprendizaje significativamente mayor que la cabeza de reponderación ($\phi$). Esto refleja la naturaleza jerárquica del problema, asegurando que la política alcance una solución estable antes de que se ajusten los pesos.

Fundamento Teórico

Los autores derivan un límite de tiempo de impacto PAC-Bayesiano para fundamentar el enfoque. El límite revela un compromiso de tres vías:

• Datos Sintéticos: Aumentan la diversidad y el tamaño de muestra efectivo, pero arriesgan el desplazamiento de la tarea (divergencia de la distribución de la tarea objetivo).
• Enfoque en Alta Calidad: Concentrar el peso en trayectorias de alta calidad mejora el rendimiento empírico pero reduce el tamaño de muestra efectivo ($n_{eff}$), aumentando la penalización de complejidad.
• Rol de BOOST: El marco apunta a un "régimen medio útil", asignando pesos altos a trayectorias sintéticas que se alinean con la distribución de datos reales y los objetivos de validación, mientras descuenta aquellas que introducen ruido o desplazamiento de la tarea, todo ello preservando un tamaño de muestra efectivo suficiente para la generalización.

Contribuciones Clave

1. Marco Bilevel para la Reponderación de Trayectorias: Los autores introducen un marco de optimización bilevel principiado para reponderar datos sintéticos en el ajuste fino de RL de múltiples vueltas. Lo instan con una cabeza de reponderación eficiente en parámetros entrenada conjuntamente con el LLM base y las funciones Q mediante un esquema de optimización totalmente de primer orden.
2. Análisis Teórico: Derivan un límite PAC-Bayesiano sobre el rendimiento bajo la reponderación de trayectorias, caracterizando explícitamente el compromiso entre la diversidad de datos, el desplazamiento de la tarea y el tamaño de muestra efectivo.
3. Validación Empírica: El método se valida en tres benchmarks de RL de múltiples vueltas (20 Preguntas, Negociación de Concesionario de Coches y WebShop) utilizando dos algoritmos de RL (Retorno de Monte Carlo e ILQL).

Resultados

Los experimentos demuestran que BOOST supera consistentemente a múltiples líneas base, incluido el uso uniforme de datos, el aumento sintético ingenuo y la reponderación bilevel aplicada solo a datos reales.

• Ganancias de Rendimiento: BOOST muestra las mayores ganancias en regímenes de baja cantidad de datos. Por ejemplo, en la tarea de 20 Preguntas bajo la configuración de Retorno de Monte Carlo, BOOST mejoró el rendimiento en un 242.6% sobre la mejor línea base vanilla (3.46 vs. 1.01). En la Negociación de Concesionario de Coches, mejoró un 31.7% (40.92 vs. 31.08).
• Utilidad de los Datos Sintéticos: Añadir datos sintéticos de manera ingenua a menudo perjudicó el rendimiento (por ejemplo, en configuraciones ILQL, el aumento sintético sin ponderar tuvo un rendimiento inferior al entrenamiento vanilla en 4 de 6 configuraciones). BOOST aprovechó con éxito los datos sintéticos aumentando el peso solo de aquellas trayectorias que se alineaban con la distribución de datos reales.
• Análisis de Pesos:
  • Los pesos aprendidos no son uniformes y varían por punto.
  • Los puntos sintéticos de alto peso son aquellos más cercanos a la distribución de datos offline en el espacio de incrustación (correlación negativa entre el peso y la distancia a los vecinos offline más cercanos).
  • Crucialmente, BOOST recupera señales latentes de puntos offline que previamente estaban subvalorados. En el entorno de Concesionario de Coches, el 36.2% de los puntos offline que recibieron un peso bajo bajo un objetivo solo offline fueron promovidos a un peso alto cuando se introdujeron datos sintéticos, lo que sugiere una relación sinérgica entre las fuentes de datos.

Significado y Afirmaciones

El artículo afirma que BOOST establece un camino práctico hacia la adaptación eficiente de datos de LLMs de múltiples vueltas. Al aprender pesos a nivel de trayectoria sin jueces externos, el método gestiona el compromiso entre la diversidad proporcionada por los datos sintéticos y el riesgo de desplazamiento de la tarea.

Los autores enfatizan que su enfoque:

• No requiere acceso a un modelo "juez" de mayor capacidad.
• Opera a nivel de trayectoria de grano fino en lugar de fuentes de datos de grano grueso.
• Recupera efectivamente señales útiles tanto de datos sintéticos de alta calidad como de datos offline previamente subvalorados.

El artículo concluye con una limitación modesta: la reponderación actual opera a nivel de trayectoria. El trabajo futuro podría explorar la reponderación por paso de tiempo de grano más fino para recuperar señales útiles de trayectorias parcialmente buenas.