Resumen Técnico: Optimización de Políticas Vectoriales (VPO)

Enunciado del Problema

Los paradigmas actuales de post-entrenamiento de Modelos de Lenguaje Grandes (LLM), particularmente aquellos que utilizan Aprendizaje por Refuerzo (RL) con Optimización de Políticas Relativas por Grupos (GRPO), optimizan una única recompensa escalar preespecificada. Aunque efectivo para converger hacia una respuesta específica de alta probabilidad, este enfoque a menudo conduce a un "colapso de modos", donde la política produce distribuciones de respuesta de baja entropía. Esta falta de diversidad se convierte en un cuello de botella crítico cuando los LLM se despliegan dentro de procedimientos de búsqueda en tiempo de prueba (por ejemplo, muestreo de rechazo, algoritmos evolutivos como AlphaEvolve, o selección de la mejor de $k$).

En sistemas aumentados con búsqueda, la fase de entrenamiento debería idealmente proporcionar un pool rico de candidatos diversos y competentes para que el algoritmo de búsqueda los explote. Sin embargo, el entrenamiento estándar de RL escalar colapsa la distribución de candidatos hacia un único compromiso óptimo, haciendo que las muestras adicionales se conviertan en casi-duplicados. En consecuencia, el procedimiento de búsqueda no puede descubrir soluciones superiores que requieran diferentes compromisos entre objetivos en competencia (por ejemplo, corrección del código frente a eficiencia, o diferentes rutas de razonamiento en preguntas de múltiples saltos).

Metodología: Optimización de Políticas Vectoriales (VPO)

Los autores proponen la Optimización de Políticas Vectoriales (VPO), un algoritmo de RL diseñado para entrenar explícitamente políticas que produzcan conjuntos diversos de soluciones que abarquen la frontera de Pareto de recompensas vectoriales. VPO opera bajo la premisa de que en muchas tareas realistas (generación de código, razonamiento de múltiples saltos, uso de herramientas), las recompensas se descomponen naturalmente en componentes vectoriales (por ejemplo, corrección por caso de prueba, calificaciones por criterio).

VPO consta de dos componentes principales:

1. Cadenas de Múltiples Respuestas como Exploración en Contexto:
   En lugar de generar una única respuesta por prompt, el modelo se entrena para emitir un conjunto de $m$ completaciones candidatas ($S = \{y_1, \dots, y_m\}$) dentro de una única ejecución autoregresiva. Cada candidato subsiguiente puede atender a las respuestas generadas previamente en el contexto, permitiendo que el modelo reconozca explícitamente qué regiones del espacio de soluciones están cubiertas y dirija a nuevos candidatos hacia áreas no exploradas. Esto transforma la diversidad de un subproducto del ruido de muestreo en un mecanismo explícito e in-contexto.

2. Optimización a Nivel de Conjunto mediante Escalarización Estocástica:
   Para incentivar al modelo a producir conjuntos diversos en lugar de colapsar a un único modo, VPO reemplaza la recompensa escalar fija con una distribución sobre ponderaciones de recompensa.

   • Para cada ejecución, se muestrea un vector de pesos $w$ desde una distribución Dirichlet ($w \sim \text{Dir}(\alpha)$, donde $\alpha=1$ implica una distribución uniforme sobre el simplex).
   • La recompensa para el conjunto $S$ se calcula como el máximo esperado de recompensa escalarizada a través de los pesos muestreados:
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • Este objetivo recompensa al modelo por cubrir la frontera de Pareto: diferentes elementos en el conjunto $S$ son incentivados a especializarse en diferentes compromisos de los componentes de la recompensa.

VPO se implementa como un reemplazo directo para el estimador de ventaja de GRPO. Utiliza el marco de GRPO pero calcula las ventajas basadas en la recompensa a nivel de conjunto derivada de escalarizaciones estocásticas, compartiendo los mismos $K$ vectores de pesos a través de un grupo de $G$ ejecuciones para asegurar la comparabilidad.

Contribuciones Clave

1. Replanteamiento del Post-Entrenamiento por RL: El artículo argumenta que en sistemas con búsqueda en tiempo de prueba, el papel del entrenamiento por RL debería cambiar de converger hacia una única mejor respuesta a maximizar la diversidad de un conjunto de soluciones competentes, dejando la explotación al procedimiento de búsqueda.
2. Estructura de Recompensa Vectorial: Demuestra que la naturaleza vectorial de las recompensas en tareas prácticas proporciona un mecanismo natural para la diversidad. Al entrenar al modelo para cubrir la frontera de Pareto de diferentes objetivos, la política mantiene una población de alternativas que son óptimas bajo diferentes ponderaciones.
3. Algoritmo VPO: Los autores proponen VPO, que combina la generación de múltiples respuestas con escalarizaciones de recompensa aleatorizadas. Esto permite al modelo generar conjuntos diversos de candidatos dentro de una única ejecución, optimizando la cobertura del espacio de recompensas en lugar de un único pico escalar.

Resultados Experimentales

Los autores evaluaron VPO en cuatro dominios diversos: Maze (navegación con compromisos de elementos), MuSiQue (QA de múltiples saltos), EUREQA (razonamiento en cadena) y ToolRL (llamadas a funciones). Compararon VPO contra varias líneas base, incluyendo GRPO estándar, Multi-RLVR (múltiples respuestas con recompensa escalar fija), GRPO de Ponderación Aleatoria y entrenamiento Max-at-$k$.

• Escalado en Tiempo de Prueba: En todos los dominios, VPO superó consistentemente a las líneas base escalares en las métricas best@k. Mientras que el rendimiento de GRPO escalar se estancó rápidamente a medida que aumentaba $k$ (indicando colapso de candidatos), VPO continuó mejorando con muestras adicionales, mostrando una brecha que se ampliaba a medida que crecía el presupuesto de búsqueda.
• Métricas de Diversidad: VPO mantuvo una alta diversidad en el espacio de recompensas (medida por la distancia L1 par entre vectores de recompensa), mientras que líneas base como Multi-RLVR y GRPO estándar colapsaron hacia vectores de recompensa casi idénticos al inicio del entrenamiento.
• Problemas Difíciles y Búsqueda Evolutiva: En un estudio de caso sobre LiveCodeBench (un benchmark de programación competitiva), un modelo entrenado con VPO (Qwen2.5-Coder-7B) superó significativamente a un modelo GRPO con cómputo equivalente. Crucialmente, al integrarse en OpenEvolve (un bucle de búsqueda evolutiva), los modelos VPO resolvieron problemas que los modelos GRPO no pudieron resolver en ningún presupuesto de candidatos, demostrando que VPO desbloquea soluciones que requieren compromisos complejos.
• Estudios de Ablación:
  • La generación de múltiples respuestas por sí sola (sin escalarización estocástica) fue insuficiente para mantener la diversidad.
  • La escalarización estocástica por sí sola (sin cadenas de múltiples respuestas) no produjo las mismas ganancias.
  • GRPO condicionado a objetivos (condicionando en pesos específicos) no logró igualar a VPO, lo que sugiere que generar un conjunto diverso en contexto es más efectivo que condicionar explícitamente en pesos en el momento de la inferencia.
  • Los beneficios de VPO fueron más pronunciados cuando los componentes de la recompensa no eran colineales (es decir, cuando existían verdaderos compromisos). En dominios con recompensas casi colineales (por ejemplo, UltraFeedback), la ventaja de VPO disminuyó, alineándose con la premisa teórica.

Significado y Afirmaciones

El artículo postula que, a medida que la búsqueda en tiempo de prueba se convierte en un componente estándar de los sistemas de IA, la optimización para la diversidad debe convertirse en el objetivo predeterminado de post-entrenamiento. Los autores afirman que VPO proporciona una forma fundamentada de separar la exploración (entrenamiento para un pool diverso) de la explotación (selección en tiempo de búsqueda).

El significado de VPO radica en su capacidad para:

• Desbloquear Problemas Más Difíciles: Al preservar estrategias diversas que pueden parecer localmente subóptimas bajo un escalar fijo pero contienen patrones de razonamiento parciales útiles para la búsqueda, VPO permite el descubrimiento de soluciones que las políticas entrenadas con escalares pierden por completo.
• Escalar con Cómputo: La brecha de rendimiento entre VPO y las líneas base escalares se amplía a medida que aumenta el presupuesto de búsqueda en tiempo de prueba, haciendo que VPO sea particularmente valioso para escenarios de inferencia intensivos en cómputo.
• Compatibilidad Directa: VPO no requiere cambios arquitectónicos en los LLM existentes y funciona como un simple reemplazo del estimador de ventaja en marcos de RL estándar como GRPO.

Los autores concluyen que, aunque VPO sacrifica el rendimiento pass@1 (ya que prioriza la exploración sobre la explotación inmediata), es el enfoque superior para regímenes donde la búsqueda en tiempo de prueba está disponible, convirtiendo efectivamente la optimización de políticas en un problema de cobertura sobre la frontera de Pareto.