Resumen Técnico: Exploración Impulsada por Prompts (PDE)

1. Planteamiento del Problema

El post-entrenamiento mediante Aprendizaje por Refuerzo (RL) para modelos fundacionales, particularmente para modelos de Visión-Lenguaje-Acción (VLA), está limitado por la exploración. Los métodos estándar de RL dependen de la inyección de estocasticidad en el espacio de acciones (por ejemplo, ruido de acción o ruido de parámetros) para descubrir nuevos comportamientos. Sin embargo, los autores argumentan que dicho ruido solo induce perturbaciones locales, lo que resulta en ejecuciones (rollouts) que permanecen cerca del comportamiento actual de la política.

Esta limitación es crítica al ajustar (fine-tuning) políticas iniciales débiles (por ejemplo, aquellas con tasas de éxito cercanas a cero en tareas de manipulación). Escapar de una política subóptima a menudo requiere perturbaciones globales que alteren toda la trayectoria y la estrategia, algo que el ruido de acción paso a paso no puede lograr. Además, en entornos de recompensa dispersa (sparse reward) donde la política inicial rara vez tiene éxito, las señales de recompensa son demasiado escasas para guiar la selección de acciones exploratorias útiles.

2. Metodología: Exploración Impulsada por Prompts (PDE)

El artículo propone la Exploración Impulsada por Prompts (PDE), una estrategia que desplaza el eje de la exploración del espacio de acciones al espacio de prompts. Dado que los modelos fundacionales (LLMs y VLAs) están condicionados por prompts de lenguaje natural, modificar el prompt induce cambios globales en el comportamiento de la política sin requerir actualizaciones de pesos.

Mecanismo Central

PDE trata la distribución de prompts como un sustituto (proxy) de la distribución de la política. Implementa una forma de muestreo de la posterior a nivel de prompt:

1. Muestreo de la Posterior Implícita: En lugar de mantener una posterior bayesiana sobre los parámetros de la red neuronal (lo cual es intratable para modelos grandes), PDE mantiene una distribución sobre los prompts, $\rho(\cdot | g, H)$, donde $g$ es la tarea y $H$ es el historial de interacción.
2. VLM como una Actualización de la Posterior Amortizada: Un Modelo de Lenguaje-Visión (VLM) actúa como supervisor. Analiza los videos de las ejecuciones generadas por la política actual bajo varios prompts, diagnostica modos de falla y reescribe los prompts para provocar un mejor comportamiento. Este proceso actualiza la distribución de prompts $\rho$ para concentrarse en prompts que produzcan ejecuciones exitosas.
3. Bucle de Entrenamiento de Dos Etapas:
   • Descubrimiento de Prompts: Los pesos de la política permanecen congelados. El VLM muestrea prompts candidatos, ejecuta las ejecuciones y refina el conjunto de prompts basado en las trayectorias y recompensas observadas.
   • Optimización de la Política: Una vez identificado un conjunto de prompts efectivos, la política se ajusta utilizando Optimización de Política Próxima (PPO).

Componentes Técnicos Clave

• Muestreo de Mezcla (Mixture Sampling): Durante el entrenamiento de RL, los prompts se muestrean de una mezcla del prompt de la tarea canónica ($p_g$) y los prompts exploratorios descubiertos ($\rho$). El peso de la mezcla $\alpha$ es adaptativo, aumentando a medida que la política mejora en el prompt canónico.
• Retropropagación Mixta (Mixed Backpropagation): Para asegurar que las mejoras de los prompts exploratorios se transfieran al prompt canónico, se modifica la pérdida de PPO. La relación de ventaja utiliza el logaritmo de la probabilidad promedio de la acción bajo tanto el prompt exploratorio como el prompt canónico. Esto acopla las señales de aprendizaje, asegurando que la política aprenda comportaciones que sean robustas ante variaciones de prompts.
• Refinamiento de Prompts: El VLM no solo genera paráfrasis aleatorias; razona sobre modos de falla específicos (por ejemplo, "el robot agarró el objeto incorrecto") para generar instrucciones dirigidas (por ejemplo, "agarra el contenedor verde, no la taza").

3. Contribuciones Clave

• Un Nuevo Eje de Exploración: El artículo introduce la exploración en el espacio de prompts como una alternativa viable al ruido en el espacio de acciones, capaz de inducir cambios de comportamiento globales que el ruido de acción no puede alcanzar.
• De Cero a Recompensa No Nula: PDE permite que el RL inicie el aprendizaje desde políticas con tasas de éxito iniciales de cero. Al descubrir prompts que desbloquean trayectorias de recompensa no nula, PDE proporciona la señal de aprendizaje necesaria para que el RL proceda, mientras que los métodos estándar fallan al no poder escapar del pozo de recompensa cero.
• Eficiencia de Muestreo: El método mejora significamente la eficiencia de muestreo en tareas de manipulación y razonamiento, requiriendo muchas menos interacciones con el entorno para alcanzar altas tasas de éxito en comparación con las líneas base.
• Generalización: Se demuestra que el enfoque es efectivo no solo para el control VLA, sino también para tareas de razonamiento y codificación basadas en LLM, lo que sugiere que la exploración en el espacio de prompts es un mecanismo general para el ajuste fino de modelos fundacionales.

4. Resultados Experimentales

Los autores evalúan PDE en varios entornos de prueba (benchmarks):

• LIBERO y LIBERO-PRO:

  • En tareas "Difíciles" (tasa de éxito inicial < 10%), PDE logra una mejora relativa del 60% sobre el ruido de acción estándar.
  • En el caso de estudio "Cerrar el Microondas", una política con 0% de éxito bajo el prompt canónico es guiada por PDE para descubrir prompts (por ejemplo, "empuja la puerta del microondas hasta que se cierre") que producen un éxito no nulo, alcanzando eventualmente un ~100% de éxito en el prompt canónico.
  • PDE supera a las líneas base, incluyendo Ruido de Acción, Ruido de Parámetros, Distilación de Redes Aleatorias (RND) y modelos de recompensa densa (Robometer).

• ManiSkill:

  • PDE mejora las tasas de éxito en todos los niveles de dificultad (Difícil, Medio, Fácil) y ejes de generalización (Visual, Semántico, Ejecución).
  • En tareas difíciles donde el ruido de acción no logra progresar, PDE logra iniciar el aprendizaje con éxito.

• Manipulación en el Mundo Real:

  • Usando un brazo Franka FR3, PDE demuestra una eficiencia de muestreo superior en entornos físicos. Después de 128 ejecuciones en el mundo real, PPO+PDE alcanzó una tasa de éxito del 45%, más del doble del 20% logrado por el PPO estándar con ruido de acción.

• Tareas de LLM (LiveCodeBench y AIME 2026):

  • En tareas de codificación y razonamiento matemático, PDE mejora la eficiencia de muestreo temprana, alcanzando niveles de precisión más altos en menos pasos de entrenamiento en comparación con el ajuste fino de RL estándar (RLOO y GRPO).

5. Significado y Reivindicaciones

El artículo sostiene que, para las políticas de modelos fundacionales, una exploración efectiva no requiere necesariamente perturbar los parámetros internos o las acciones del modelo. En su lugar, la exploración efectiva puede provenir del contexto (el prompt) que condiciona la política.

Los autores posicionan a PDE como una solución a los problemas de "recompensa dispersa" y "inicialización débil" en el ajuste fino de RL. Al aprovechar el conocimiento previo de lenguaje de los VLMs para razonar sobre las fallas y reescribir instrucciones, PDE realiza un marco clásico de RL (muestreo de la posterior) en un espacio de alto nivel que es tratable. El trabajo sugiere que para modelos donde la ejecución deriva de un prompt, modificar el prompt es un mecanismo más poderoso para la exploración global que el ruido paso a paso.

El artículo concluye modestamente, afirmando que PDE "permite que el RL aprenda políticas exitosas incluso desde inicios de recompensa cero" y "mejora la eficiencia de muestreo de manera más amplia", sin pretender resolver todos los desafíos de exploración en RL. El método se presenta como una estrategia complementaria que cambia qué se le pide a la política hacer, en lugar de cómo se actualiza la política.