Resumen Técnico: Optimización de Políticas con Prompting Reflexivo (R2PO)

Enunciado del Problema

Los optimizadores de políticas basados en Modelos de Lenguaje Grandes (LLM) existentes funcionan como buscadores de caja negra que dependen exclusivamente de retroalimentación de recompensa escalar. Aunque estos métodos pueden proponer nuevos parámetros de política basados en puntuaciones de recompensa históricas, carecen de insight diagnóstico sobre por qué falló una política. Un optimizador ve una puntuación de 0.45 pero no puede distinguir entre una política que consistentemente tiene un rendimiento inferior, una que se queda atrapada en un bucle, o una que tiene éxito en 19 de 20 ejecuciones pero falla catastróficamente en la 20. Esta limitación obliga a los optimizadores basados en LLM a depender de la sintonización por ensayo y error en lugar de la corrección dirigida, lo que a menudo resulta en un entrenamiento inestable y una convergencia ineficiente.

Metodología: Marco R2PO

Los autores proponen Optimización de Políticas con Prompting Reflexivo (R2PO), un marco de dos etapas basado en LLM diseñado para aumentar las recompensas escalares con evidencia conductual a nivel de trayectoria. R2PO opera sobre clases de políticas compactas (políticas lineales para control continuo y políticas tabulares para tareas discretas) y consta de los siguientes componentes:

1. Search-LLM (Optimizador Global): Esta etapa funciona de manera similar a optimizadores LLM anteriores (por ejemplo, ProPS). Dada una historia de políticas evaluadas y sus recompensas medias escalares, el Search-LLM propone un vector de parámetros candidato inicial ($\theta_{init}$).
2. Evaluación del Entorno: La política candidata se ejecuta en el entorno durante $K$ ejecuciones independientes, generando un conjunto de trayectorias $T$ que contienen estados, acciones y recompensas.
3. Critic-LLM (Revisor Local): Esta etapa introduce la innovación central. En lugar de recibir solo la recompensa media escalar, el Critic-LLM inspecciona un "paquete de evidencia de trayectoria calibrada" derivado de las $K$ ejecuciones. Analiza qué salió mal y propone una revisión de parámetros dirigida ($\theta_{rev}$).
4. Mecanismo de Selección: Tanto el candidato original ($\theta_{init}$) como el candidato revisado ($\theta_{rev}$) se reevalúan. El sistema retiene aquel que logre la mayor recompensa media, filtrando ediciones destructivas o alucinaciones del LLM.

Evidencia de Trayectoria Calibrada

Para evitar que el Critic-LLM se ajuste en exceso a valores atípicos, R2PO construye el paquete de evidencia utilizando tres componentes específicos:

• Trayectoria Mediana: Una sola ejecución cuyo retorno está más cerca de la mediana de los $K$ retornos, representando el comportamiento típico en lugar de valores atípicos de mejor o peor caso.
• Estadísticas Agregadas de Ejecución: Un informe estructurado que resume las recompensas media, mínima y máxima, las longitudes de episodio y las tasas de éxito/fracaso en todas las $K$ ejecuciones. Esto transmite la frecuencia de fallos sin poner en primer plano una traza fallida específica.
• Regla de Revisión: Una instrucción explícita al Critic-LLM para abstenerse de cambios mayores si la recompensa media inicial supera un umbral ($\tau_c$) y las estadísticas no indican un patrón de fallo consistente. Esto previene la "sobre-corrección" de políticas ya fuertes.

Hallazgos Clave y Análisis

1. Sesgo de Saliencia

El documento identifica un modo de fallo dominante denominado sesgo de saliencia. Cuando se presentan múltiples trayectorias (por ejemplo, mejor, peor y mediana), el Critic-LLM tiende a fijarse en la trayectoria del peor caso como representativa, incluso cuando la mayoría de las ejecuciones indican un comportamiento exitoso. En una variante de tres trayectorias en el entorno CartPole, este sesgo representó el 76.6% de las regresiones de rendimiento. El LLM diagnosticaría un problema basándose en un único fallo desafortunado y propondría ediciones que destruían el rendimiento de la política en las otras 19 ejecuciones exitosas.

2. Estudios de Ablación

Las ablaciones sistemáticas en diez entornos demuestran que el éxito de R2PO depende de la combinación de tres factores, ninguno de los cuales es suficiente por sí solo:

• Arquitectura de Dos Etapas: Separar la propuesta global de la revisión local, fundamentada en el comportamiento, es esencial. Un solo prompt rico (CriticOnly) o una búsqueda secuencial solo escalar (ActorSecondPass) no logran igualar el rendimiento de R2PO.
• Revisión Fundada en Trayectorias: El uso de evidencia real de ejecución (trayectoria mediana + estadísticas) supera significativamente a la retroalimentación solo escalar.
• Mecanismo de Selección: Un paso de selección de "mantener el mejor" es crítico. Sin él (AlwaysCritic), la alta varianza de las ediciones condicionadas a la trayectoria conduce a frecuentes regresiones.

3. Resultados Empíricos

Utilizando un modelo de peso abierto relativamente pequeño de 20 mil millones de parámetros (gpt-oss:20b), R2PO fue evaluado en diez entornos (incluyendo CartPole, InvertedPendulum, Pong y tareas personalizadas de Laberinto/Nim) frente a bases de comparación sólidas (ProPS, ProPS+ y los algoritmos de Stable-Baselines3 de mejor rendimiento como PPO, SAC, TRPO).

• Rendimiento: R2PO logró la mayor recompensa media en 9 de 10 entornos y empató en el décimo (MountainCarContinuous). Alcanzó la recompensa máxima posible en CartPole (500), InvertedPendulum (1000), Pong (3.0) y Nim (1.0).
• Eficiencia: R2PO alcanzó un rendimiento casi óptimo sustancialmente antes que las bases de comparación (por ejemplo, recompensa casi máxima en CartPole dentro de ~500 episodios, en comparación con ~4,000 para ProPS+ y SB3).
• Estabilidad: R2PO mantuvo políticas fuertes una vez encontradas, mostrando una brecha mucho menor entre las recompensas media y mejor en comparación con métodos LLM anteriores, que a menudo mostraban alta varianza y picos aislados.
• Eficiencia de Recursos: Incluso cuando se comparó con resultados de ProPS obtenidos con el doble de presupuesto de interacción (8,000 episodios) y un modelo propietario más grande (GPT-4o), R2PO (entrenado en 4,000 episodios con un modelo abierto de 20B) igualó o superó a las bases de comparación en 9 de 10 entornos.

Significado y Afirmaciones

El documento afirma que tratar las trayectorias como evidencia en contexto de primera clase, en lugar de reducirlas a retornos escalares, cambia fundamentalmente cómo los LLM pueden buscar espacios de políticas. Las contribuciones clave son:

1. Precisión Diagnóstica: R2PO permite a los LLM aprender más rápido y diagnosticar fallos con mayor precisión aprovechando la evidencia conductual, avanzando más allá de la sintonización por ensayo y error.
2. Mitigación de Sesgos de LLM: El marco mitiga con éxito el "sesgo de saliencia" inherente al razonamiento de los LLM sobre múltiples fuentes de evidencia mediante el uso de estadísticas agregadas y trayectorias medianas, en lugar de trazas crudas del peor caso.
3. Accesibilidad: Los resultados demuestran que estos beneficios no están limitados a modelos grandes y propietarios; un modelo abierto de 20B es suficiente para superar las bases de comparación de RL profundo y los métodos anteriores basados en LLM cuando la arquitectura está correctamente diseñada.

Los autores señalan limitaciones, específicamente que el método se centra actualmente en clases de políticas compactas (lineales y tabulares) y requiere una calibración manual gruesa del umbral de revisión $\tau_c$. Se propone trabajo futuro para extender R2PO a políticas neuronales de alta dimensión y desarrollar mecanismos de calibración adaptativa.