Resumen Técnico: Aprendizaje por Refuerzo con Políticas de Difusión Discreta para Espacios de Acción Combinatorios

1. Enunciado del Problema

El Aprendizaje por Refuerzo (RL) enfrenta desafíos significativos al escalar a grandes espacios de acción discretos combinatorios, los cuales son prevalentes en aplicaciones del mundo real como la planificación jerárquica con macro-acciones, la coordinación multiagente y las recomendaciones de conjuntos (slate) en sistemas de recomendación. Los algoritmos estándar de RL luchan con estos espacios debido al crecimiento exponencial del tamaño del espacio de acción, lo que exige parametrizaciones de políticas y estrategias de exploración altamente eficientes.

Los enfoques anteriores han intentado mitigar esta complejidad mediante reducción de dimensionalidad, entrenamiento jerárquico o asumiendo propiedades estructurales específicas. Más recientemente, se han aplicado modelos autoregresivos a acciones combinatorias; sin embargo, sufren altos costos computacionales durante la inferencia debido a la generación secuencial e imponen ordenamientos causales artificiales de acciones que pueden restringir la expresividad de la política. Si bien los modelos de difusión han mostrado promesa en control continuo y tareas generativas discretas, un marco principista y eficiente para entrenar políticas de difusión discretas mediante RL en línea permanece inexplorado.

2. Metodología: RL-D2

Los autores introducen RL-D2, un marco novedoso para entrenar modelos de difusión discretos como políticas para espacios de acción combinatorios. La innovación central reside en un proceso de entrenamiento en línea eficiente que desacopla la optimización del objetivo de RL de la compleja tarea de aprendizaje de representaciones.

2.1. Objetivo de Descenso de Espejo de Política (PMD)

El marco reformula la actualización de la política como un problema de coincidencia distribucional. En lugar de optimizar directamente el objetivo de RL, el método utiliza Descenso de Espejo de Política (PMD) para definir una distribución objetivo ideal y regularizada ($\pi_{MD}$). Dada una política actual $\pi_{old}$ y una función de ventaja $A_{\pi_{old}}$, la distribución objetivo se deriva analíticamente:
$$\pi_{MD}(a|s) \propto \pi_{old}(a|s) \exp(A_{\pi_{old}}(s, a)/\lambda)$$
donde $\lambda$ es un parámetro de temperatura. El modelo de difusión expresivo se entrena luego para replicar esta distribución objetivo estable.

2.2. Minimización de Divergencia

La actualización de la política se logra minimizando la divergencia entre la política de difusión ($\pi_\theta$) y el objetivo PMD ($\pi_{MD}$). El artículo analiza dos variantes específicas basadas en la divergencia Kullback-Leibler (KL):

• KL Directo (FKL): Minimiza $d_{KL}(\pi_{MD}, \pi_\theta)$. Este comportamiento de "búsqueda de la media" alienta a la política a cubrir los modos de la distribución objetivo, promoviendo la exploración. Los autores derivan una pérdida ELBO ponderada tratable para este objetivo, lo que permite el entrenamiento fuera de política y re-pesa las acciones muestreadas basándose en sus valores de ventaja.
• KL Inverso (RKL): Minimiza $d_{KL}(\pi_\theta, \pi_{MD})$. Este comportamiento de "búsqueda de modos" se centra en las acciones de mayor valor y es teóricamente equivalente a la optimización original de PMD. Debido a la intratabilidad de la verosimilitud de difusión, los autores construyen un MDP aumentado para derivar una relación de muestreo por importancia tratable, optimizando el objetivo mediante un mecanismo de recorte estilo PPO.

2.3. Aprendizaje de Difusión en Política

Para alinear la distribución de entrenamiento con la distribución de inferencia, los autores proponen Aprendizaje de Difusión en Política. En lugar de generar acciones ruidosas a partir de un proceso hacia adelante fijo que comienza desde una acción limpia, la trayectoria de difusión se genera en política muestreando del proceso inverso aprendido de la política actual. Esto mejora la estabilidad y la eficiencia de las muestras.

3. Contribuciones Clave

1. Marco RL-D2: Un nuevo marco de entrenamiento en línea eficiente para usar modelos de difusión discretos como políticas en RL para espacios de acción combinatorios. Reformula las actualizaciones de política como problemas de coincidencia distribucional utilizando objetivos PMD.
2. Derivaciones Teóricas: La derivación y análisis de dos métodos prácticos de mejora de política basados en la minimización de las divergencias KL Directo e Inverso hacia el objetivo PMD.
3. Validación Empírica: Experimentos extensos en tres dominios desafiantes que demuestran resultados de vanguardia:
   • Generación de Secuencias de ADN: Ajuste fino guiado por recompensa de un modelo de difusión discreto.
   • RL de Largo Horizonte: Planificación de macro-acciones en entornos MinAtar y Atari.
   • RL Multiagente: Aprendizaje cooperativo en el dominio de Google Research Football.

4. Resultados Experimentales

El artículo reporta un rendimiento superior y eficiencia de muestras en todos los dominios probados:

• Generación de Secuencias de ADN: RL-D2 logró puntuaciones de recompensa de vanguardia manteniendo una alta verosimilitud logarítmica (naturalidad) de las secuencias generadas. Demostró una eficiencia computacional significativa, reduciendo el consumo de memoria GPU de 66.4 GB a 10.6 GB y el tiempo de entrenamiento de 268 minutos a 97 minutos en comparación con la línea base DRAKES.
• Atari (Macro-acciones): RL-D2 superó a líneas base sólidas (DQN, IMPALA, R2D2, PPO) en 36 de los 56 entornos de Atari. Mostró una fortaleza particular en tareas que requieren estrategias a largo plazo (por ejemplo, Breakout, Space Invaders). El método demostró escalabilidad, manteniendo el rendimiento a medida que aumentaban las longitudes de las macro-acciones (hasta 16), mientras que líneas base como DQN-Macro fallaron debido al crecimiento exponencial del espacio de acción.
• Google Research Football: En tareas cooperativas multiagente (hasta 11 contra 11), la política de difusión discreta logró las tasas de victoria medias más altas, superando a las líneas base autoregresivas (MAT, MAPPO) y demostrando la capacidad de capturar dependencias complejas entre agentes sin factorizaciones restrictivas.

Compensaciones Empíricas: FKL vs. RKL

Los autores destacan una compensación clave entre las dos variantes de divergencia:

• FKL: Demuestra una eficiencia de muestras superior y una convergencia inicial más rápida, lo que lo hace adecuado para escenarios con restricciones de datos (por ejemplo, Atari). Sin embargo, es menos estable y requiere un ajuste cuidadoso de la temperatura para evitar el colapso.
• RKL: Garantiza un entrenamiento estable y logra un rendimiento asintótico más alto en tareas desafiantes con datos suficientes (por ejemplo, Google Football), aunque aprende ligeramente más lento inicialmente.

5. Significado y Afirmaciones

El artículo afirma que RL-D2 proporciona una solución escalable y de alto rendimiento al desafío de larga data del RL en grandes espacios de acción combinatorios. Al aprovechar el poder expresivo de los modelos de difusión discretos y estabilizar el aprendizaje mediante la coincidencia distribucional basada en PMD, el marco maneja efectivamente problemas complejos de toma de decisiones donde los métodos tradicionales a menudo fallan.

Los autores enfatizan que su enfoque ofrece una ventaja distinta sobre los solucionadores de caja negra discretos estándar (por ejemplo, algoritmos evolutivos) al aprender una política condicionada al estado que explota la dinámica de transición y se generaliza a estados no vistos, en lugar de optimizar objetivos estáticos desde cero. Además, la naturaleza desacoplada del método estabiliza el proceso de aprendizaje, mejorando significativamente el rendimiento en espacios discretos complejos y no estructurados.