Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

Resumen Técnico: Moldeado de Recompensas Escasas en Aprendizaje por Refuerzo: Un Enfoque Semisupervisado

Enunciado del Problema
El Aprendizaje por Refuerzo (RL) enfrenta un desafío central en escenarios del mundo real donde las señales de recompensa son extremadamente escasas. En tales entornos, los agentes reciben retroalimentación inmediata mínima, lo que conduce a una alta varianza en los retornos y a dificultades para aprender políticas óptimas. Si bien el moldeado y la densificación de recompensas son soluciones comunes, a menudo sufren de "hackeo de recompensas", donde los agentes aprenden comportamientos que se desvían del diseño intencional para maximizar recompensas artificiales. Por el contrario, los métodos de moldeado de recompensas basados en supervisión, que dependen de demostraciones de no expertos, sufren de una pobre eficiencia de muestras cuando las transiciones con recompensa no nula son extremadamente raras. Los enfoques existentes luchan por utilizar eficazmente la gran mayoría de las transiciones que generan recompensas nulas.

Metodología: Moldeado de Recompensas Semisupervisado (SSRS)
Los autores proponen el marco de Moldeado de Recompensas Semisupervisado (SSRS), que cierra esta brecha aprovechando técnicas de Aprendizaje Semisupervisado (SSL). La idea central es realizar el moldeado de recompensas no solo en las escasas transiciones con recompensa no nula, sino también en las abundantes transiciones con recompensa nula, aprendiendo representaciones del espacio de trayectorias.

El marco opera a través de los siguientes componentes clave:

1. Estimación de Recompensas como Clasificación: El problema del moldeado de recompensas se formula como una tarea de clasificación. El sistema aprende a asignar un valor de recompensa de un conjunto discreto $Z$ (que contiene las recompensas no nulas observadas y el cero) a los pares estado-acción. El estimador de recompensas consta de dos redes neuronales:

   • $R_V(s)$: Una función de distribución de recompensa de valor de estado que mapea un estado a una distribución de probabilidad sobre $Z$.
   • $R_Q(s, a)$: Una función de distribución de recompensa de valor estado-acción que mapea un par estado-acción a una distribución de probabilidad sobre $Z$.
     El vector de puntuación de confianza final $q_t$ para una transición es una combinación ponderada de estas dos distribuciones.

2. Optimización Semisupervisada: El marco alterna entre actualizaciones de la política y la optimización del estimador de recompensas.

   • Pérdida Supervisada ($L_r$): Para las transiciones con recompensas no nulas conocidas, el estimador se entrena para minimizar la discrepancia entre sus predicciones y la verdad fundamental utilizando una pérdida de entropía cruzada umbralizada.
   • Regularización de Consistencia ($L_s$): Para las transiciones con recompensa nula, el modelo emplea regularización de consistencia. Aplica aumentaciones de datos débiles y fuertes a las transiciones de entrada. El modelo se optimiza para producir predicciones consistentes entre las versiones aumentadas débilmente y fuertemente, siempre que la confianza exceda un umbral $\lambda$. Esto utiliza los datos no etiquetados con recompensa nula para refinar la función de recompensa.

3. Aumentación por Entropía: Se introduce una técnica novedosa de aumentación de datos específicamente para tareas no basadas en imágenes. A diferencia de las aumentaciones tradicionales de imágenes (por ejemplo, recorte, rotación) que pueden violar las suposiciones de suavidad en el espacio de trayectorias, este método utiliza la Entropía de Shannon. Calcula la entropía de la matriz de estados y la utiliza para perturbar la representación del estado. Esto preserva las suposiciones de suavidad y agrupamiento requeridas para que el SSL sea efectivo en el espacio de trayectorias.

4. Restricción de Monotonía: Para estabilizar el entrenamiento y mejorar la representación de las ventajas de las acciones, se introduce una restricción. Penaliza los casos en los que la ventaja estimada (la diferencia entre $R_Q(s, a)$ y $R_V(s)$) es negativa, asegurando que la función de ventaja capture mejoras relativas sobre la línea base del estado.

Contribuciones Clave

• Marco SSRS: Un marco novedoso que integra SSL en RL, permitiendo el moldeado de recompensas tanto en transiciones con recompensa no nula como en aquellas con recompensa nula para mejorar la eficiencia de muestras en entornos de recompensas escasas.
• Aumentación por Entropía: La propuesta de un método de perturbación de datos basado en entropía adaptado a espacios de trayectorias, que supera a los métodos de aumentación tradicionales en tareas de observación no visual.
• Validación Empírica de SSL en RL: El artículo investiga empíricamente las condiciones bajo las cuales SSL es efectivo en RL, demostrando que los espacios de trayectorias se ajustan a las suposiciones suaves (suavidad y agrupamiento) necesarias para las metodologías de SSL.
• Restricción de Monotonía: La introducción de una restricción para regular la relación entre los estimadores de valor de estado y valor estado-acción, mejorando la estabilidad del entrenamiento.

Resultados Experimentales
El marco SSRS fue evaluado en entornos de Atari con recompensas escasas (por ejemplo, Montezuma's Revenge, Seaquest, Venture) y tareas de manipulación robótica (FetchReach).

• Rendimiento frente a Líneas Base: SSRS superó consistentemente a los enfoques basados en supervisión (RCP, SORS) y a las líneas base estándar de RL. En entornos altamente escasos como Montezuma's Revenge, SSRS logró puntuaciones máximas hasta el doble de las de las líneas base supervisadas.
• Eficacia de la Aumentación: La aumentación por entropía propuesta resultó en un aumento del 15.8% en la mejor puntuación en comparación con otros métodos de aumentación (por ejemplo, recorte, suavizado, traslación).
• Estudios de Ablación: Los experimentos confirmaron la importancia de la restricción de monotonía, mostrando que SSRS con esta restricción (SSRS-ST) logró puntuaciones máximas más altas que sin ella (SSRS-NST) en la mayoría de los entornos probados.
• Robustez de Hiperparámetros: El estudio analizó hiperparámetros como la probabilidad de actualización ($p_u$), el umbral de confianza ($\lambda$) y el coeficiente de consistencia ($\beta$). Los resultados indicaron que el rendimiento alcanza su punto máximo cuando el umbral de confianza está entre 0.8 y 0.9, y que el coeficiente de consistencia tiene un impacto mínimo en los resultados finales pero afecta la dinámica del entrenamiento.

Significado y Afirmaciones
El artículo afirma que al tratar el moldeado de recompensas como un problema de clasificación semisupervisado, los agentes pueden aprender eficazmente de la mayoría de las transiciones con recompensa nula, que típicamente se descartan o subutilizan. Los autores argumentan que el espacio de trayectorias en RL satisface las suposiciones necesarias para SSL (agrupamiento y suavidad), lo que permite al modelo inferir señales de recompensa confiables para transiciones con recompensa nula. La introducción de la aumentación por entropía se destaca como una innovación crítica que adapta las técnicas de perturbación de SSL a la naturaleza específica de las observaciones de RL, evitando los peligros de aplicar aumentaciones centradas en imágenes a datos no visuales. En última instancia, el trabajo demuestra que SSL puede mejorar significativamente la eficacia del moldeado de recompensas, lo que conduce a puntuaciones más altas de los agentes en dominios desafiantes con recompensas escasas.