Hybrid TD3: Overestimation Bias Analysis and Stable Policy Optimization for Hybrid Action Space

1. Planteamiento del Problema

El aprendizaje por refuerzo profundo (DRL) ha demostrado gran éxito en tareas de manipulación robótica, pero enfrenta desafíos fundamentales cuando se trabaja en espacios de acción híbridos (discretos-continuos). En estos escenarios, un agente debe tomar decisiones de alto nivel (acciones discretas, como "agarrar" o "soltar") y ejecutar comandos de bajo nivel (acciones continuas, como velocidades de las articulaciones) simultáneamente.

Los enfoques existentes suelen tener limitaciones graves:

• Discretización: Convertir componentes continuos en discretos provoca una explosión exponencial en el espacio de acciones.
• Relajación: Tratar acciones discretas como continuas introduce errores de aproximación que degradan la calidad de la política.
• Inestabilidad: Métodos como SAC o PPO adaptados a espacios híbridos sufren de inestabilidad de entrenamiento y mala convergencia bajo aleatorización de dominio completa (donde las poses, masas y configuraciones de los objetos varían en cada episodio).

Un problema central no explorado suficientemente es el sesgo de sobreestimación (overestimation bias). En espacios híbridos, el agente debe maximizar simultáneamente sobre un conjunto discreto y optimizar parámetros continuos, lo que acopla dos fuentes de error de aproximación en un bucle de retroalimentación que infla los valores estimados, especialmente bajo ruido ambiental.

2. Metodología Propuesta: Hybrid TD3

Los autores proponen Hybrid TD3, una extensión del algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3) diseñada nativamente para espacios de acción parametrizados híbridos.

A. Selección de la Arquitectura Base

Tras una comparación empírica de TD3, SAC, DDPG y PPO bajo aleatorización de dominio, se identificó a TD3 como la base más estable debido a:

1. Arquitectura de doble crítico (Twin-Critic): Mitiga el sesgo de sobreestimación mediante el uso de dos redes de valor.
2. Actualizaciones de política diferidas: Reduce la interferencia destructiva entre el actor y el crítico.
3. Política determinista: Evita la inestabilidad de la regularización por entropía que afecta a SAC bajo distribuciones no estacionarias.

B. Objetivo de Aprendizaje: Q-Learning Recortado Ponderado

La innovación principal es un nuevo objetivo de aprendizaje para el crítico y el actor:

• Marginalización sobre la distribución discreta: En lugar de seleccionar una acción discreta "greedy" (la mejor según la política actual) para calcular el objetivo de Bellman, el método propuesto marginaliza (promedia ponderado) sobre toda la distribución de acciones discretas.
• Fórmula del objetivo:
  $$y = r + \gamma \frac{1}{K} \sum_{k=1}^{K} \pi_d(a_d^{(k)} | s') \min_{i=1,2} Q'_{\phi_i}(s', a'_c, a_d^{(k)})$$
  Esto proporciona señales de gradiente más suaves y reduce la sensibilidad a la mala clasificación de acciones discretas en las etapas tempranas del entrenamiento.

C. Análisis Teórico del Sesgo

El artículo realiza un análisis teórico riguroso para ordenar el sesgo de estimación esperado en cinco variantes de algoritmos híbridos. Se demuestra que:

• El Hybrid TD3 propuesto logra el sesgo más bajo (subestimación controlada y acotada).
• La combinación de la doble Q-learning recortada y la marginalización suave crea un sesgo negativo (pesimista) que es beneficioso para la estabilidad bajo aleatorización agresiva, a diferencia de métodos que intentan eliminar este sesgo y terminan siendo inestables.

3. Contribuciones Clave

1. Análisis Empírico Sistemático: Identificación de TD3 como la arquitectura más robusta para RL de acción híbrida bajo aleatorización de dominio completa, explicando por qué fallan los competidores (SAC, PPO, DDPG).
2. Nuevo Objetivo de Aprendizaje: Introducción de un objetivo de Q-learning recortado ponderado que marginaliza sobre la distribución de acciones discretas, mejorando la suavidad del gradiente sin perder las propiedades de reducción de sesgo de TD3.
3. Ordenamiento Teórico del Sesgo: Derivación formal de los límites de sesgo de estimación para cinco variantes de algoritmos híbridos, justificando teóricamente por qué la estrategia de "doble Q-learning recortado" es superior en entornos con recompensas densas y alta aleatorización.
4. Validación Experimental: Implementación y prueba en un brazo robótico UF850 en simulación (PyBullet) con tareas complejas de manipulación.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro tareas de manipulación: alcanzar (Reach), agarrar (Pick), mover (Move) y colocar (Put).

• Estabilidad y Rendimiento: Hybrid TD3 superó consistentemente a los baselines de vanguardia (incluyendo variantes de SAC, TD3AQ, TSMPDQN, etc.) en términos de recompensa promedio y estabilidad de la curva de aprendizaje.
• Validación del Sesgo: Los resultados empíricos confirmaron el ordenamiento teórico del sesgo. Los métodos basados en SAC mostraron un sesgo de sobreestimación positivo significativo, mientras que Hybrid TD3 mantuvo un sesgo negativo (subestimación) controlado y estable.
• Generalización Zero-Shot: El modelo entrenado se evaluó en objetos nunca vistos durante el entrenamiento (diferentes formas, tamaños, texturas). Hybrid TD3 logró tasas de éxito comparables entre el conjunto de entrenamiento y el de prueba (ej. ~94% en Reach, ~90% en Pick), demostrando una generalización robusta sin necesidad de reentrenamiento.
• Comparación con Baselines: En tareas complejas como "Pick" y "Put", los métodos competidores sufrieron colapsos de entrenamiento o convergencia lenta, mientras que Hybrid TD3 alcanzó recompensas asintóticas más altas con menor varianza.

5. Significado e Impacto

Este trabajo es significativo porque:

• Resuelve un problema fundamental: Aborda la inestabilidad inherente de los espacios de acción híbridos bajo condiciones de entorno realista (ruido y variabilidad), un escenario crítico para la robótica en el mundo real.
• Justificación Teórica: Proporciona una base teórica sólida para elegir TD3 sobre otros algoritmos en contextos híbridos, desafiando la noción de que los métodos basados en entropía (como SAC) son siempre superiores para la exploración.
• Aplicabilidad Robótica: Demuestra que es posible aprender políticas de manipulación complejas que generalizan a nuevos objetos y configuraciones, acercando el DRL a la aplicación práctica en hardware físico (sim-to-real), aunque el trabajo actual se centra en simulación.

En conclusión, Hybrid TD3 establece un nuevo estándar para el aprendizaje por refuerzo en manipulación robótica con acciones híbridas, combinando un diseño algorítmico principista con un análisis de sesgo riguroso para lograr estabilidad y rendimiento superiores.