When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning

Resumen Técnico: Diagnóstico del Aprendizaje por Refuerzo Guiado por Expertos en Tiempo de Consulta

Enunciado del Problema
Muchos dominios de control continuo (control industrial, locomoción, seguimiento de trayectorias) despliegan controladores competentes pero subóptimos, como bucles PID sintonizados, patrones de marcha diseñados a mano o sistemas de Control Predictivo Basado en Modelos (MPC). Estos controladores suelen servir como un "piso" que los agentes de Aprendizaje por Refuerzo (RL) se espera que superen. Sin embargo, la literatura sobre RL guiado por expertos en tiempo de consulta —donde un agente puede consultar un controlador experto preexistente durante el entrenamiento— carece de un marco de evaluación unificado. Los métodos existentes (por ejemplo, IBRL, JSRL, Residual SAC) se han propuesto de forma aislada en diferentes puntos de referencia con calidades de experto variables y presupuestos de optimización de hiperparámetros (HPO) distintos. En consecuencia, los profesionales carecen de una comprensión clara de qué mecanismo de integración extrae el máximo valor de un experto, ni entienden los modos de fallo específicos que surgen cuando los expertos son imperfectos (por ejemplo, mal sintonizados, sesgados o ruidosos).

Metodología y Protocolo Experimental
Los autores armonizan la comparación de cinco métodos guiados por expertos (IBRL, dos variantes de JSRL, Residual SAC y un nuevo método llamado EDGE) sobre una base común de Soft Actor-Critic (SAC). El protocolo de evaluación es riguroso y estandarizado:

• Puntos de referencia: Cuatro tareas de control continuo: FourTank (seguimiento de puntos de ajuste MIMO), Plane3DCircle (seguimiento de aeronaves en 3D con fallo catastrófico), GlassFurnace (control térmico de largo horizonte) y CheetahRun (locomoción). Dos de estos (Plane3DCircle y GlassFurnace) se publican como nuevos puntos de referencia.
• Semillas y presupuesto: 100 semillas para tareas de control y 50 para locomoción, entrenadas durante 1 millón de pasos del entorno.
• Calidad del experto: Un "barrido de degradación" prueba la robustez frente a una sintonización deficiente del experto, sesgo en la acción y ruido en la observación.
• Métrica: El rendimiento se mide utilizando la Ventaja Normalizada por Experto (ENA), que normaliza los retornos en relación con el rendimiento del experto y un techo físico teórico.

Contribuciones Clave

1. Un Punto de Referencia con Protocolo Común: El artículo establece una comparación directa de métodos de RL guiados por expertos bajo condiciones idénticas de HPO y evaluación, revelando que ningún método domina en todas las estructuras de tareas.
2. Taxonomía de Modos de Fallo (F1–F3): La comparación armonizada pone de manifiesto tres modos de fallo específicos que las evaluaciones de un solo artículo pasan por alto:
   • F1 (Punto Ciego del Crítico): En métodos que utilizan selección de acciones argmax (como IBRL), el crítico se "ancla" a la acción del experto en los estados donde el experto gana. Esto impide que el crítico reciba objetivos de Bellman frescos para las acciones propias de la política en esos estados, provocando que el método rinda menos incluso que una línea base de SAC sin experto cuando el experto es muy fuerte (cerca del techo de RL).
   • F2 (Saturación Residual): Los métodos de corrección aditiva (Residual SAC) están limitados por el espacio de acciones. En tareas con expertos débiles, la corrección necesaria para superar los errores estructurales del experto excede este límite, capando el rendimiento muy por debajo de otros métodos. Por el contrario, en expertos casi óptimos, este límite permite que Residual SAC herede el rendimiento del experto de inmediato.
   • F3 (Envenenamiento del Bucle de Inicio en Caliente): Los métodos que utilizan una transferencia en tiempo de entrenamiento (ejecutando al experto durante un periodo fijo de inicio en caliente antes de cambiar a la política) sufren cuando el experto es imperfecto. El búfer de reproducción recopilado durante el inicio en caliente refleja el estado específico (potencialmente defectuoso) del experto, y la política no logra recuperarse al desplegarse en un sistema diferente o perturbado.
3. Regla de Decisión: Los autores derivan una regla de decisión comprobable que mapea tres observables (calidad del experto, terminación de la tarea y tipo de perturbación esperada) a un método recomendado. Por ejemplo, si el experto está cerca del techo y no termina, se predice que IBRL fallará (F1); si el experto es débil y la tarea termina, se predice que Residual SAC fallará (F2).
4. EDGE (Exploración Guiada Impulsada por Experto): El artículo introduce EDGE, un nuevo método diseñado para evitar los modos de fallo identificados. EDGE reemplaza la puerta determinista argmax con un mecanismo de mezcla estocástica con puerta de pesimismo consciente de la calidad. Utiliza un conjunto de críticos para calcular un Límite Inferior de Confianza (LCB) y aplica una puerta softmax para seleccionar probabilísticamente entre el experto y la política. Crucialmente, aumenta el estado con el estado interno del controlador del experto (por ejemplo, estado del integrador PID) para asegurar que el crítico tenga visibilidad completa.

Resultados

• Ningún Método Dominante: Cada método destaca en un régimen específico pero falla predeciblemente en otros. Por ejemplo, Residual SAC empató en el primer lugar en FourTank (experto cerca del techo) pero colapsó en Plane3DCircle (experto débil). IBRL fue superado por SAC sin experto en FourTank debido a F1.
• Robustez: Bajo perturbaciones del experto (sintonización deficiente, sesgo, ruido), las clasificaciones limpias se invierten. Los métodos que mantienen una vuelta de emergencia al experto en cada paso (JSRL-curriculum, EDGE) son más robustos frente a la degradación del experto durante el entrenamiento, mientras que Residual SAC es más robusto frente al sesgo de acción en el momento del despliegue debido a su corrección acotada.
• Rendimiento de EDGE: EDGE es competitivo en todas las tareas. En Plane3DCircle, supera significativamente al muestreo de Thompson literal y a otras líneas base, demostrando que la combinación de una puerta estocástica y puntuación LCB es efectiva.
• El Muro "RL-Cerca-del-Techo": En tareas donde el experto ya está muy cerca del rendimiento de un agente de RL sin experto (por ejemplo, FourTank al 98% del retorno de RL sin experto), ningún método de experto en tiempo de consulta supera al experto dentro del presupuesto de 1 millón de pasos. Los autores señalan que esto podría ser una limitación fundamental o un efecto del presupuesto, pero sugiere que para expertos altamente competentes, la sobrecarga de la mezcla en tiempo de consulta podría no generar ganancias dentro de los horizontes de entrenamiento estándar.

Significado y Afirmaciones
La contribución principal del artículo es el punto de referencia, la taxonomía y la regla de decisión, que proporcionan a los profesionales un marco para seleccionar un método guiado por expertos basado en las características específicas de su experto y tarea. Los autores declaran explícitamente que EDGE se ofrece como una "sonda de diseño" para demostrar que los ejes identificados (forma de la puerta y regla de puntuación) son explotables individualmente, en lugar de una afirmación de dominio de lo más avanzado (SOTA).

El trabajo destaca que el mecanismo de integración es crítico: un método que funciona bien con un experto perfecto puede fallar catastróficamente con uno ligeramente imperfecto. Al identificar F1, F2 y F3, el artículo traslada el campo de las propuestas de métodos aislados a una comprensión sistemática de cuándo y por qué el RL guiado por expertos tiene éxito o falla. Los autores concluyen que, para expertos que ya están cerca del techo físico o de RL, la solución más práctica dentro de los presupuestos actuales podría ser desplegar el experto directamente, ya que la ganancia marginal de la integración de RL es actualmente insignificante.