When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning

Resumo Técnico: Diagnóstico de Aprendizado por Reforço Guiado por Especialista em Tempo de Consulta

Declaração do Problema
Muitos domínios de controle contínuo (controle industrial, locomoção, rastreamento de trajetória) implantam controladores competentes, mas subótimos, como loops PID ajustados, gaits projetados manualmente ou sistemas de Controle Preditivo por Modelo (MPC). Esses controladores frequentemente servem como um "piso" que agentes de Aprendizado por Reforço (RL) são esperados superar. No entanto, a literatura sobre RL guiado por especialista em tempo de consulta — onde um agente pode consultar um controlador especialista pré-existente durante o treinamento — carece de um quadro de avaliação unificado. Métodos existentes (por exemplo, IBRL, JSRL, Residual SAC) foram propostos isoladamente em diferentes benchmarks com qualidades de especialista variadas e orçamentos de otimização de hiperparâmetros (HPO). Consequentemente, os praticantes carecem de uma compreensão clara de qual mecanismo de integração extrai o máximo valor de um especialista, nem compreendem os modos de falha específicos que surgem quando os especialistas são imperfeitos (por exemplo, subajustados, enviesados ou ruidosos).

Metodologia e Protocolo Experimental
Os autores harmonizam a comparação de cinco métodos guiados por especialista (IBRL, duas variantes de JSRL, Residual SAC e um novo método chamado EDGE) em uma base comum de Soft Actor-Critic (SAC). O protocolo de avaliação é rigoroso e padronizado:

• Benchmarks: Quatro tarefas de controle contínuo: FourTank (rastreamento de ponto de ajuste MIMO), Plane3DCircle (rastreamento de aeronave 3D com falha catastrófica), GlassFurnace (controle térmico de longo horizonte) e CheetahRun (locomoção). Dois desses (Plane3DCircle e GlassFurnace) são lançados como novos benchmarks.
• Sementes e Orçamento: 100 sementes para tarefas de controle e 50 para locomoção, treinadas por 1 milhão de passos de ambiente.
• Qualidade do Especialista: Uma "varredura de degradação" testa a robustez contra subajuste do especialista, viés de ação e ruído de observação.
• Métrica: O desempenho é medido usando a Vantagem Normalizada pelo Especialista (ENA), que normaliza os retornos em relação ao desempenho do especialista e a um teto físico teórico.

Principais Contribuições

1. Um Benchmark de Protocolo Comum: O artigo estabelece uma comparação direta de métodos de RL guiado por especialista sob condições idênticas de HPO e avaliação, revelando que nenhum método único domina em todas as estruturas de tarefas.
2. Taxonomia de Modos de Falha (F1–F3): A comparação harmonizada traz à tona três modos de falha específicos que avaliações de artigos únicos ignoram:
   • F1 (Ponto Cego do Crítico): Em métodos que usam seleção de ação argmax (como IBRL), o crítico torna-se "ancorado" à ação do especialista em estados onde o especialista vence. Isso impede que o crítico receba novos alvos de Bellman para as próprias ações da política nesses estados, fazendo com que o método tenha desempenho inferior até mesmo a uma linha de base SAC sem especialista quando o especialista é muito forte (perto do teto de RL).
   • F2 (Saturação Residual): Métodos de correção aditiva (Residual SAC) são limitados pelo espaço de ação. Em tarefas com especialistas fracos, a correção necessária para superar os erros estruturais do especialista excede esse limite, limitando o desempenho muito abaixo de outros métodos. Por outro lado, em especialistas quase ótimos, esse limite permite que o Residual SAC herde imediatamente o desempenho do especialista.
   • F3 (Envenenamento do Buffer de Inicialização Quente): Métodos que usam uma transferência no tempo de treinamento (executando o especialista por um período fixo de inicialização quente antes de alternar para a política) sofrem quando o especialista é imperfeito. O buffer de replay coletado durante a inicialização quente reflete o estado específico (potencialmente falho) do especialista, e a política falha em se recuperar quando implantada em um sistema diferente ou perturbado.
3. Regra de Decisão: Os autores derivam uma regra de decisão testável que mapeia três observáveis (qualidade do especialista, término da tarefa e tipo de perturbação esperado) para um método recomendado. Por exemplo, se o especialista estiver próximo do teto e não terminar, prevê-se que o IBRL falhe (F1); se o especialista for fraco e a tarefa for terminante, prevê-se que o Residual SAC falhe (F2).
4. EDGE (Exploração Guiada por Especialista): O artigo introduz o EDGE, um novo método projetado para evitar os modos de falha identificados. O EDGE substitui o portão determinístico argmax por um mecanismo de mistura estocástica com portão de pessimismo consciente da qualidade. Ele usa um conjunto de críticos para calcular um Limite Inferior de Confiança (LCB) e aplica um portão softmax para selecionar probabilisticamente entre o especialista e a política. Crucialmente, ele amplia o estado com o estado interno do controlador do especialista (por exemplo, estado do integrador PID) para garantir que o crítico tenha visibilidade total.

Resultados

• Nenhum Método Dominante: Cada método se destaca em um regime específico, mas falha previsivelmente em outros. Por exemplo, o Residual SAC empatou pelo topo em FourTank (especialista próximo do teto), mas colapsou em Plane3DCircle (especialista fraco). O IBRL foi superado pelo SAC sem especialista em FourTank devido ao F1.
• Robustez: Sob perturbações do especialista (subajuste, viés, ruído), as classificações limpas se invertem. Métodos que mantêm um retorno ao especialista a cada passo (JSRL-curriculum, EDGE) são mais robustos à degradação do especialista durante o treinamento, enquanto o Residual SAC é mais robusto ao viés de ação no momento da implantação devido à sua correção limitada.
• Desempenho do EDGE: O EDGE é competitivo em todas as tarefas. Em Plane3DCircle, ele supera significativamente a amostragem de Thompson literal e outras linhas de base, demonstrando que a combinação de um portão estocástico e pontuação LCB é eficaz.
• O Muro "RL-Perto-do-Teto": Em tarefas onde o especialista já está muito próximo do desempenho de um agente de RL sem especialista (por exemplo, FourTank em 98% do retorno de RL sem especialista), nenhum método de especialista em tempo de consulta supera o especialista dentro do orçamento de 1 milhão de passos. Os autores observam que isso pode ser uma limitação fundamental ou um efeito de orçamento, mas sugere que, para especialistas altamente competentes, o custo adicional da mistura em tempo de consulta pode não gerar ganhos dentro de horizontes de treinamento padrão.

Significado e Alegações
A contribuição principal do artigo é o benchmark, a taxonomia e a regra de decisão, que fornecem aos praticantes um quadro para selecionar um método guiado por especialista com base nas características específicas de seu especialista e tarefa. Os autores afirmam explicitamente que o EDGE é oferecido como uma "sonda de design" para demonstrar que os eixos identificados (forma do portão e regra de pontuação) são individualmente exploráveis, em vez de uma alegação de domínio de Estado da Arte (SOTA).

O trabalho destaca que o mecanismo de integração é crítico: um método que funciona bem com um especialista perfeito pode falhar catastróficamente com um ligeiramente imperfeito. Ao identificar F1, F2 e F3, o artigo move o campo de propostas de métodos isolados para uma compreensão sistemática de quando e por que o RL guiado por especialista tem sucesso ou falha. Os autores concluem que, para especialistas que já estão próximos do teto físico ou de RL, a solução mais prática dentro dos orçamentos atuais pode ser implantar o especialista diretamente, pois o ganho marginal da integração de RL é atualmente negligenciável.