Behavior-Constrained Reinforcement Learning with Receding-Horizon Credit Assignment for High-Performance Control

Título: Aprendizado por Reforço Constrained por Comportamento com Atribuição de Crédito em Horizonte Recedente para Controle de Alta Performance

1. Problema e Motivação

O artigo aborda o desafio fundamental de desenvolver políticas de controle de alta performance em robótica (especificamente em carros de corrida) que sejam consistentes com o comportamento de especialistas humanos.

• O Dilema: O Aprendizado por Reforço (RL) puro pode descobrir estratégias de alta performance, mas frequentemente se desvia de comportamentos humanos desejáveis, explorando falhas do simulador ou adotando padrões de controle irrealistas. Por outro lado, o Aprendizado por Imitação (IL) é limitado pela qualidade e cobertura dos dados de demonstração, tendo dificuldade em melhorar além do nível do especialista e sofrendo com erros de covariância em novas condições.
• Contexto Específico: Em sistemas dinâmicos de alta performance (como corridas), o comportamento desejável é inerentemente nível de trajetória. Decisões subótimas têm consequências atrasadas (ex: uma entrada de curva muito rápida pode causar subesterço segundos depois). Além disso, o comportamento humano não é determinístico; ele varia naturalmente com perturbações e mudanças no setup do veículo.
• Objetivo: Criar uma política que otimize o desempenho (tempo de volta) enquanto mantém uma consistência estrita com o estilo de direção de pilotos profissionais, permitindo que o sistema seja usado como um "piloto digital" confiável para avaliação de configurações de veículos (setup testing).

2. Metodologia

Os autores propõem um framework de Aprendizado por Reforço Contextual Constrained por Comportamento (SBCRL). A abordagem integra otimização de tarefas com restrições de estilo, usando predição de horizonte curto para melhorar a atribuição de crédito temporal.

Componentes Principais:

• Formulação de Otimização Constrained:

  • O problema é formulado como maximizar a recompensa de desempenho ($r_p$) sujeita a uma restrição de que a recompensa de imitação de estilo ($r_s$) deve permanecer acima de um limite inferior ($\hat{R}$).
  • Em vez de usar um coeficiente fixo para balancear os objetivos (o que é difícil de ajustar), o método trata o coeficiente de imitação ($\alpha_s$) como um multiplicador de Lagrange, atualizado dinamicamente durante o treinamento para garantir que a restrição de estilo seja satisfeita.

• Predição de Trajetória de Horizonte Recedente (Receding-Horizon):

  • Para lidar com o atraso nas consequências das ações, o sistema introduz um preditor de trajetória de curto prazo baseado em Curvas de Bézier Probabilísticas.
  • Este preditor modela o futuro próximo (horizonte $H$) como uma distribuição de trajetórias, fornecendo recompensas de "olhar para frente" (look-ahead rewards). Isso melhora a atribuição de crédito temporal, permitindo que o agente entenda as consequências de suas ações antes que elas se manifestem totalmente.

• Modelagem de Comportamento Condicional à Trajetória:

  • A política é condicionada a trajetórias de referência ($\tau$) que representam a distribuição de comportamentos de especialistas (não apenas uma trajetória única).
  • Isso permite que a política aprenda uma distribuição de comportamentos válidos, capturando a variabilidade natural da direção humana sob diferentes condições e perturbações.

• Pipeline de Treinamento:

  1. Pré-treinamento Supervisionado: Uso de Behavioral Cloning (BC) para inicializar a política e o preditor de trajetória, garantindo estabilidade inicial.
  2. Aumento de Dados (Data Augmentation): Uso de Probabilistic Movement Primitives (ProMP) para aprender uma Distribuição de Trajetória de Referência (RTD) a partir das demonstrações. Amostras dessa distribuição são usadas como contexto durante o treinamento, aumentando a robustez e a generalização.
  3. Ajuste Fino (Fine-Tuning) com PPO: Uso do algoritmo Proximal Policy Optimization (PPO) com as recompensas compostas (desempenho + imitação + recompensas de horizonte recedente).

3. Contribuições Principais

1. Otimização de Política Constrained por Comportamento: Formulação que maximiza o desempenho enquanto impõe um limite inferior rigoroso na consistência da trajetória com demonstrações de especialistas, eliminando a necessidade de ajuste manual fino de hiperparâmetros de trade-off.
2. Atribuição de Crédito com Horizonte Recedente: Introdução de um preditor leve de trajetória (Bézier probabilístico) que fornece recompensas de antecipação, melhorando significativamente a aprendizagem em sistemas dinâmicos com efeitos atrasados.
3. Modelagem de Comportamento Condicional: Capacidade de representar a variabilidade natural da direção humana através de condicionamento em trajetórias de referência, em vez de tentar imitar um alvo determinístico único.
4. Validação Baseada em Humanos: Avaliação em um simulador de corrida de alta fidelidade com pilotos profissionais, demonstrando que a política aprendida não apenas é rápida, mas também reproduz características de direção dependentes do setup do veículo consistentemente com o feedback humano.

4. Resultados e Avaliação

Os experimentos foram realizados em um simulador de corrida de alta fidelidade com dados de pilotos profissionais.

• Desempenho vs. Imitação: O método proposto (A) superou os baselines (RL puro, IL adversarial, RL contextual padrão) na fronteira de Pareto. Ele alcançou tempos de volta competitivos (melhores que os baselines de imitação) enquanto mantinha um erro de referência (MRO - Mean Reference Offset) muito baixo, superando o RL puro que sacrificava o estilo pela velocidade.
• Generalização: O método demonstrou robustez ao ser testado em múltiplas pistas e configurações de carros sem necessidade de re-tuning manual dos coeficientes de recompensa, ao contrário dos métodos de baselines que exigiam ajuste específico para cada ambiente.
• Estudos de Ablação:
  • A predição de trajetória como tarefa auxiliar melhorou o tempo de volta em ~0.25s e a imitação em ~30% (MRO).
  • O aumento de dados via RTD melhorou a generalização em testes não vistos, reduzindo o tempo de volta em ~0.2s comparado ao uso direto das demonstrações.
  • O ajuste automático do coeficiente de recompensa permitiu atingir o alvo de imitação desejado sem busca extensiva de hiperparâmetros.
• Avaliação Humana (Driver-in-the-Loop): Em testes com pilotos reais, as políticas aprendidas reproduziram corretamente as características de direção dependentes do setup (ex: comportamento mais conservador em carros com tendência a oversteer). Os pilotos validaram que o comportamento do agente era consistente com suas expectativas e feedback qualitativo sobre a dirigibilidade do veículo.

5. Significado e Impacto

Este trabalho demonstra que é possível aprender políticas de controle de alta performance que são simultaneamente ótimas e consistentes com o comportamento humano.

• Aplicação Prática: O método serve como um "substituto digital" confiável para pilotos humanos na avaliação virtual de configurações de veículos (virtual setup testing). Isso permite que engenheiros de corrida testem suspensões, aerodinâmica e outros parâmetros de forma rápida e barata, com a garantia de que o comportamento do simulador reflete a realidade da direção profissional.
• Generalidade: Embora focado em automobilismo, o framework de RL com restrições de comportamento e predição de horizonte recedente é aplicável a uma ampla gama de tarefas de controle contínuo em robótica, onde a segurança e a conformidade com o comportamento humano são críticas.

Em resumo, o artigo oferece uma solução robusta para o dilema clássico entre "fazer a tarefa da melhor maneira possível" e "fazer a tarefa da maneira como um humano faria", utilizando mecanismos de predição e otimização constrained para alinhar os dois objetivos.