Resumo Técnico: Uma Abordagem Heurística para Ajuste de Desempenho no Controle de Quadrotor Baseado em RL

Declaração do Problema

Embora o Aprendizado por Reforço (RL) tenha demonstrado capacidades impressionantes em tarefas de quadrotor de alta velocidade e ágeis, como corridas de drones e navegação em ambientes congestionados, ele frequentemente carece da capacidade de fornecer manobras ajustáveis, precisas e controladas, necessárias para aplicações como inspeção de infraestrutura. Configurações típicas de treinamento de RL são rígidas, tornando difícil ajustar iterativamente os comportamentos resultantes para atender a métricas específicas de teoria de controle (por exemplo, tempo de acomodação, sobressinal, erro em regime permanente) sem incorrer em custos computacionais proibitivos. Além disso, ao contrário dos controladores clássicos Proporcional-Integrativo-Derivativo (PID), que oferecem heurísticas de ajuste intuitivas, as funções de recompensa de RL são frequentemente complexas e difíceis de mapear para requisitos específicos de desempenho transitório e em regime permanente.

Metodologia

Os autores propõem uma abordagem heurística inovadora para alcançar desempenho ajustável no controle de quadrotor de ponta a ponta baseado em RL, manipulando o design de recompensa e as condições de terminação. O sistema é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP) utilizando o algoritmo Proximal Policy Optimization (PPO).

1. Sistema e Observação

• Plataforma: O estudo utiliza um quadrotor Crazyflie 2.1 em configuração $X$.
• Dinâmica: O sistema emprega quatérnios unitários para orientação para evitar singularidades, modelando a dinâmica de corpo rígido incluindo empuxo, torque e gravidade.
• Espaço de Observação: O agente observa um vetor de 17 dimensões composto por erro de posição, erro de quatérnio, velocidade linear, velocidade angular e a ação anterior. Ruído gaussiano é injetado em todos os componentes do estado (exceto a ação anterior) para aumentar a robustez contra ruído de sensor em tempo real.
• Espaço de Ação: A política outputa valores normalizados de RPM do motor, mapeando diretamente para os quatro motores do drone.

2. Design da Função de Recompensa

Uma função de recompensa multi-componente é projetada para guiar a política em direção a um controle estabilizador:
$$R(t) = s_R + \lambda_1 e^R_{xy} + \lambda_2 e^R_{z} + \lambda_3 v_R + \lambda_4 \theta_R - \lambda_5 a^P_{\Delta}$$

• Recompensa de Sobrevivência ($s_R$): Incentiva o agente a evitar colisões ou estados inseguros.
• Recompensas de Erro de Posição ($e^R_{xy}, e^R_z$): Utiliza recompensas exponenciais de dupla largura de banda. Esta estrutura divide a recompensa em coeficientes que influenciam a resposta inicial ($\alpha$) e a precisão em regime permanente ($\beta$).
• Recompensas de Velocidade e Ângulo ($v_R, \theta_R$): Recompensa a redução da velocidade linear e do erro de orientação (medido via ângulo geodésico).
• Penalidade de Suavidade ($a^P_{\Delta}$): Penaliza o quadrado da norma euclidiana da diferença entre ações consecutivas, atuando como um termo de amortecimento para encorajar um comportamento de controle derivativo.

3. Condições de Terminação e Truncamento

Os autores definem condições específicas de falha (por exemplo, descender abaixo de 10 cm, aceleração excessiva) e horizontes de truncamento. Essas condições são ajustadas para restringir o comportamento do quadrotor, influenciando a agilidade e a natureza criticamente amortecida da resposta.

4. Regras Heurísticas de Ajuste

A contribuição central é um conjunto de heurísticas intuitivas para ajustar os pesos de recompensa, coeficientes exponenciais e limites de terminação para deslocar o desempenho entre três modos distintos:

• Linha de Base: Uma resposta criticamente amortecida com baixo erro em regime permanente.
• Acrobático (Mais Rápido): Alcançado aumentando a largura de banda de resposta inicial dos erros de posição e relaxando as restrições de velocidade, permitindo tempos de acomodação mais rápidos.
• Inspeção (Mais Lento): Alcançado reduzindo os limites de terminação de velocidade, aumentando a nitidez das recompensas de erro de posição e relaxando as recompensas de sobrevivência para evitar mínimos locais, resultando em transientes mais suaves e lentos.

Principais Contribuições

1. Estrutura de Recompensa Inovadora: Introdução de recompensas exponenciais de dupla largura de banda que alcançam uma resposta criticamente amortecida de linha de base com baixos erros em regime permanente no rastreamento de ponto de ajuste.
2. Heurísticas Ajustáveis: Um quadro de regras intuitivas para ajustar pesos de recompensa e condições de terminação para produzir tempos de acomodação "semelhantes a acrobacias" (rápidos) e "semelhantes a inspeção" (lentos), mantendo as características de erro em regime permanente da linha de base.
3. Eficiência de Amostragem: Demonstração de que o desempenho desejado pode ser alcançado em aproximadamente 6 milhões de passos de tempo usando PPO, sem a necessidade de arquiteturas híbridas complexas (por exemplo, RL em cascata com PID).
4. Validação Estatística: Validação em 100 ensaios com condições iniciais aleatórias, demonstrando desempenho consistente no rastreamento de posição e guinada.

Resultados

Os autores treinaram três políticas distintas (Linha de Base, Acrobático, Inspeção) usando hiperparâmetros idênticos de PPO.

• Eficiência de Treinamento: Todas as políticas atingiram a saturação de recompensa em 6 milhões de passos de tempo. A variância entre as sementes aleatórias foi baixa, indicando estabilidade.
• Métricas de Desempenho:
  • Tempo de Acomodação: A política Acrobático consistentemente alcançou tempos de acomodação mais curtos, enquanto a política de Inspeção exibiu transientes mais longos e suaves em comparação com a Linha de Base.
  • Sobressinal: As variáveis de posição x, y e z exibiram zero Intervalo Interquartil (IQR) no sobressinal, indicando que pelo menos 75% dos ensaios alcançaram a resposta criticamente amortecida pretendida. O sobressinal de guinada foi maior, atribuído às condições iniciais aleatorizadas.
  • Erro em Regime Permanente: Todas as três políticas mantiveram erros em regime permanente dentro da faixa prescrita de 2% para posição e guinada.
• Atuação do Motor: A política de Inspeção exigiu menos atuação do motor e estabilizou-se mais rapidamente em termos de estabilização de RPM em comparação com a política Acrobático mais agressiva.

Significado e Alegações

O artigo afirma que a abordagem heurística proposta constitui uma metodologia confiável e prática para projetar controladores de quadrotor baseados em RL com desempenho estabilizador ajustável. Diferentemente de abordagens híbridas anteriores que focam no treinamento de uma única política com expectativas fixas, este trabalho fornece um mecanismo para controlar as características de desempenho da política (transitória vs. regime permanente) por meio de ajustes intuitivos de parâmetros.

Os autores enfatizam que esta abordagem preenche a lacuna entre a flexibilidade do RL e a previsibilidade da teoria de controle clássica, permitindo a geração de controladores adequados para diversas aplicações, desde corridas de alta velocidade até inspeção precisa de infraestrutura. O trabalho é modesto em seu escopo, focando na validação baseada em simulação com ruído gaussiano, e identifica explicitamente a transferência sim-real, randomização de domínio, latência e limitações computacionais a bordo como áreas necessárias para trabalhos futuros.