Resumo Técnico: Reinforcement Twinning para Controle Híbrido de Drones de Asa Batente

Definição do Problema

Controlar micro veículos aéreos de asa batente (FWMAVs) apresenta um desafio significativo devido às suas dinâmicas intrinsecamente instáveis, fortemente não lineares e variantes no tempo. Estes sistemas são subatuados e operam em regimes onde forças viscosas dominam os efeitos inerciais, levando a interações aerodinâmicas complexas, como vórtices de borda de ataque. Além disso, a fabricação em pequena escala introduz incertezas paramétricas, e os dados dos sensores são frequentemente ruidosos.

As estratégias de controle tradicionais enfrentam um compromisso fundamental:

• Abordagens Baseadas em Modelo (MB) (ex: LQR, MPC) dependem de modelos lineares ou não lineares simplificados que frequentemente falham em capturar incertezas variantes no tempo e cinemáticas complexas, levando a um desempenho insatisfatório em manobras ágeis.
• Abordagens Livres de Modelo (MF) (ex: Aprendizado por Reforço) evitam suposições explícitas de modelagem, mas sofrem com baixa eficiência de amostragem, exigindo uma exploração extensa e potencialmente insegura de tentativa e erro para convergir.

O artigo aborda a necessidade de um framework de controle que combine a robustez da modelagem baseada em física com a adaptabilidade do aprendizado baseado em dados, especificamente adaptado para o ambiente de alta eficiência de amostragem e alto risco de voo de FWMAVs.

Metodologia: Reinforcement Twinning (RT)

Os autores propõem um framework de Reinforcement Twinning (RT), uma arquitetura híbrida livre de modelo/baseada em modelo projetada para facilitar a colaboração bidirecional entre dois agentes de aprendizado. O sistema opera através dos seguintes componentes:

1. Arquitetura de Dois Agentes

Duas políticas de controle paralelas são treinadas simultaneamente:

• Política Livre de Modelo ($\pi_{mf}$): Treinada usando o algoritmo Deep Deterministic Policy Gradient (DDPG). Ela interage diretamente com o ambiente real (uma simulação não linear variante no tempo, NLTV, do drone) para maximizar a recompensa cumulativa.
• Política Baseada em Modelo ($\pi_{mb}$): Treinada dentro de um Ambiente Virtual (um modelo substituto não linear invariante no tempo, NLTI). Esta política é otimizada usando gradiente descendente baseado em adjuntos para minimizar o custo de controle dentro do domínio virtual.

2. Gêmeo Digital Adaptativo (Ambiente Virtual)

O ambiente virtual não é um modelo estático, mas um gêmeo digital adaptativo. Ele utiliza uma formulação NLTI simplificada derivada de forças aerodinâmicas de ciclo médio.

• Lei de Fechamento: As forças aerodinâmicas são representadas como uma função polinomial de variáveis de estado e controle (especificamente, uma formulação de Modelo 3 incluindo termos de controle quadráticos).
• Identificação Online: Os parâmetros do modelo são continuamente atualizados via um procedimento de assimilação de dados baseado em adjuntos. Este processo minimiza o descompasso entre as trajetórias virtuais e as trajetórias do mundo real armazenadas em um "buffer de assimilação", permitindo que o modelo se adapte a dinâmicas evolutivas e incertezas em tempo real.

3. Mecanismos de Cooperação

Os dois agentes são coordenados por um Árbitro de Política (Policy Referee) que gerencia a interação entre os mundos real e virtual:

• Arbitragem de Política: Um árbitro seleciona qual política ($\pi_{mf}$ ou $\pi_{mb}$) atuará como o controlador "vivo" no ambiente real. Esta decisão é baseada em:
  • Razão de Confiança Real-para-Virtual (RVET): Uma métrica que compara as melhorias previstas no ambiente virtual contra as melhorias observadas no ambiente real. Se o modelo virtual for inconsistente com a realidade, a política livre de modelo é implantada.
  • Comparação de Desempenho: Se a política ociosa (aquela que não está sendo implantada no momento) superar consistentemente a política viva no ambiente virtual, uma troca pode ocorrer.
  • Detecção de Estagnação: Se o aprendizado estagnar, os pesos são clonados da política de melhor desempenho para a mais fraca para evitar a divergência.
• Experiência Compartilhada:
  • Transições da política viva (seja MF ou MB) populam um Buffer de Replay usado para treinar o crítico e o ator do MF.
  • Trajetórias de estado-ação são armazenadas em um Buffer de Assimilação (atualizado via critério de variância máxima para garantir diversidade) para identificar e atualizar a lei de fechamento do ambiente virtual.

Principais Contribuições

O artigo detalha três contribuições técnicas primárias:

1. Estratégia de Identificação de Modelo Online: A formulação de uma otimização contínua baseada em adjuntos para calibrar um modelo não linear invariante no tempo (NLTI) simplificado a partir de trajetórias de curto horizonte geradas por um ambiente não linear variante no tempo (NLTV). Isso permite que o modelo se adapte às regiões específicas do espaço de estados visitadas pela política de controle, em vez de depender de conjuntos de dados pré-coletados.
2. Mecanismo de Aprendizado Bidirecional: Ao contrário do Aprendizado por Reforço Baseado em Modelo (MBRL) padrão, onde o modelo serve primordialmente para apoiar a política, este framework estabelece interações recíprocas. O modelo guia a exploração no espaço de controle, enquanto o agente de aprendizado por reforço enriquece os dados usados para a identificação do modelo.
3. Árbitro de Política e Colaboração: O design de um sistema de arbitragem dinâmica que gerencia a implantação de agentes com base na consistência real-virtual, permitindo que o sistema alterne entre a eficiência baseada em modelo e a robustez livre de modelo conforme as condições mudam.

Resultados

O framework foi avaliado no controle longitudinal de um drone de asa batente (ascensão vertical para um estado alvo) sob três cenários de inicialização distintos:

1. Calibração Offline: Quando o modelo virtual foi pré-calibrado em um conjunto rico de dados, o framework híbrido RT convergiu significativamente mais rápido e com menor variância do que uma abordagem DDPG (livre de modelo) isolada. A política baseada em modelo impulsionou o início do treinamento, atuando como uma salvaguarda para a exploração.
2. Aprendizado Totalmente Online (Inicialização Aleatória): Em cenários onde tanto o modelo quanto a política começaram com parâmetros aleatórios (sem conhecimento prévio), a abordagem puramente baseada em modelo falhou em convergir efetivamente devido ao viés inicial do modelo. A abordagem puramente livre de modelo convergiu, mas lentamente. O framework RT superou ambos os baselines, alcançando uma convergência mais rápida e recompensas finais mais altas. O sistema conseguiu adaptar o modelo substituto online, transitando do domínio da política livre de modelo para o domínio da política baseada em modelo à medida que o gêmeo digital ganhava fidelidade.
3. Aprendizado Online com Viés de Modelo: Quando o modelo inicial foi calibrado em dados com vieses significativos (ex: aumento de 33% na massa ou deslocamento do centro de pressão), o framework RT corrigiu com sucesso o modelo substituto online. Ele manteve o aprendizado de política eficiente e alcançou o estado alvo, demonstrando robustez a incertezas paramétricas e mudanças dinâmicas.

Seleção de Modelo: O estudo identificou que uma lei de fechamento polinomial incluindo termos de controle quadráticos (Modelo 3) ofereceu o melhor compromisso entre precisão preditiva e complexidade computacional, atingindo coeficientes de correlação de Pearson acima de 0,99 para posições longitudinais e verticais.

Significância e Alegações

O artigo afirma que o framework de Reinforcement Twinning mitiga com sucesso o compromisso entre a baixa eficiência de amostragem do aprendizado livre de modelo e as imprecisões de modelo do controle tradicional baseado em modelo. Ao permitir a interação contínua e bidirecional entre uma política baseada em dados e um modelo baseado em física adaptável, o framework:

• Melhora a eficiência de amostragem e a robustez no controle de sistemas altamente não lineares e variantes no tempo.
• Permite a adaptação online a dinâmicas evolutivas e incertezas paramétricas sem a necessidade de extensos dados de pré-treinamento.
• Fornece uma arquitetura generalizável para controle em tempo real em ambientes dinamicamente evolutivos, demonstrando especificamente sua eficácia no contexto desafiador do voo de drones de asa batente.

Os autores observam que, embora o estudo atual se concentre no controle longitudinal com estimativa de estado idealizada, trabalhos futuros estenderão o framework para dinâmicas 3D completas e validarão o desempenho contra simulações de CFD de alta fidelidade.