Learning Acrobatic Flight from Preferences

Este artigo propõe o framework Reward Ensemble under Confidence (REC), uma abordagem de aprendizado por reforço baseada em preferências que modela a incerteza da recompensa para superar as limitações das funções manuais, permitindo que um drone quadricóptero aprenda manobras acrobáticas complexas e seja transferido com sucesso para o mundo real sem ajustes adicionais.

O essencial

Imagine que você quer ensinar um drone a fazer acrobacias incríveis, como um "looping" contínuo ou um "8" vertical, mas você não sabe exatamente como descrever matematicamente o que é um "bom" movimento.

É aqui que entra este artigo, que apresenta uma solução inteligente chamada REC (um sistema de aprendizado baseado em preferências). Vamos explicar como isso funciona usando analogias do dia a dia.

O Problema: O Chefe que não sabe o que quer

Na robótica tradicional, para ensinar um drone a voar, os programadores precisam criar uma "lista de regras" (chamada de função de recompensa). É como se você fosse um chefe tentando ensinar um estagiário a fazer um bolo:

• "Adicione 2 xícaras de farinha."
• "Assie por 30 minutos."

O problema é que, em acrobacias aéreas, as regras são muito complexas. O que torna um movimento "bonito" ou "suave"? É a velocidade? A inclinação? A suavidade da curva?
Os autores descobriram que tentar escrever essas regras manualmente é um fracasso. Eles testaram e viram que as regras criadas por humanos concordam com o julgamento de uma pessoa real sobre o que é "legal" apenas 60% das vezes. É como se o chefe dissesse: "Faça um bolo perfeito", mas a receita que ele escreveu resultasse em um bolo queimado metade das vezes.

A Solução: O Mestre de Cerimônias (PbRL)

Em vez de dar uma receita escrita, os autores propõem usar preferências. Imagine que, em vez de dar regras, você mostra dois vídeos de voos para um juiz humano e pergunta: "Qual desses dois voos ficou mais bonito?".

O drone aprende comparando os dois e tentando fazer o que o juiz preferiu. Isso é chamado de Aprendizado por Reforço Baseado em Preferências (PbRL).

A Inovação: O "REC" (O Sistema de Apostas)

Aqui está a parte genial do artigo. O problema de pedir opiniões é que, às vezes, dois voos são tão parecidos que o juiz fica em dúvida. Se o computador tratar essa dúvida como um erro, ele pode aprender coisas erradas.

O sistema REC (Reward Ensemble under Confidence) funciona como um painel de especialistas ou um grupo de amigos apostando:

1. O Painel de Especialistas: Em vez de ter um único "cérebro" calculando a pontuação, o REC usa vários modelos (vários especialistas) ao mesmo tempo.
2. Medindo a Dúvida: Se todos os especialistas concordam que o Voo A é melhor, o sistema tem certeza. Mas, se metade diz "Voo A" e a outra metade diz "Voo B", o sistema percebe: "Ei, estamos inseguros aqui!".
3. Explorando a Incerteza: Em vez de ignorar essa dúvida, o REC usa ela a seu favor. Ele diz ao drone: "Vá tentar coisas novas nessa situação, porque ninguém sabe o que é o melhor ainda!". Isso ajuda o drone a explorar mais e a não ficar preso em movimentos ruins.
4. Renovar o Time: Se um dos "especialistas" do painel começa a dar respostas ruins ou repetitivas, o sistema o troca por um novo, mantendo o grupo sempre diverso e inteligente.

Os Resultados: Do Simulado ao Real

Os pesquisadores testaram isso em dois lugares:

1. No Computador (Simulação): O drone aprendeu a fazer manobras complexas muito mais rápido e com mais estabilidade do que os métodos antigos. O sistema REC conseguiu atingir 88% do desempenho de um "mestre" que tinha a receita perfeita (regra manual), enquanto o método antigo só chegava a 55%.
2. No Mundo Real: O mais impressionante é que eles pegaram o cérebro treinado no computador e colocaram em um drone real de 220 gramas, sem nenhum ajuste extra (chamado de "transferência zero-shot").
   • O drone fez loops contínuos.
   • O drone fez um "8" vertical (uma manobra nova que nem existia antes no sistema).
   • Tudo isso aprendendo apenas com "gostei / não gostei" de um humano, sem nenhuma equação matemática complexa escrita à mão.

Resumo em uma Frase

Este trabalho mostra que, para ensinar robôs a fazer coisas artísticas e complexas, é melhor perguntar a um humano "qual você prefere?" e usar um sistema inteligente que entende quando está em dúvida, do que tentar escrever regras matemáticas perfeitas que quase sempre falham. É como aprender a dançar observando e corrigindo passos, em vez de tentar calcular a física de cada movimento do corpo.

Resumo técnico

1. O Problema

O controle de drones quadrotor para manobras acrobáticas é um desafio significativo devido à dinâmica não linear, transições de estado rápidas e margens de erro extremamente estreitas. A abordagem tradicional de Aprendizado por Reforço (RL) depende de funções de recompensa manualmente projetadas (baseadas em regras) para guiar o agente. No entanto, para tarefas que envolvem estética, qualidade subjetiva ou intenção de alto nível, é difícil ou impossível formalizar essas recompensas de forma precisa.

O artigo destaca que:

• Funções de recompensa manuais frequentemente falham em capturar o que realmente importa para a execução de uma manobra.
• Os autores encontraram que recompensas artesanais concordam com o julgamento humano apenas 60,7% das vezes.
• O Aprendizado por Reforço Baseado em Preferências (PbRL) surge como uma alternativa, onde o agente aprende comparando pares de trajetórias em vez de receber recompensas numéricas explícitas.
• Contudo, métodos existentes de PbRL muitas vezes ignoram a incerteza inerente nas preferências humanas, levando a instabilidade no treinamento e políticas frágeis, especialmente em sistemas físicos reais.

2. Metodologia: REC (Reward Ensemble under Confidence)

Os autores propõem o REC, um framework probabilístico de aprendizado de recompensa para PbRL. A ideia central é modelar explicitamente a incerteza da recompensa em cada passo de tempo, tratando as preferências como probabilísticas e não determinísticas.

O framework consiste em três componentes principais:

• Modelo de Recompensa Probabilístico (Ensemble):

  • Em vez de um único modelo, utiliza-se um ensemble (conjunto) de redes neurais (MLPs).
  • Cada membro do ensemble prevê uma recompensa para um par (observação, ação).
  • As estatísticas do ensemble (média e desvio padrão) são usadas para modelar a recompensa como uma distribuição normal: $r \sim \mathcal{N}(\mu, \sigma)$.
  • Isso permite que o modelo expresse confiança: se os membros discordam (alto desvio padrão), a incerteza é alta.

• Função de Perda Probabilística:

  • Substitui o modelo softmax de Bradley-Terry (padrão em PbRL) por uma função baseada na Distribuição Cumulativa Normal (CDF Gaussiana).
  • A probabilidade de uma trajetória ser preferida à outra é calculada considerando a diferença entre as médias das recompensas e a soma das variâncias (incertezas).
  • Adicionalmente, uma perda de regularização é usada para evitar que o desvio padrão colapse para zero (o que tornaria o modelo determinístico novamente).

• Estratégia de Agregação e Exploração:

  • Para gerar o sinal de recompensa para a otimização da política, as previsões do ensemble são agregadas adicionando um "ruído" proporcional à discordância do ensemble.
  • Incentivo à Exploração: Quando o ensemble discorda (alta incerteza), a recompensa agregada aumenta. Isso incentiva o agente a explorar regiões do espaço de estados onde o modelo de recompensa é menos certo, melhorando a coleta de dados informativos.

• Reset de Ensemble:

  • Antes de cada retreinamento do modelo de recompensa, os membros do ensemble que performam pior são re-inicializados. Isso mantém a diversidade do ensemble, essencial para estimativas de incerteza precisas ao longo do tempo.

3. Contribuições Principais

1. Proposta do REC: Um novo framework que modela a incerteza da recompensa passo a passo dentro de um ensemble, substituindo o softmax determinístico por um modelo de preferência distribucional.
2. Desempenho Superior em Voo Acrobático: Demonstração de que o REC atinge 88,4% do desempenho de uma recompensa manual bem projetada em controle de quadrotor, comparado a apenas 55,2% do PbRL padrão (Preference PPO).
3. Transferência Zero-Shot para o Mundo Real: Sucesso na transferência de políticas treinadas em simulação para um drone real de 220g, executando manobras complexas (como powerloops contínuos e um "Figura-8" vertical) sem ajuste fino no mundo real.
4. Validação da Limitação de Recompensas Manuais: Evidência empírica de que recompensas manuais concordam com humanos apenas 60,7% das vezes, reforçando a necessidade de abordagens baseadas em preferência para objetivos subjetivos.

4. Resultados e Experimentos

Os experimentos foram conduzidos em simulação (Flightmare) e no mundo real, além de um benchmark de controle contínuo (DM Control Suite).

• Benchmark DM Control (Walker-Walk): O REC superou o Preference PPO padrão, com a perda probabilística e o ruído de recompensa sendo os componentes que mais contribuíram para o ganho. O reset do ensemble reduziu a variância do treinamento.
• Controle de Quadrotor (Powerloop Contínuo):
  • REC (Preferências Sintéticas): Alcançou 88,4% da recompensa manual.
  • Preference PPO (Preferências Sintéticas): Alcançou apenas 55,2%.
  • O REC mostrou convergência mais estável e menor variância entre as sementes de treinamento.
• Preferências Humanas:
  • Um anotador humano avaliou pares de trajetórias. Apesar da baixa concordância (60,7%) entre a recompensa manual e o humano, a política treinada com feedback humano foi capaz de executar manobras acrobáticas complexas no drone real.
  • Isso demonstra que o feedback de preferência captura nuances de qualidade (suavidade, timing, estética) que a recompensa manual não consegue codificar.
• Novas Habilidades: O framework foi capaz de aprender uma manobra nova ("Figura-8" vertical) puramente a partir de feedback humano, sem alterar hiperparâmetros ou criar novas funções de recompensa.

5. Significado e Conclusão

O trabalho demonstra que o Aprendizado por Reforço Baseado em Preferências é viável e eficaz para tarefas de robótica ágil no mundo real, superando as limitações da engenharia manual de recompensas.

• Inovação Técnica: A incorporação explícita da incerteza do modelo de recompensa (através de ensembles e distribuições) resolve problemas de instabilidade e exploração ineficiente comuns em PbRL.
• Impacto Prático: Permite que usuários não especialistas definam comportamentos complexos de drones através de comparações simples, eliminando a necessidade de especialistas em controle para projetar funções de recompensa complexas.
• Desafios Futuros: O artigo sugere que a dependência do ângulo de visão na avaliação humana e a dificuldade de exploração inicial são desafios que podem ser mitigados com estudos multi-avaliadores e estratégias de aprendizado curricular.

Em resumo, o REC oferece uma solução robusta para ensinar robôs habilidades complexas e subjetivas, alinhando o comportamento aprendido diretamente com a percepção e preferência humanas.