NanoBench: A Multi-Task Benchmark Dataset for Nano-Quadrotor System Identification, Control, and State Estimation

O artigo apresenta o NanoBench, um novo conjunto de dados de benchmark de código aberto coletado no nano-quadrotor Crazyflie 2.1, que fornece sinais de nível de atuador e dados de estado sincronizados para avaliar e desenvolver sistemas de identificação, controle e estimativa de estado específicos para a escala nano.

O essencial

Imagine que você tem um drone minúsculo, do tamanho de um isqueiro e pesando menos que uma maçã (27 gramas). Vamos chamá-lo de "NanoDrone".

Agora, imagine que os cientistas querem ensinar robôs a voar sozinhos, a desviar de obstáculos e a fazer acrobacias. Para fazer isso, eles precisam de "escolas" ou "campeonatos" onde os robôs podem praticar e ser testados.

O problema é que, até agora, todos os campeonatos de robótica aérea eram feitos com drones grandes (do tamanho de um gato ou até de um cachorro). Os modelos de física e os controles que funcionam perfeitamente para esses drones grandes falham miseravelmente quando tentamos usá-los no NanoDrone. É como tentar pilotar um F1 usando as regras de um trator: o motor é muito fraco, o vento age de forma diferente e o computador de bordo é muito simples.

Faltava um "campo de treino" específico para esses drones minúsculos. É aí que entra o NanoBench.

O que é o NanoBench?

Pense no NanoBench como um gigantesco álbum de fotos e vídeos em 4K, mas em vez de fotos de paisagens, ele registra cada segundo de 170 voos diferentes de um drone Crazyflie 2.1 (o "NanoDrone" mencionado).

Mas não é apenas um vídeo. É como se o drone tivesse mil olhos e sensores que gravam tudo ao mesmo tempo:

1. O que o drone "vê" lá fora: A posição exata dele no ar (com precisão de milímetros), capturada por câmeras superpotentes na sala.
2. O que o drone "sente" dentro: A velocidade, a aceleração e a inclinação (os dados do giroscópio).
3. O que o cérebro do drone "pensou": O que o computador interno dele achou que estava acontecendo.
4. O que o cérebro "mandou fazer": Os comandos exatos que foram enviados para os motores (quanto girar cada hélice).
5. O "batimento cardíaco": O nível da bateria, que muda a força do motor conforme a energia acaba.

Tudo isso é gravado perfeitamente sincronizado, como se fosse uma orquestra onde cada músico toca na hora exata, sem atraso.

Por que isso é tão importante? (A Analogia do Chef de Cozinha)

Imagine que você é um chef tentando criar uma nova receita de bolo.

• Antes do NanoBench: Você tinha receitas para fazer bolos gigantes (drones grandes). Você tentava adaptar essas receitas para um cupcake (o NanoDrone), mas o cupcake sempre queimava ou desmanchava. Ninguém sabia exatamente por que, porque ninguém tinha anotado a temperatura exata do forno, a quantidade de farinha e o tempo de mistura para o cupcake.
• Com o NanoBench: Agora, você tem um livro de receitas perfeito para cupcakes. Ele diz exatamente: "Se você usar 2g de farinha e 100 graus, o cupcake sobe assim". Além disso, ele mostra o que o cupcake realmente fez.

Isso permite que pesquisadores:

1. Aprendam a voar: Criem algoritmos que entendam a física específica desses drones pequenos (onde o ar é mais "grudento" e os motores são menos precisos).
2. Testem pilotos: Vejam qual programa de computador consegue fazer o drone voar mais rápido e sem bater.
3. Melhorem a visão: Vejam se o drone consegue saber onde está mesmo quando está voando muito rápido e a bateria está acabando.

O que eles descobriram? (Os Resultados)

Os autores usaram esse banco de dados para testar três coisas principais:

1. Prever o futuro (Identificação de Sistema): Eles tentaram criar um "oráculo" que diz onde o drone estará daqui a 1 segundo.

   • Descoberta: As leis da física clássicas funcionam muito bem para o "agora" (10 milissegundos), mas falham rápido se você tentar prever muito tempo à frente. É como tentar prever o tempo: funciona para a próxima hora, mas erra feio para a próxima semana. A melhor solução foi misturar a física com inteligência artificial.

2. Controlar o voo (Benchmark de Controle): Eles testaram diferentes "pilotos" (programas) para ver quem voava melhor.

   • Descoberta: Um piloto chamado "Mellinger" (que usa matemática avançada) foi muito mais estável e não deixou o drone cair, mesmo em manobras arriscadas. Outro piloto, baseado em otimização complexa (MPPI), tentou voar tão rápido que "desistiu" e perdeu o controle em 75% das vezes. Isso mostra que, para drones minúsculos, "mais complexo" nem sempre é "melhor".

3. Saber onde está (Estimativa de Estado): Eles testaram se o computador do drone conseguia dizer onde ele estava com precisão.

   • Descoberta: Em voos lentos, o computador do drone era excelente (erro menor que 2 centímetros). Mas, em voos muito rápidos, o computador "enlouqueceu" e perdeu a noção de onde estava. Isso mostra o limite do processador fraco que eles usam.

Resumo Final

O NanoBench é como abrir as portas de um laboratório secreto e entregar a chave para todo mundo. Antes, cada grupo de pesquisa tinha seu próprio drone, seus próprios dados secretos e seus próprios testes, o que tornava difícil comparar quem era realmente o melhor.

Agora, com esse conjunto de dados aberto, qualquer pessoa pode baixar os "gravações de voo", treinar seus próprios robôs e dizer: "Olha, meu novo algoritmo voou melhor que o do vizinho, e aqui estão os números provando".

É um passo gigante para que, no futuro, enxames de drones minúsculos possam voar sozinhos em nossas casas, florestas e cidades, fazendo tarefas úteis sem bater nas paredes.

Resumo técnico

Resumo Técnico: NanoBench

1. O Problema

A robótica aérea baseada em aprendizado (como RL e controle preditivo) avançou significativamente, mas os benchmarks públicos existentes focam em veículos maiores (centenas de gramas a quilogramas). Esses conjuntos de dados geralmente fornecem apenas dados de estado de alto nível, omitindo sinais de nível de atuador (comandos de motor) e detalhes internos do controlador.

Para nano-quadrópteros (como o Crazyflie 2.1, com ~27g), as dinâmicas são qualitativamente diferentes devido a:

• Aerodinâmica de baixo número de Reynolds: Efeitos de separação laminar e perdas viscosas que invalidam modelos de veículos maiores.
• Atuadores não lineares: Motores DC sem escova (coreless) introduzem zonas mortas e atrasos de resposta.
• Restrições Computacionais: Microcontroladores limitados (ex: Cortex-M4) exigem estimadores e controladores extremamente leves.
• Falta de Padronização: Não existia um benchmark público que fornecesse simultaneamente comandos de atuadores, dados internos do controlador, saídas do estimador e "ground truth" (verdade de terreno) de alta precisão para essa escala, dificultando a comparação sistemática de algoritmos.

2. Metodologia

O NanoBench é um conjunto de dados de código aberto coletado no Crazyflie 2.1 dentro de uma arena de captura de movimento Vicon.

• Plataforma de Coleta: O drone (27g) foi equipado com sensores IMU (Bosch BMI088) e controlado via rádio. Um sistema Vicon de 12 câmeras forneceu a posição e orientação de referência (ground truth) com precisão sub-milimétrica a 100 Hz.
• Pipeline de Aquisição:
  • Comunicação direta via biblioteca cflib (Python) para logs de telemetria do firmware.
  • Sincronização temporal rigorosa: Desenvolveu-se um procedimento de alinhamento por correlação cruzada entre as taxas angulares do giroscópio a bordo e as derivadas da orientação do Vicon. Isso corrigiu o deslocamento de relógio (clock offset) entre o firmware e o host, garantindo uma consistência residual inferior a 0,5 ms.
• Design das Trajetórias (170+ trajetórias):
  • Categoria A (Excitação): Trajetórias de "multi-seno" para identificação de sistema (frequências logarítmicas de 0,1 a 5 Hz).
  • Categoria B (Rastreamento): 10 tipos geométricos (círculos, 8, ovais, hélices, etc.) em múltiplas velocidades (0,5 a 1,0 m/s).
  • Categoria C (Drenagem de Bateria): Voos de hover longos para capturar a degradação de empuxo conforme a tensão da bateria cai de 4,2V para 3,1V.
• Dados Disponíveis: Cada trajetória inclui: Ground Truth (Vicon), dados brutos do IMU, estimativas do Filtro de Kalman Estendido (EKF) a bordo, variáveis internas do controlador PID e comandos PWM dos motores (100 Hz), além de telemetria da bateria (10 Hz).

3. Principais Contribuições

1. Primeiro Dataset Multi-Tarefa Nano: O primeiro conjunto de dados público a fornecer simultaneamente comandos de atuadores, dados internos do controlador e saídas do estimador com ground truth de alta precisão em uma plataforma comercial nano.
2. Protocolos de Avaliação Padronizados: Definição de divisões de treino/teste, métricas e implementações de baseline (linha de base) para três tarefas distintas:
   • Identificação de Sistema Não Linear: Previsão de trajetória de estado de 6 graus de liberdade (6-DoF).
   • Benchmarks de Controladores: Avaliação de desempenho de rastreamento em malha fechada.
   • Avaliação de Estimativa de Estado: Medição da precisão de estimadores leves a bordo.
3. Ferramentas de Sincronização: Um método validado para alinhar dados de múltiplas fontes com precisão de sub-milissegundo, essencial para validação de filtros de estado.

4. Resultados e Análise

Os autores avaliaram baselines em cada tarefa, revelando comportamentos específicos da escala nano:

• Tarefa 1 (Identificação de Sistema):
  • Modelos puramente físicos (dinâmica de corpo rígido) são extremamente precisos em horizontes curtos (<10 ms), mas divergem rapidamente em horizontes longos devido a erros acumulados na modelagem de empuxo.
  • Modelos híbridos (Física + Residual MLP) alcançaram a menor erro cumulativo, superando redes neurais puras (LSTM/MLP) em horizontes médios, mas mostrando que a correção residual é necessária para compensar as não-linearidades aerodinâmicas e de bateria.
• Tarefa 2 (Controle):
  • O controlador Mellinger (geométrico SE(3)) reduziu a taxa de divergência da trajetória em duas ordens de magnitude (de ~4% para ~0,01%) em comparação ao PID padrão, embora tenha gerado transientes de velocidade ligeiramente maiores.
  • Controladores aprendidos offline (como MPPI) falharam drasticamente (75% de divergência) quando aplicados sem ajuste fino específico para as limitações severas de empuxo (0,6 N) do nano-quadroptero, destacando a dificuldade de transferência simulação-realidade.
• Tarefa 3 (Estimativa de Estado):
  • O EKF a bordo manteve erros de trajetória absoluta (ATE) abaixo de 22 mm em velocidades lentas e médias.
  • Em altas velocidades (1,0 m/s), o estimador perdeu consistência (ATE > 3 m), definindo o limite operacional do processador Cortex-M4 de 168 MHz para essa dinâmica.

5. Significado

O NanoBench preenche uma lacuna crítica na pesquisa de robótica aérea. Ao fornecer dados de baixo nível sincronizados e protocolos de avaliação padronizados, ele permite:

• A comparação justa de algoritmos de identificação, controle e estimativa em plataformas com restrições severas.
• O desenvolvimento de modelos que consideram a não-estacionariedade da bateria e as dinâmicas de baixo Reynolds.
• A aceleração do desenvolvimento de autonomia segura e enxames de robôs em escala nano, onde a precisão e a eficiência computacional são críticas.

O conjunto de dados, código e scripts de avaliação estão disponíveis publicamente no repositório GitHub mencionado no artigo.