BlankSkip: Early-exit Object Detection onboard Nano-drones

1. Problema e Contexto

O artigo aborda o desafio de implantar redes neurais profundas (DNNs) de visão computacional em nano-drones (Veículos Aéreos Não Tripulados - UAVs) autônomos.

• Restrições de Hardware: Plataformas como o Bitcraze Crazyflie 2.1 possuem recursos extremamente limitados: menos de 10 MiB de memória RAM, um orçamento de energia de cerca de 1 W e processadores de baixa frequência (GAP8 SoC).
• Ineficiência Atual: As abordagens existentes de detecção de objetos (OD) geralmente aplicam um grafo computacional fixo a todas as quadros de vídeo, independentemente do conteúdo. Em cenários de exploração de drones, uma grande fração dos quadros pode não conter objetos de interesse ("quadros vazios"), desperdiçando ciclos de processamento e energia preciosos.
• Limitação das Soluções Atuais: Métodos de Early Exit (saída antecipada) são bem estudados para classificação de imagens, mas sua aplicação em tarefas densas como detecção de objetos em plataformas com restrições severas ainda é pouco explorada.

2. Metodologia: BLANKSKIP

Os autores propõem o BLANKSKIP, um mecanismo adaptativo de saída antecipada projetado especificamente para detecção de objetos em nano-drones.

• Conceito Central: Em vez de executar o pipeline completo de detecção em cada quadro, o sistema divide o problema em duas etapas sequenciais:
  1. Classificação Binária Leve: Uma ramificação auxiliar (EE branch) anexada a uma camada intermediária da rede principal (backbone) classifica o quadro como "vazio" (sem objetos) ou "não vazio".
  2. Decisão de Saída: Se a probabilidade de o quadro ser "vazio" superar um limiar de confiança ($\tau$), a inferência é encerrada imediatamente. Caso contrário, o quadro prossegue para o cabeçote de detecção completo.
• Arquitetura:
  • Baseado em MobileNetV2-SSD (Single Shot Detector).
  • A ramificação de saída antecipada é extremamente leve (duas camadas convolucionais, Global Average Pooling e camadas totalmente conectadas), adicionando apenas ~1,1% a 3,0% aos parâmetros totais do modelo.
• Estratégia de Treinamento:
  • Otimização End-to-End: O modelo é treinado com uma função de perda composta ($L_{total} = L_{loc} + L_{cls} + \lambda \cdot L_{EE}$), onde $L_{EE}$ penaliza erros na classificação de "vazio/não vazio".
  • Pesos de Classe: Pesos ajustáveis ($w_0, w_1$) permitem controlar o trade-off entre evitar falsos positivos (pular quadros com objetos, o que é crítico) e economizar computação.
• Otimização de Hiperparâmetros (HPO):
  • A colocação da ramificação, taxas de aprendizado, pesos de perda e o limiar de confiança são otimizados simultaneamente usando Otimização Bayesiana (algoritmo TPE via Optuna) para encontrar o ponto ideal entre economia de computação e precisão de detecção.

3. Principais Contribuições

1. Mecanismo Adaptativo para OD: Proposta de um método de saída antecipada que utiliza uma tarefa de classificação binária simples para pular quadros vazios em tarefas de detecção densa.
2. Otimização Conjunta: Formulação do problema de posicionamento da ramificação e hiperparâmetros como um problema de Otimização Bayesiana de Hiperparâmetros.
3. Validação em Hardware Real: Implantação bem-sucedida no SoC GAP8 do Crazyflie 2.1 com quantização de 8 bits (QAT), demonstrando viabilidade prática.
4. Resultados em Múltiplos Conjuntos de Dados: Avaliação em um dataset específico de nano-drones (Himax) e em um dataset urbano complexo (Cityscapes), provando generalização.

4. Resultados Experimentais

Dataset Himax EE (Nano-drone específico)

• Aumento de Throughput: O modelo BLANKSKIP alcançou um aumento de 24% no throughput médio (1.86 FPS vs. 1.50 FPS do baseline estático) no hardware real.
• Precisão: Houve uma queda mínima na mean Average Precision (mAP) de apenas 0.015 (0.540 vs. 0.555 no baseline estático 1.0x).
• Economia Computacional: Redução de 22,5% nas operações médias de Multiplicação e Acumulação (MAC) por quadro. Quando a saída antecipada é acionada (em ~40% dos quadros), o custo cai para 230 MMACs (redução de 57,9% em relação ao baseline).
• Posicionamento Ótimo: A ramificação na Etapa 4 (camada 9 do backbone) mostrou-se a mais eficiente, equilibrando a riqueza semântica necessária para a classificação e a economia de computação.

Dataset Cityscapes (Cenário Urbano Complexo)

• Generalização: O método manteve-se competitivo em um dataset mais complexo e denso.
• Desempenho: Redução de 12,1% nas operações MAC médias, com uma queda de mAP de 11% (0.204 vs. 0.229), devido à maior dificuldade em detectar quadros vazios em cenas urbanas densas.
• Taxa de Pulo: 26,7% dos "tiles" (fatias da imagem) foram pulados.

5. Significado e Impacto

O trabalho demonstra que é possível implantar sistemas de percepção autônoma robustos em nano-drones com restrições severas de energia e memória, sem depender de computação em nuvem.

• Eficiência Operacional: Ao reduzir a latência média de inferência, o drone pode processar quadros mais rapidamente, permitindo manobras mais ágeis e uma exploração mais eficiente do ambiente (evitando "perder" objetos devido à baixa taxa de quadros).
• Flexibilidade em Tempo de Execução: O sistema permite ajustar o limiar de confiança ($\tau$) dinamicamente durante a operação, oferecendo pontos de operação Pareto-ótimos entre precisão e eficiência computacional conforme as necessidades da missão (ex: priorizar bateria vs. priorizar precisão).
• Viabilidade de Implantação: A confirmação de que a quantização para 8 bits e a arquitetura proposta funcionam no hardware real (GAP8) valida a abordagem para aplicações do mundo real, superando a barreira entre pesquisa teórica e implantação em robótica embarcada.

Em resumo, o BLANKSKIP oferece uma solução elegante e eficiente para o problema de "computação cega" em drones, transformando a esparsidade natural dos dados de vídeo em ganhos reais de desempenho e autonomia.