BlankSkip: Early-exit Object Detection onboard Nano-drones

1. Problema y Contexto

El despliegue de redes neuronales profundas (DNN) para visión por computadora en drones nano (UAVs de menos de 10 cm de diámetro) es fundamental para lograr autonomía en tareas como exploración interior o búsqueda y rescate. Sin embargo, estas plataformas enfrentan restricciones extremas de hardware:

• Recursos limitados: Plataformas como el Bitcraze Crazyflie 2.1 con el SoC GAP8 tienen aproximadamente 10 MiB de RAM y un presupuesto de potencia de ~1 W.
• Ineficiencia computacional: Los métodos actuales de detección de objetos (OD) utilizan un grafo computacional fijo para cada cuadro de video, independientemente de su contenido. En escenarios de exploración, una gran fracción de los cuadros pueden estar vacíos (sin objetos de interés), lo que desperdicia recursos de procesamiento y aumenta la latencia.
• Limitación de enfoques existentes: Aunque las DNN con "salida temprana" (Early-Exit o EE) han demostrado éxito en clasificación de imágenes, su aplicación a tareas densas como la detección de objetos en plataformas tan restringidas sigue siendo un área poco explorada.

2. Metodología: BLANKSKIP

El authors proponen BLANKSKIP, un mecanismo de inferencia adaptativa diseñado específicamente para la detección de objetos en drones nano. La idea central es explotar la dispersión de la presencia de objetos a lo largo de los cuadros de video.

Arquitectura y Funcionamiento

En lugar de ejecutar la tubería completa de detección en cada cuadro, BLANKSKIP descompone el problema en dos sub-tareas secuenciales dentro de una sola red unificada:

1. Clasificación Binaria (Rama Auxiliar): Se inserta una rama ligera (EE branch) en una capa intermedia del extractor de características (backbone). Esta rama clasifica si el cuadro contiene algún objeto de interés ("no vacío") o no ("vacío").
2. Detección Condicional:
   • Si la probabilidad de que el cuadro esté vacío supera un umbral de confianza ($\tau$), la inferencia se detiene (salida temprana), evitando el resto del backbone y la cabeza de detección.
   • Si el cuadro se clasifica como "no vacío", se ejecuta la tubería completa de detección (SSD con MobileNetV2).

Estrategia de Entrenamiento

• Pérdida Compuesta: El modelo se entrena de extremo a extremo con una función de pérdida que combina la pérdida de localización y clasificación de la detección ($L_{loc} + L_{cls}$) con una pérdida de clasificación binaria para la rama de salida temprana ($L_{EE}$).
• Control de Compensación: Se utilizan pesos de clase ($w_0, w_1$) para ajustar la compensación entre el ahorro computacional y la fiabilidad de la detección. Penalizar más los falsos positivos (clasificar un cuadro con objeto como vacío) es crucial para evitar pérdidas de detección.
• Optimización de Hiperparámetros (HPO): Se formula un problema de optimización Bayesiana para encontrar la ubicación óptima de la rama ($\ell$), la tasa de aprendizaje, los pesos de pérdida y el umbral de confianza ($\tau$), maximizando una función objetivo que equilibra el mAP, el ahorro de operaciones (MACs) y la precisión de la rama EE.

3. Contribuciones Clave

1. Mecanismo BLANKSKIP: Un enfoque de salida temprana para OD que utiliza una tarea de clasificación auxiliar simple para identificar cuadros vacíos, reduciendo la latencia promedio proporcionalmente a la cantidad de cuadros sin objetos.
2. Optimización Conjunta: Formulación del diseño de la red (ubicación de la rama, hiperparámetros, umbrales) como un problema de HPO Bayesiano para encontrar el punto óptimo de operación.
3. Validación en Múltiples Escenarios: Evaluación en dos conjuntos de datos:
   • Himax EE: Un conjunto de datos específico para drones nano (con cuadros vacíos sintéticos añadidos).
   • Cityscapes: Un conjunto de datos urbano complejo, demostrando la generalización del método.
4. Despliegue Real: Implementación y prueba en hardware real (Bitcraze Crazyflie 2.1 con SoC GAP8) utilizando cuantización de 8 bits (QAT).

4. Resultados Experimentales

En el conjunto de datos Himax EE (Nano-drone)

• Rendimiento: El modelo BLANKSKIP (Stage 4) logra un mAP de 0.593, igualando o superando ligeramente al modelo estático de referencia (0.591).
• Eficiencia:
  • Se logra un salto (skip) del 39.8% de los cuadros.
  • Reducción del 22.5% en las operaciones promedio (MACs) por cuadro.
  • En el hardware real (GAP8), la tasa de cuadros por segundo (FPS) aumenta de 1.50 FPS (modelo estático) a 1.86 FPS (BLANKSKIP), una mejora del 24%, con una caída mínima de mAP (0.015).
• Análisis de Ubicación: Se encontró que colocar la rama en capas muy tempranas (Stage 1-2) es ineficiente debido a la alta resolución de las mapas de características (alto costo computacional) y baja precisión semántica. La ubicación óptima se encontró en capas intermedias (Stage 4).

En el conjunto de datos Cityscapes

• El método demostró generalización en un entorno más denso y complejo.
• Se logró un ahorro computacional del 12.1% saltando el 26.7% de los parches de imagen.
• El mAP fue competitivo (0.204 vs 0.229 del estático), mostrando una caída aceptable (-11%) a cambio de la eficiencia.

Despliegue en Hardware

• Se utilizó cuantización de 8 bits (QAT) y el compilador DORY para generar código C de bajo nivel para el cluster de 8 núcleos del GAP8.
• El modelo cuantizado mantuvo una alta precisión en la rama de salida temprana (90.9% de precisión) y una tasa de falsos positivos baja (7.5%), validando la viabilidad de la solución en microcontroladores de recursos limitados.

5. Significado e Impacto

El trabajo de BLANKSKIP es significativo porque:

• Resuelve el cuello de botella de la latencia: Permite que los drones nano procesen video a tasas de cuadros más altas sin aumentar el hardware, lo cual es crítico para maniobras rápidas y evitación de obstáculos.
• Eficiencia Energética: Al reducir el número de operaciones de inferencia, se libera presupuesto de energía y computación para otras tareas críticas de vuelo (navegación, control).
• Viabilidad en el Borde (Edge): Demuestra que técnicas avanzadas de inferencia adaptativa pueden implementarse en plataformas de ultra-bajo consumo (nanodrones) sin sacrificar significativamente la precisión, superando las limitaciones de los enfoques estáticos tradicionales.
• Flexibilidad Operativa: El sistema permite cambiar dinámicamente entre diferentes puntos de operación (ajustando el umbral $\tau$ en tiempo de ejecución) para equilibrar velocidad y precisión según las necesidades de la misión.

En resumen, BLANKSKIP ofrece una solución práctica y eficiente para la percepción autónoma en sistemas embebidos extremadamente restringidos, transformando la ineficiencia de procesar cuadros vacíos en una oportunidad de ahorro computacional.