Low-latency Event-based Object Detection with Spatially-Sparse Linear Attention

Cet article propose SSLA-Det, un modèle de détection d'objets basé sur des caméras événementielles qui utilise une attention linéaire spatialement parcimonieuse pour surmonter les compromis entre précision et latence, atteignant ainsi des performances de pointe avec une réduction significative des calculs par événement.

L'essentiel

Imaginez que vous conduisez une voiture de course dans un brouillard très dense. Votre caméra classique (comme celle de votre téléphone) prend des photos 30 fois par seconde, même s'il ne se passe rien de nouveau. C'est lent, lourd et ça gaspille de l'énergie pour rien.

Maintenant, imaginez une caméra événementielle. Elle ne prend pas de photos. Elle ne "voit" que les changements : un objet qui bouge, une lumière qui s'allume. C'est comme si la caméra ne parlait que lorsqu'il y a quelque chose d'important à dire. C'est ultra-rapide et très économe.

Le problème ? Les ordinateurs ont du mal à comprendre ces messages rapides et désordonnés pour détecter des objets (comme une voiture ou un piéton) sans faire d'erreurs.

Voici l'histoire de la solution proposée par les chercheurs de cet article : SSLA-Det.

1. Le Problème : Le Dilemme du Chef d'Orchestre

Pour traiter ces événements, les anciens systèmes fonctionnaient comme un chef d'orchestre qui écoute chaque note individuellement et change la partition à chaque fois.

• Avantage : C'est très réactif (faible latence).
• Inconvénient : Pour être précis, le chef doit être très intelligent et avoir une mémoire énorme. Mais plus il est intelligent, plus il met de temps à réagir. C'est le compromis "Précision vs Vitesse".

De plus, les anciens systèmes devaient tout recalculer à chaque instant, comme si le chef d'orchestre devait réécrire toute la symphonie à chaque nouvelle note, ce qui est épuisant pour le cerveau (le processeur).

2. La Solution : L'Attention Linéaire "Espace Sparse" (SSLA)

Les chercheurs ont inventé une nouvelle méthode appelée SSLA (Spatially-Sparse Linear Attention). Voici comment ça marche avec une analogie simple :

L'Analogie du Quartier et des Quartiers de Police

Imaginez une grande ville (l'image) où des événements (des voitures qui bougent) arrivent partout.

• L'ancienne méthode : Un seul policier géant devait surveiller toute la ville en même temps pour chaque événement. C'était lent et inefficace.
• La nouvelle méthode (SSLA) : La ville est divisée en petits quartiers (des "patchs"). Chaque quartier a son propre petit poste de police local.

Quand une voiture passe dans le quartier A, seul le policier du quartier A (et de ses voisins immédiats) se réveille pour l'analyser. Les policiers des quartiers B, C et D continuent de dormir (ou de faire autre chose).

• Résultat : On ne traite que ce qui est nécessaire (c'est "sparse" ou épars).
• Le génie : Même si chaque policier travaille seul, ils peuvent tous travailler en même temps (parallèlement) sur leur propre quartier, ce qui est beaucoup plus rapide que d'attendre que le policier géant finisse son tour.

Le "Scatter-Compute-Gather" (Éparpiller, Calculer, Rassembler)

C'est la technique magique pour que tout fonctionne ensemble sans se perdre :

1. Éparpiller (Scatter) : On prend tous les événements et on les envoie dans les bons quartiers (comme trier le courrier par code postal).
2. Calculer (Compute) : Chaque quartier traite ses événements en parallèle, très vite, sans attendre les autres.
3. Rassembler (Gather) : On remet tout le courrier dans l'ordre original pour avoir une image complète de la situation.

De plus, le système sait où l'événement se passe dans le quartier (gauche, droite, centre) grâce à une projection "consciente de la position". C'est comme si le policier savait exactement si la voiture est dans son bureau ou devant la porte, ce qui l'aide à mieux comprendre la scène.

3. Les Résultats : Plus Rapide et Plus Précis

Les chercheurs ont testé leur système (SSLA-Det) sur deux terrains d'entraînement :

• Gen1 : Une simulation de conduite en ville.
• N-Caltech101 : Reconnaissance d'objets variés.

Le verdict ?

• Précision : Ils battent tous les autres systèmes "asynchrones" (ceux qui traitent événement par événement) avec une précision record.
• Vitesse : Ils sont 20 fois plus économes en calcul que le meilleur système précédent.
• Latence : Le système réagit en quelques microsecondes (plus vite que le temps qu'il faut pour envoyer le signal de la caméra au processeur).

En Résumé

Imaginez que vous devez trier des milliers de lettres par jour.

• L'ancien système : Une seule personne lit chaque lettre, la classe, puis passe à la suivante. C'est lent.
• Le nouveau système (SSLA) : Vous avez 100 trieurs. Chaque lettre est envoyée directement au trieur du bon quartier. Ils travaillent tous en même temps. À la fin, on rassemble les piles triées.

Grâce à cette idée, les voitures autonomes et les drones pourront voir et réagir aux dangers beaucoup plus vite, avec moins d'énergie, et sans se tromper. C'est une avancée majeure pour rendre la vision par ordinateur aussi rapide que l'œil humain.

Résumé technique

1. Problématique

Les caméras à événements (event cameras) offrent des données visuelles séquentielles avec une sparsité spatiale et une résolution temporelle élevée, ce qui les rend idéales pour la détection d'objets à faible latence. Cependant, les réseaux de neurones asynchrones existants souffrent de deux goulots d'étranglement majeurs :

1. Le compromis précision-efficacité : L'amélioration de la précision nécessite généralement des modèles plus profonds et plus larges, ce qui augmente le calcul par événement et donc la latence.
2. Le compromis parallélisme-récurrence : L'inférence événement par événement repose naturellement sur des architectures récurrentes, difficiles à entraîner efficacement sur de longues séquences. À l'inverse, l'entraînement parallèle (comme avec l'attention standard) est difficile à combiner avec l'inférence asynchrone.

Bien que l'attention linéaire (qui permet à la fois un entraînement parallèle et une inférence récurrente) soit une solution prometteuse, les méthodes actuelles mettent à jour un état global pour chaque événement. Cela crée un compromis médiocre pour la détection d'objets, qui nécessite des représentations spatiales fines (et donc un grand état), rendant le calcul par événement trop coûteux. Le défi principal est d'introduire une activation d'état sparse (exploitant la sparsité des événements) tout en préservant l'efficacité de l'entraînement parallèle.

2. Méthodologie : SSLA et SSLA-Det

Les auteurs proposent SSLA (Spatially-Sparse Linear Attention), un module d'attention linéaire conçu pour l'asynchronicité et la sparsité spatiale, intégré dans un modèle de détection nommé SSLA-Det.

A. Architecture du Module SSLA

Le module SSLA repose sur trois piliers techniques :

1. Décomposition Mixture-of-Spaces (MOS) pour la sparsité d'état :

   • L'espace spatial est divisé en patchs locaux (fenêtres glissantes). Chaque patch maintient son propre sous-état indépendant.
   • Lorsqu'un événement arrive, seuls les patchs couvrant sa position sont activés. Cela permet une mise à jour d'état spatialement sparse : un événement ne met à jour qu'un petit nombre de sous-états ($A$) au lieu de l'état global entier.
   • Les sorties intermédiaires de ces patchs actifs sont agrégées pour former la nouvelle embedding de l'événement, préservant ainsi la sparsité dans les couches profondes.

2. Projection Consciente de la Position (PAP - Position-Aware Projection) :

   • Pour compenser le fait que les événements sont traités dans différents patchs, une projection linéaire apprenable est appliquée en fonction de la position relative de l'événement à l'intérieur du patch.
   • Cela injecte des priors spatiaux relatifs et permet au modèle de capturer des informations géométriques fines, essentiel pour la détection d'objets.

3. Procédure d'Entraînement "Scatter-Compute-Gather" :

   • Pour permettre un entraînement parallèle efficace sur GPU malgré la structure sparse, les auteurs proposent un algorithme en trois étapes :
     • Scatter (Dispersion) : Les événements sont réorganisés en sous-séquences indépendantes basées sur les patchs qu'ils activent.
     • Compute (Calcul) : L'attention linéaire est appliquée en parallèle sur chaque sous-séquence de patch.
     • Gather (Rassemblement) : Les sorties sont réordonnées et agrégées pour restaurer l'ordre temporel original des événements.
   • Cela permet de bénéficier de la parallélisation spatiale et temporelle tout en maintenant la nature asynchrone du modèle.

B. Modèle SSLA-Det

• C'est le premier modèle de détection d'objets basé sur l'attention linéaire asynchrone de bout en bout.
• Il utilise un backbone asynchrone à 4 étapes (chacune contenant 2 couches SSLA) et une tête de détection YOLOX modifiée pour être asynchrone.
• Le modèle prend en entrée des événements bruts et met à jour les prédictions événement par événement sans accumulation de latence.

3. Contributions Clés

1. SSLA Module : Une nouvelle architecture d'attention linéaire intégrant la décomposition MOS pour la sparsité d'état, la PAP pour l'encodage spatial, et l'algorithme Scatter-Compute-Gather pour l'entraînement parallèle.
2. SSLA-Det : Le premier détecteur d'objets asynchrone de bout en bout basé sur l'attention linéaire.
3. Nouveau Frontière Précision-Efficacité : Démonstration qu'il est possible d'atteindre des performances de pointe (SOTA) avec une réduction massive du coût computationnel par rapport aux méthodes asynchrones précédentes.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données Gen1 (automobile) et N-Caltech101.

• Précision (mAP) :
  • Sur Gen1, SSLA-Det (version Large) atteint 0.375 mAP, établissant un nouveau record pour les méthodes asynchrones.
  • Sur N-Caltech101, il atteint 0.515 mAP (et 0.743 AP50), surpassant également les méthodes asynchrones précédentes.
• Efficacité (FLOPS par événement) :
  • Par rapport à la meilleure méthode asynchrone précédente (DAGr-L), SSLA-Det réduit le calcul par événement de plus de 20 fois (ex: 0.724 MFLOPS/év contre 17.4 MFLOPS/év sur Gen1).
  • Le modèle le plus petit (SSLA-S) est 171 fois plus efficace en calcul que DAGr-L tout en étant plus précis.
• Latence :
  • L'inférence événement par événement sur CPU prend moins de 10 µs (ex: 2.4 µs pour SSLA-B), ce qui est inférieur à la latence de transmission du capteur (200 µs).
• Efficacité d'entraînement :
  • L'entraînement est 4.2 fois plus rapide par époque que les modèles basés sur LSTM équivalents, grâce au parallélisme de l'attention linéaire.

5. Signification et Impact

Ce travail démontre que l'attention linéaire, lorsqu'elle est adaptée avec une sparsité spatiale intelligente, peut résoudre les compromis historiques des réseaux asynchrones.

• Avancée Théorique : Elle prouve que l'on peut concilier l'entraînement parallèle (nécessaire pour les longues séquences) et l'inférence récurrente asynchrone (nécessaire pour la faible latence) sans sacrifier la précision.
• Application Pratique : La réduction drastique du coût computationnel (plus de 20x) rend la détection d'objets en temps réel sur des plateformes embarquées à ressources limitées (drones, voitures autonomes) beaucoup plus viable.
• Futur : Bien que les méthodes synchrones restent légèrement supérieures en précision absolue, SSLA-Det comble l'écart de manière significative tout en offrant une latence bien inférieure, ouvrant la voie à une perception visuelle neuromorphique haute performance.