Les robots et les voitures autonomes dépendent depuis longtemps de caméras standard qui capturent le monde comme une caméra de cinéma, prenant une image complète d'une scène chaque fraction de seconde. Cette méthode fonctionne bien pour beaucoup de choses, mais elle crée une lourde charge de données, dont une grande partie n'est que de l'espace vide ou un arrière-plan inchangé. Un nouveau type de capteur, appelé caméra à événements, fonctionne selon un principe différent. Au lieu de prendre des images complètes, il enregistre uniquement les changements. Lorsqu'un pixel du capteur remarque un changement de luminosité, il envoie un signal unique, ou événement, à cet instant précis. Cela signifie que la caméra produit un flux de signaux isolés qui sont asynchrones, se produisant chaque fois que quelque chose change, plutôt que selon un rythme fixe. Cela signifie également que les données sont éparses, ne contenant que l'information sur l'endroit où le mouvement ou le changement s'est produit, laissant le reste de la scène silencieux. Bien que cette approche soit incroyablement efficace et rapide, il a été difficile d'injecter ce flux de données unique dans les modèles d'intelligence artificielle que les robots utilisent pour comprendre leur environnement.

Pendant des années, les chercheurs ont tenté de résoudre ce problème en forçant ces signaux asynchrones dans le format ancien et familier des images standard. Ils regroupaient les événements dans des fenêtres temporelles fixes pour créer une image, un peu comme si l'on assemblait une série de clichés. Cependant, ce processus détruit les qualités mêmes qui font la particularité des caméras à événements. En attendant qu'un temps fixe s'écoule avant de créer une image, le système perd sa capacité à réagir instantanément aux changements soudains, et en remplissant les espaces vides, il perd l'efficacité de n'avoir que les données pertinentes. Une équipe de chercheurs de l'Université technique du Danemark a maintenant proposé une nouvelle voie. Ils ont développé une nouvelle méthode appelée « Spiking Patches » (patches à impulsions), qui traite les groupes de ces signaux changeants comme des unités d'information uniques sans les forcer dans une grille rigide basée sur le temps. Cette approche permet aux données de rester asynchrones et éparses, préservant la vitesse et l'efficacité du capteur original tout en les rendant compatibles avec les puissants modèles d'IA modernes.

Les chercheurs ont conçu leur système en observant le fonctionnement des neurones biologiques. Dans le cerveau, un neurone attend de recevoir suffisamment de signaux pour atteindre un certain seuil avant de produire une impulsion. L'équipe a appliqué cette même logique aux données de la caméra à événements. Ils ont divisé la vue de la caméra en une grille de petits carrés, ou patches. À mesure que les événements arrivent, ils s'accumulent au sein de chaque patch, augmentant un potentiel virtuel. Une fois que le nombre d'événements dans un patch atteint une limite spécifique, le patch « déclenche » (fire), créant un jeton (token) qui représente ce groupe d'événements. Ce jeton est ensuite envoyé au modèle d'IA pour traitement. Crucialement, ce déclenchement se produit indépendamment pour chaque patch et au moment exact où le seuil est atteint, plutôt que d'attendre qu'une horloge égrène un temps. Cela signifie que le système peut réagir à un objet en mouvement rapide dès que suffisamment d'événements s'accumulent, sans attendre qu'une image complète soit construite.

Pour tester si cette idée fonctionnait en pratique, l'équipe a comparé leurs « Spiking Patches » aux deux méthodes les plus courantes de traitement des données d'événements : les images standard et les blocs de données 3D appelés voxels. Ils ont testé la méthode sur trois types différents d'architectures d'IA, incluant des réseaux conçus pour les graphes, les nuages de points et les transformers, en utilisant des tâches telles que la reconnaissance de gestes de la main et la détection de voitures dans des séquences de conduite. Les résultats étaient frappants. En termes de vitesse, la nouvelle méthode était nettement plus rapide que les alternatives. Pour la reconnaissance de gestes, le système Spiking Patches était jusqu'à 3,4 fois plus rapide que la méthode par voxels et jusqu'à 10,4 fois plus rapide que la méthode basée sur les images. Cette accélération s'est faite sans sacrifier la précision ; dans de nombreux cas, la nouvelle méthode était aussi précise que les anciennes, et dans certains cas, elle l'était même plus, améliorant la reconnaissance des gestes de jusqu'à 3,8 points de pourcentage et la détection d'objets de jusqu'à 1,4 point de pourcentage.

L'étude a également confirmé que la méthode conservait avec succès la parcimonie et l'asynchronisme des données. Les chercheurs ont mesuré la rapidité avec laquelle le système pouvait rassembler suffisamment d'informations pour réagir à une scène par rapport au flux brut d'événements. Ils ont constaté que le système Spiking Patches pouvait réagir presque aussi rapidement que les événements bruts eux-mêmes, avec un délai infime de quelques millisecondes, alors que les méthodes basées sur les images étaient contraintes d'attendre un intervalle de temps fixe, introduisant un décalage beaucoup plus long. De plus, la nouvelle méthode a réduit la quantité de données que l'ordinateur doit traiter d'un facteur d'au moins 1,5 par rapport aux images et aux voxels, et dans certains cas, de centaines de fois par rapport au flux d'événements bruts. Cette réduction de la taille des données est ce qui permet au système de fonctionner beaucoup plus vite, car l'ordinateur a moins d'éléments à analyser.

L'un des aspects les plus pratiques de cette découverte est que le système est assez rapide pour gérer des applications en temps réel. Les chercheurs ont implémenté le processus de tokenisation dans un langage de programmation connu pour sa rapidité et ont constaté que le système pouvait générer des jetons plus rapidement que les nouveaux événements n'arrivaient à la caméra. Cela signifie que le système peut suivre le flux d'informations dans des scénarios réels, comme une voiture circulant sur une autoroute, sans prendre de retard. L'équipe a également exploré comment différents réglages affectaient la performance, constatant qu'ils pouvaient ajuster la sensibilité du système pour arbitrer entre le nombre de jetons générés et la précision du résultat. Par exemple, en introduisant une brève pause après le déclenchement d'un patch, ils pouvaient réduire le nombre de jetons par quatre tout en maintenant une précision quasi identique.

Bien que les résultats soient prometteurs, les chercheurs notent que la méthode nécessite un réglage minutieux du seuil qui déclenche un jeton. Si le seuil est réglé trop bas, le système risque de se déclencher trop souvent, créant trop de données. S'il est réglé trop haut, il pourrait manquer des détails importants. L'équipe suggère que les travaux futurs pourraient se concentrer sur la création d'un seuil s'adaptant automatiquement à la scène. Ils prévoient également de tester la méthode sur d'autres types de tâches, telles que le suivi d'objets en mouvement ou le calcul du flux de mouvement dans une scène. Pour l'instant, cependant, ce travail démontre qu'il est possible de combler le fossé entre la nature unique et asynchrone des caméras à événements et les puissants modèles d'IA qui pilotent la robotique moderne. En traitant les groupes d'événements comme des unités uniques et significatives, les chercheurs ont montré qu'il est possible de conserver la vitesse et l'efficacité des caméras à événements sans perdre la capacité d'utiliser les outils les plus avancés de l'intelligence artificielle.