💻 computer science

Event2Vec: Processing Neuromorphic Events Directly by Representations in Vector Space

L'article présente Event2Vec, une nouvelle représentation inspirée du concept de word-to-vector qui permet le traitement direct d'événements neuromorphiques épars et asynchrones au sein d'architectures Transformer à haut débit, résolvant efficacement le compromis entre la parcimonie des données et l'efficacité des GPU tout en atteignant des performances de pointe avec une grande efficacité paramétrique et une faible latence.

Auteurs originaux : Wei Fang, Priyadarshini Panda

Publié 2026-02-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Fang, Priyadarshini Panda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une conversation, mais au lieu d'entendre des phrases complètes parlées à un rythme régulier, vous écoutez un flux chaotique de chuchotements. Certaines personnes chuchotent rapidement, d'autres lentement, et elles ne parlent que lorsqu'il se passe quelque chose d'intéressant. C'est ainsi que fonctionnent les caméras neuromorphiques à événements. Contrairement aux caméras traditionnelles qui prennent un flux constant de photos (comme un livre d'images), les caméras à événements ne « parlent » que lorsqu'un pixel détecte un changement de luminosité. Elles sont incroyablement rapides, consomment très peu d'énergie et peuvent voir dans des conditions d'éclairage extrêmes, mais leurs données sont désordonnées, éparses et asynchrones.

Le problème est que nos « cerveaux » d'IA actuels (les modèles de deep learning) sont comme des bibliothécaires qui ne savent lire que des livres soigneusement organisés. Ils ont du mal avec ce flux chaotique de chuchotements.

Les anciennes méthodes : deux solutions imparfaites

Avant ce papier, les chercheurs ont essayé de résoudre cela de deux manières, toutes deux présentant des inconvénients majeurs :

L'approche « Mosaïque » : Ils ont essayé de coller les chuchotements ensemble pour créer une « phrase » complète (une image dense) afin que l'IA puisse la lire.
- Le défaut : C'est comme essayer de comprendre une conversation rapide en regardant seulement une photo floue de la pièce chaque seconde. Vous perdez la vitesse et le moment précis des chuchotements.
L'approche « Spécialiste » : Ils ont construit des modèles d'IA personnalisés conçus spécifiquement pour les données désordonnées (comme les réseaux de neurones à impulsions ou Spiking Neural Networks).
- Le défaut : Ces modèles sont comme essayer de courir un marathon sur un vélo. Ils fonctionnent, mais ils ne peuvent pas utiliser les moteurs super-puissants et ultra-rapides (GPU) dont disposent les ordinateurs modernes, ce qui les rend lents et inefficaces.

La nouvelle idée : Event2Vec (Le « Traducteur »)

Les auteurs de ce papier ont trouvé une analogie brillante : Et si nous traitions ces chuchotements d'événements comme des mots dans une phrase ?

Pensez à une phrase : « Comment vas-tu ? »

Chaque mot a un identifiant unique (comme un numéro de dictionnaire).
Chaque mot a une position (1ère, 2ème, 3ème).
La signification d'un mot dépend des mots qui l'entourent.

Les auteurs ont réalisé que les événements fonctionnent de la même manière :

Un événement a un identifiant unique (son emplacement sur le capteur et s'il est devenu plus lumineux ou plus sombre).
Un événement a une position (son horodatage exact).
La signification d'un événement dépend des autres événements qui se produisent à proximité dans le temps et l'espace.

Ils ont créé un système appelé Event2Vec (Event-to-Vector). Au lieu de forcer les données à devenir une photo ou de construire un moteur personnalisé lent, ils traduisent chaque événement en un « vecteur » mathématique (une liste de nombres), tout comme l'IA moderne traduit les mots en nombres pour comprendre le langage.

Comment ça marche (Les ingrédients magiques)

Pour que cette traduction fonctionne parfaitement, ils ont ajouté deux ingrédients spéciaux :

La carte de « voisinage » (Embedding spatial) : Dans un dictionnaire, les mots « chat » et « bat » peuvent avoir des nombres aléatoires à côté d'eux, de sorte que l'IA doit apprendre qu'ils sont similaires. Mais dans une image, un pixel à côté d'un autre pixel est toujours lié. Les auteurs ont construit une carte spéciale qui dit à l'IA : « Hé, ces deux pixels sont voisins, donc leurs nombres devraient être similaires. » Cela aide l'IA à comprendre les formes et les contours beaucoup plus rapidement.
Le traqueur de « rythme » (Embedding temporel) : Au lieu de simplement regarder quand un événement s'est produit, l'IA regarde l'écart entre les événements. C'est comme écouter le rythme d'un battement de tambour plutôt que de simplement regarder l'heure sur une horloge. Cela aide l'IA à comprendre la vitesse et le mouvement.

Les résultats : Rapide, petit et précis

Le papier a testé cette nouvelle méthode sur trois tâches différentes : la reconnaissance de gestes de la main, la lecture de la langue des signes et la lecture labiale. Voici ce qu'ils ont trouvé :

Vitesse : Parce qu'elle parle le même langage que l'IA moderne (les Transformers), elle peut utiliser toute la puissance des puces informatiques. Elle est 4 à 60 fois plus rapide pour traiter les données que les précédentes méthodes de pointe.
Efficacité : Le modèle est incroyablement petit. Dans certains cas, il utilise 800 fois moins de paramètres (taille de la mémoire) que les autres modèles de pointe, tout en accomplissant sa tâche.
Robustesse : Il fonctionne même si la caméra est à basse résolution ou s'il y a très peu d'événements (chuchotements). Il peut toujours comprendre ce qui se passe, là où les autres méthodes échouent lorsque les données deviennent trop éparses.
Prêt pour le temps réel : Il est assez rapide pour fonctionner sur de petits appareils alimentés par batterie (comme un robot ou un drone) sans avoir besoin d'une immense ferme de serveurs.

La vue d'ensemble

Le papier affirme qu'Event2Vec résout un conflit de longue date : il nous permet de conserver la nature brute, rapide et éparse des données de caméra à événements tout en utilisant les architectures d'IA super-rapides et puissantes que nous possédons déjà. C'est comme si l'on donnait enfin aux chuchotements chaotiques un dictionnaire et un livre de grammaire, permettant de les comprendre instantanément par les ordinateurs les plus intelligents du monde.

Le code de ce système est disponible pour que d'autres puissent l'utiliser, marquant une nouvelle façon de traiter l'information visuelle qui est à la fois efficace et puissante.

Résumé Technique : Event2Vec

Problématique

Les caméras événementielles neuromorphiques offrent une résolution temporelle, une efficacité énergétique et une plage dynamique supérieures à celles des caméras traditionnelles à base de trames. Cependant, leur production de données est intrinsèquement asynchrone, éparse et irrégulière, généralement encodée sous la forme de l'Address-Event Representation (AER) sous forme de tuples $(x, y, t, p)$ . Ce format présente une incompatibilité fondamentale avec les architectures de deep learning modernes, qui sont conçues pour des tenseurs denses, synchrones et régulièrement structurés.

Les solutions existantes font face à un compromis :

Représentations denses : La conversion des événements en trames denses (ex: trames d'événements, grilles de voxels) permet l'utilisation de CNN et de Transformers standards, mais sacrifie les caractéristiques asynchrones, éparses et à haute résolution temporelle des données brutes.
Modèles irréguliers : L'utilisation de réseaux de neurones à impulsions (SNN), de convolutions éparses ou de réseaux de neurones sur graphes (GNN) préserve la parcimonie, mais échoue souvent à exploiter les capacités massives de traitement parallèle des GPU, entraînant un débit et une latence plus faibles.

Le défi central consiste à traiter directement les données d'événements éparses et irrégulières en utilisant des architectures à haut débit accélérées par GPU (comme les Transformers) sans convertir les données en représentations intermédiaires denses.

Méthodologie : Event2Vec

Inspiré par l'analogie entre les mots dans le traitement du langage naturel (NLP) et les événements dans la vision, les auteurs proposent Event2Vec, une méthode qui implante directement les événements dans un espace vectoriel.

1. Analogie Conceptuelle

Le papier établit un parallèle entre les jetons (tokens) du NLP et les événements neuromorphiques :

Index : L'index du vocabulaire d'un mot correspond à l'adresse spatiale d'un événement $(x, y, p)$ .
Position : La position séquentielle d'un mot dans une phrase correspond au horodatage (timestamp) $t$ d'un événement.
Contexte : Tout comme le sens d'un mot dépend du texte environnant, la signification d'un événement est dérivée de son contexte spatiotemporel.

2. Représentation Vectorielle

Le cœur d'Event2Vec est l'implantation d'un tuple d'événement $(x, y, t, p)$ dans un vecteur $v$ de dimension $D$ via une fusion additive :
$v = v_s + v_t = \text{Embed}_s(x, y, p) + \text{Embed}_t(t)$

Implantation Spatiale ( $\text{Embed}_s$ ) : Contrairement aux tables de recherche standard du NLP qui traitent les index comme des identifiants non sémantiques, les auteurs proposent une implantation spatiale paramétrique. Un réseau de neurones continu et différentiable $\phi$ génère la matrice d'implantation. Cela garantit que les événements ayant des coordonnées spatiales adjacentes produisent des vecteurs sémantiquement similaires, capturant ainsi la « sémantique de voisinage » cruciale pour les données visuelles.
Implantation Temporelle ( $\text{Embed}_t$ ) : Au lieu d'utiliser des horodatages absolus ou des encodages sinusoïdaux (conçus pour des intervalles uniformes), le module temporel traite les différences temporelles de premier ordre ( $\Delta t$ ) entre les événements consécutifs. Ceci est implémenté via une pile de couches convolutionnelles. Cette approche offre une invariance au décalage temporel, une cohérence contextuelle et agit comme une forme de préconditionnement temporel, permettant au réseau d'apprendre la densité locale et la vélocité des événements.

3. Échantillonnage et Agrégation

Pour gérer les flux d'événements de longueur variable et les exigences de traitement par lots (batch processing) :

Échantillonnage Aléatoire : Utilisé pour les tâches simples, offrant une grande efficacité computationnelle.
Clustering K-Means++ : Pour les tâches complexes (ex: DVS-Lip), les événements sont agrégés en $L$ clusters représentatifs. Les auteurs introduisent un algorithme K-Means++ par lots basé sur GPU pour minimiser la latence d'inférence. L'intensité d'un cluster (nombre d'événements bruts agrégés) est utilisée pour moduler le vecteur d'implantation via un facteur de pondération logarithmique $(\log \rho + 1)$ .

4. Architecture du Réseau

La représentation Event2Vec est injectée dans un backbone basé sur un Transformer (utilisant spécifiquement le Forgetting Transformer ou le Gated Linear Attention) suivi d'une tête de classification. L'architecture comprend :

Module Event2Vec : Génère les implantations spatiotemporelles.
Backbone : Blocs Transformer empilés avec des mécanismes d'auto-attention. Les auteurs étendent le Forgetting Transformer à une formulation bidirectionnelle à partage de paramètres pour améliorer les capacités d'apprentissage.
Tête de Classification : Pooling moyen suivi d'une couche linéaire.

Principales Contributions

Traitement Direct de la Parcimonie : Event2Vec permet le traitement direct de flux d'événements éparses et asynchrones en utilisant des architectures Transformer denses et régulières, résolvant le conflit entre la parcimonie des données et l'efficacité des GPU.
Nouvelles Implantations : Introduction d'implantations spatiales paramétriques pour capturer la sémantique de voisinage et d'implantations temporelles par convolution sur $\Delta t$ pour gérer les horodatages non uniformes.
Clustering Efficace : Un algorithme K-Means++ par lots accéléré par GPU pour agréger les événements, équilibrant la rétention d'information et la faible latence.
Changement de Paradigme : Démontrer que les données d'événements peuvent être traitées comme un langage séquentiel, ouvrant la voie à l'utilisation des architectures de modèles de langage de grande taille (LLM) pour la vision neuromorphique.

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks : DVS Gesture, ASL-DVS, et DVS-Lip.

Précision : Event2Vec a atteint une précision compétitive ou de pointe (SOTA). Notamment, il a atteint 99,91 % sur ASL-DVS et 75,88 % sur DVS-Lip (en utilisant des événements groupés), surpassant plusieurs bases de référence de trames denses et de modèles irréguliers.
Efficacité des Paramètres : Les modèles sont nettement plus petits que les méthodes SOTA précédentes. Par exemple, sur le jeu de données ASL-DVS, le modèle Event2Vec a utilisé 815,93× moins de paramètres qu'un modèle concurrent combinant GNN et Transformer.
Débit et Latence : Event2Vec exploite pleinement le parallélisme des GPU. Le débit d'entraînement était jusqu'à 11,96× plus élevé, et le débit d'inférence jusqu'à 62,67× plus élevé que les travaux précédents. La latence totale d'inférence a été réduite à seulement 11,12 % des méthodes SOTA précédentes.
Robustesse : Le modèle a démontré une forte robustesse face aux faibles nombres d'événements et aux résolutions spatiales réduites (jusqu'à 1x1), maintenant une précision nettement supérieure au hasard.
Études d'Ablation : Ont confirmé que la combinaison de l'implantation spatiale paramétrique et de l'implantation temporelle par convolution produit la précision la plus élevée, validant la nécessité des biais inductifs pour la sémantique de voisinage.

Signification

Le papier affirme qu'Event2Vec introduit un nouveau paradigme pour la vision neuromorphique en intégrant avec succès des flux d'événements éparses et irréguliers dans des architectures Transformer à haut débit pour la première fois. Cette percée résout le compromis de longue date entre le maintien de la parcimonie des données et la maximisation de l'efficacité des GPU.

La signification réside non seulement dans les mesures de performance (efficacité des paramètres, faible latence, haut débit) qui rendent l'approche adaptée aux appareils de bord (edge devices) en temps réel et à ressources limitées, mais aussi dans l'alignement conceptuel des flux d'événements avec le paradigme du NLP. En traitant les événements comme un langage séquentiel, ce travail suggère de nouvelles voies pour appliquer les architectures sophistiquées développées pour les modèles de langage de grande taille (LLM) à la vision neuromorphique.