Modelling and Simulation of Neuromorphic Datasets for Anomaly Detection in Computer Vision

Pour pallier le manque de données de capteurs de vision dynamique (DVS), cet article présente ANTShapes, un nouveau cadre de simulation basé sur Unity permettant de générer des ensembles de données neuromorphiques personnalisés et étiquetés pour la détection d'anomalies et d'autres tâches de vision par ordinateur.

L'essentiel

🎥 Le Problème : Le "Cerveau" qui a faim de données

Imaginez que vous voulez entraîner un robot gardien de sécurité (un cerveau artificiel) à repérer les voleurs dans un magasin. Pour cela, il a besoin de voir des milliers d'heures de vidéos pour apprendre ce qui est "normal" (un client qui marche) et ce qui est "anormal" (quelqu'un qui court ou brise une vitre).

Le problème, c'est que les caméras spéciales utilisées par ces robots (appelées capteurs neuromorphiques ou DVS) sont très rares et chères. Elles ne fonctionnent pas comme nos caméras classiques (qui prennent des photos fixes), mais comme des yeux humains : elles ne voient que les mouvements et les changements de lumière, très vite et avec très peu d'énergie.

Résultat ? Les chercheurs n'ont pas assez de "vraies" vidéos de ces caméras pour entraîner leurs robots. C'est comme essayer d'apprendre à un enfant à faire du vélo sans jamais lui avoir donné de vélo.

🛠️ La Solution : ANTShapes, le "Simulateur de Monde Virtuel"

C'est là qu'intervient l'équipe de chercheurs avec leur invention : ANTShapes.

Imaginez ANTShapes comme un immense bac à sable numérique (un jeu vidéo très avancé) créé avec le moteur Unity (le même que pour beaucoup de jeux modernes). Au lieu de filmer de vraies rues, les chercheurs créent un monde abstrait rempli d'objets 3D (des cubes, des sphères, des pyramides) qui bougent tous seuls.

Voici comment ça marche, étape par étape :

1. La "Danse" des Objets

Dans ce bac à sable, des centaines d'objets dansent. La plupart suivent une chorégraphie normale.

• Ils tournent doucement.
• Ils se déplacent à une vitesse moyenne.
• Ils restent à peu près à la même taille.

C'est ce qu'on appelle la "loi des grands nombres" (ou le théorème central limite) : si vous avez assez d'objets, leur comportement moyen forme une courbe parfaite, comme une cloche. La plupart sont au centre de la cloche (normaux), quelques-uns sont un peu plus loin (un peu bizarres), et très peu sont tout au bout (très bizarres).

2. Le "Voleur" (L'Anomalie)

Parfois, le simulateur décide de créer un intrus.

• Imaginez une foule de cubes qui tournent lentement. Soudain, un cube commence à tourner à une vitesse folle ou à changer de taille brusquement.
• Dans le monde d'ANTShapes, ce cube devient rouge (comme un voyant d'alarme). C'est l'anomalie.

Le but du jeu est d'entraîner le robot à repérer ce cube rouge parmi des milliers de cubes bleus (normaux).

3. La Magie du "Capteur d'Yeux"

Le simulateur ne filme pas comme une caméra normale. Il agit comme un œil de robot.

• Il ne regarde pas les couleurs (tout est noir et blanc).
• Il ne regarde que les changements.
• Si un objet bouge, l'œil envoie un petit signal électrique (un "pic" ou spike).
• Si l'objet reste immobile, pas de signal.

C'est ainsi qu'ANTShapes crée des données parfaites pour entraîner les intelligences artificielles de nouvelle génération, celles qui sont conçues pour fonctionner sur de petits appareils (comme des caméras de surveillance autonomes) sans consommer beaucoup de batterie.

🎲 Pourquoi c'est génial ?

Avant, pour avoir des données, il fallait soit :

1. Filmer de vraies rues (trop cher, trop rare).
2. Essayer de transformer des vidéos normales en vidéos de robots (ce qui donne souvent des résultats faux ou flous, comme essayer de deviner les pas d'un danseur en regardant une photo floue).

Avec ANTShapes, les chercheurs peuvent :

• Créer n'importe quel scénario : "Je veux 1000 cubes qui tournent, et 5 qui volent".
• Contrôler la difficulté : Rendre les anomalies très subtiles ou très évidentes.
• Économiser du temps : Pas besoin d'attendre qu'un voleur passe devant une caméra pour l'observer. On le simule en une seconde.

🔮 Et pour le futur ?

Pour l'instant, le monde d'ANTShapes est un peu "abstrait" (des formes géométriques simples). C'est comme apprendre à conduire sur un terrain d'entraînement vide avant de sortir sur l'autoroute.

Les chercheurs disent : "C'est un début prometteur !". Dans le futur, ils veulent :

• Remplacer les cubes par des humains virtuels.
• Simuler des rues réalistes.
• Ajouter une vision stéréoscopique (comme nos deux yeux) pour mieux voir la profondeur.

En résumé

ANTShapes, c'est un laboratoire virtuel où l'on fabrique des millions de situations de sécurité (normales et bizarres) pour entraîner des robots à devenir de meilleurs gardiens, le tout sans avoir besoin de caméras réelles ni de voleurs véritables. C'est une boîte à outils pour l'avenir de la sécurité intelligente.

Résumé technique

1. Problématique

L'article aborde un défi fondamental dans le domaine de la vision neuromorphique : la pénurie de données d'apprentissage fiables pour les capteurs de vision dynamique (DVS - Dynamic Vision Sensors).

• Contexte : Les capteurs DVS, qui fonctionnent sur le principe des événements (changement d'intensité lumineuse) plutôt que sur des images à trame fixe, offrent une faible consommation énergétique et une grande dynamique, idéaux pour les dispositifs en périphérie (edge devices) et la détection d'anomalies.
• Limites actuelles : Les capteurs DVS sont rares et peu utilisés comme caméras de sécurité, ce qui rend la collecte de jeux de données réels pour l'entraînement de réseaux de neurones à spikes (SNN) extrêmement difficile.
• Insuffisance des simulateurs existants :
  • Les méthodes basées sur l'interpolation de vidéos classiques (trame par trame) sont peu fiables si le taux d'acquisition source est trop faible.
  • Les approches physiques (filmer un écran avec un DVS) introduisent du bruit et des artefacts.
  • Des simulateurs comme CARLA existent, mais ils sont conçus pour la conduite autonome (mouvement de l'observateur) et ne permettent pas une définition automatisée et robuste des anomalies dans un contexte de surveillance statique.

2. Méthodologie : Le Framework ANTShapes

Pour pallier ces carences, les auteurs ont développé ANTShapes (Anomalous Neuromorphic Tool for Shapes), un simulateur de jeux de données neuromorphiques construit sur le moteur Unity.

A. Génération de Scènes Abstraites

Au lieu de simuler des environnements réalistes complexes (comme des villes), ANTShapes génère des scènes abstraites en 3D composées d'objets géométriques (cubes, sphères, pyramides, modèles complexes comme le singe de Blender).

• Agents : Les objets sont traités comme des agents dont les comportements (translation, rotation, échelle, texture) sont paramétrables.
• Modélisation Statistique : Le comportement "normal" d'une foule d'agents est modélisé par des distributions normales (loi normale). Selon le théorème central limite, les comportements d'un grand groupe tendent vers une courbe normale avec une moyenne ($\mu$) et un écart-type ($\sigma$).
• Définition de l'Anomalie : Une anomalie est définie comme une déviation significative par rapport à cette distribution normale.
  • La probabilité d'un agent d'être "normal" est calculée via une fonction de densité cumulative et transformée par une distribution du khi-deux.
  • Un seuil de probabilité ($v$) détermine si un agent est classé comme anomalie.
  • Une fonction de courbe cubique absolue est utilisée pour accentuer la séparation entre les comportements normaux et anormaux, rendant les anomalies plus saillantes.

B. Génération d'Événements Neuromorphiques

Le simulateur convertit les rendus vidéo en flux d'événements (spikes) typiques des DVS :

1. Différence d'intensité : Pour chaque pixel $(x, y)$, la différence d'intensité monochrome entre la frame actuelle $f^t$ et la précédente $f^{t-1}$ est calculée.
2. Seuillage Hystérétique : Un seuil $\pm\beta$ est appliqué :
   • Si la différence $> \beta$ : événement de type "1" (augmentation de luminosité).
   • Si la différence $< -\beta$ : événement de type "0" (diminution).
   • Sinon : pas d'événement significatif (0.5).
3. Résultat : Cela produit une matrice d'événements spatio-temporels ($e^{T \times X \times Y}$) qui peut être exportée pour l'entraînement de SNN.

C. Paramétrisation et Contrôle

L'outil offre un contrôle fin via un nombre limité de paramètres :

• Définition des distributions ($\mu, \sigma$) pour chaque axe de translation et de rotation.
• Possibilité d'ignorer certains axes pour cibler spécifiquement le type d'anomalie (ex: seule la vitesse de translation compte).
• Gestion de la densité de la foule, du bruit de fond, et de l'échelle temporelle (de la milliseconde à la microseconde pour imiter les capteurs réels).

3. Contributions Clés

• ANTShapes : Un nouveau framework de simulation open-source capable de générer des jeux de données neuromorphiques arbitraires, étiquetés automatiquement pour la détection d'anomalies.
• Modélisation Statistique des Anomalies : Une approche mathématique rigoureuse (basée sur le théorème central limite et les distributions de probabilité) pour définir et générer des comportements anormaux de manière reproductible et contrôlée.
• Flexibilité pour la Recherche : La capacité de créer des scénarios sur mesure pour tester des SNN dans des environnements hautement contrôlés avant de passer à des scènes réalistes.
• Accessibilité : Fourniture de binaires pour Linux et Windows et du code source Unity, rendant la génération de données accessible sans matériel DVS physique.

4. Résultats et État Actuel

• Fonctionnalité : Le prototype génère avec succès des scènes 3D, calcule les événements de pixels et attribue des étiquettes d'anomalies basées sur des seuils de probabilité.
• Visualisation : Les auteurs montrent des exemples où les objets anormaux (par exemple, se déplaçant trop vite ou à une position inhabituelle) sont colorés en rouge, tandis que les objets normaux sont en bleu ou vert selon leur probabilité d'existence.
• Limitations actuelles :
  • Le modèle suppose que les événements sont non causaux et indépendants (les objets peuvent se traverser), ce qui n'est pas réaliste.
  • Les scènes sont abstraites (formes géométriques) et non réalistes (pas de piétons ou de véhicules réalistes pour l'instant).
  • L'outil est encore en développement précoce et n'a pas encore été largement testé avec des architectures SNN complexes pour valider son efficacité pratique.

5. Signification et Perspectives

Ce travail est significatif car il comble un vide critique dans l'écosystème de la vision neuromorphique. En fournissant un moyen de générer des données d'entraînement étiquetées sans dépendre de capteurs physiques rares, ANTShapes permet aux chercheurs de :

• Développer et affiner des algorithmes de détection d'anomalies pour les SNN.
• Étudier les caractéristiques d'apprentissage des réseaux dans des environnements contrôlés.
• Préparer le terrain pour des applications de surveillance et de sécurité en périphérie (edge).

Travaux futurs prévus :

• Intégration de comportements causaux (les objets ne se traversent pas, interactions physiques).
• Passage à des scènes réalistes avec des agents humains et des environnements urbains procéduraux.
• Ajout de la vision stéréoscopique pour mieux encoder la profondeur.
• Développement de la mobilité de la caméra (mouvement de l'observateur) pour des scénarios plus variés.

En résumé, ANTShapes représente une étape cruciale vers la démocratisation de la recherche en vision neuromorphique en offrant une alternative logicielle robuste aux données physiques limitées.