💻 computer science

Wandering around: A bioinspired approach to visual attention through object motion sensitivity

Ce travail présente un système d'attention visuelle bio-inspiré utilisant des réseaux de neurones impulsionnels (SNN) et des caméras à événements pour segmenter et suivre des objets en mouvement en temps réel, offrant une solution robuste et efficace pour la robotique.

Auteurs originaux : Giulia D'Angelo, Victoria Clerico, Chiara Bartolozzi, Matej Hoffmann, P. Michael Furlong, Alexander Hadjiivanov

Publié 2026-02-11

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Giulia D'Angelo, Victoria Clerico, Chiara Bartolozzi, Matej Hoffmann, P. Michael Furlong, Alexander Hadjiivanov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Robot "Explorateur Curieux" : Comment donner des yeux intelligents à une machine

Imaginez que vous êtes dans une pièce plongée dans la pénombre. Vous ne pouvez pas allumer toutes les lumières (cela consommerait trop d'énergie), et vous ne pouvez pas regarder partout en même temps. Que faites-vous ? Vous bougez légèrement la tête pour repérer un mouvement, et dès que vous voyez une ombre bouger, vos yeux se fixent dessus. Vous ne regardez pas chaque grain de poussière, vous vous concentrez sur l'essentiel.

C'est exactement ce que les chercheurs de cette étude ont voulu apprendre à un robot.

1. Le problème : Le robot "trop gourmand"

D'habitude, les robots voient comme des photographes : ils prennent des milliers de photos par seconde. Le problème ? C'est comme si, pour surveiller une pièce, vous deviez imprimer des millions de photos et les analyser une par une. C'est lent, ça prend une place énorme dans la mémoire et ça vide la batterie très vite.

2. La solution : L'œil "réactif" (La caméra à événements)

Au lieu d'utiliser des photos classiques, les chercheurs utilisent une caméra spéciale, inspirée de notre rétine. Elle ne prend pas de photos. Elle ne "voit" que le changement.

L'analogie : Imaginez que vous regardez un mur blanc immobile. Pour cette caméra, le mur n'existe pas (elle ne consomme rien). Mais si une mouche passe, la caméra envoie instantanément un petit signal : "Hé ! Quelque chose a bougé ici !". C'est ultra-rapide et très économe en énergie.

3. Le cerveau : Le système de "l'attention sélective"

Le défi, c'est que si le robot bouge la tête, la caméra croit que tout bouge (car le décor défile). C'est là qu'intervient le cœur de l'invention : un système de neurones artificiels (appelés SNN) qui fonctionne en trois étapes :

Étape 1 : Le filtre à mouvement (sOMS) : C'est comme un filtre magique qui dit : "Ignore le mouvement du décor qui défile, cherche uniquement ce qui bouge de façon indépendante". C'est le détecteur de "trucs suspects".
Étape 2 : Le détecteur de formes (Proto-objet) : Une fois qu'un mouvement est repéré, le robot se demande : "Est-ce juste un reflet ou est-ce un objet ?". Il cherche des contours, des formes qui se ressemblent, comme si ses yeux essayaient de dessiner les contours de l'objet dans sa tête.
Étape 3 : Le coup d'œil (Saccades et micro-mouvements) : Une fois l'objet trouvé, le robot fait deux choses :
1. Il fait un grand mouvement rapide (une saccade) pour pointer l'objet du doigt.
2. Il fait ensuite de tout petits tremblements (des mouvements fixatifs), comme nous quand nous lisons, pour bien stabiliser l'image et ne pas perdre l'objet de vue.

4. Pourquoi est-ce une révolution ?

Les chercheurs ont testé ce système dans le noir, dans des bureaux, et même en extérieur. Le résultat ? Le robot est capable de détecter un objet en un clin d'œil (0,12 seconde !), sans avoir besoin d'être "entraîné" sur des millions d'images comme les IA classiques (ChatGPT ou autre). Il utilise simplement les lois de la physique et de la biologie.

En résumé :
Au lieu de donner au robot un énorme dictionnaire de photos à consulter, on lui a donné un instinct de prédateur. Il ne regarde pas le monde ; il surveille le monde, et il ne s'intéresse qu'à ce qui mérite son attention. C'est la clé pour créer des robots autonomes, légers et capables de survivre dans le monde réel avec très peu d'énergie.

Résumé Technique : Approche Bio-inspirée de l'Attention Visuelle par Sensibilité au Mouvement des Objets

1. Problématique (Le Problème)

La vision par ordinateur traditionnelle repose souvent sur des architectures de type "feedforward" (flux direct) passives, qui nécessitent d'énormes ensembles de données et des ressources de calcul massives. Ces systèmes peinent à généraliser face aux variations d'échelle, de pose ou de luminosité, et souffrent de latence et de consommation énergétique élevée.

En robotique, un défi majeur est l'attention sélective : comment un agent doté de capacités de calcul limitées peut-il allouer ses ressources uniquement aux zones d'intérêt (ROI) pertinentes ? De plus, lorsqu'une caméra est en mouvement (égomotion), il devient difficile de distinguer le mouvement des objets de celui de la caméra elle-même. L'objectif de cette recherche est de créer un système de vision active capable de détecter des objets en mouvement et de diriger sa "fovéa" (centre du champ visuel) vers eux de manière autonome et efficace.

2. Méthodologie (L'Approche)

Les auteurs proposent une architecture de vision active entièrement pilotée par des réseaux de neurones impulsionnels (Spiking Neural Networks - SNN) et utilisant des caméras à événements (DVS), qui imitent la rétine humaine en ne transmettant que les changements de luminance.

Le système est composé de trois modules principaux intégrés dans une boucle de rétroaction :

Module de Sensibilité au Mouvement des Objets (sOMS) : Inspiré par les cellules ganglionnaires de la rétine, ce module utilise des noyaux de convolution de type "centre-périphérie" (Gaussian kernels) pour supprimer les événements liés au mouvement global (égomotion) et accentuer le contraste de mouvement local des objets.
Modèle de Proto-objet SNN : Ce module applique les lois de la Gestalt (notamment la continuité et la proximité) via des filtres de von Mises. Il regroupe les bords détectés pour identifier des "proto-objets" et génère une carte de saillance, identifiant ainsi le point le plus pertinent $(x, y)$ dans le champ visuel.
Contrôle de l'Attention Impulsionnel (sAC) : Un contrôleur proportionnel implémenté via le framework Neural Engineering Framework (NEF) génère des commandes de mouvement (pan et tilt) pour un dispositif Pan-Tilt (PTU). Le système simule également des mouvements oculaires fixatifs (petits mouvements aléatoires) pour permettre l'intégration spatio-temporelle des données et éviter la disparition des éléments statiques.

L'implémentation utilise le matériel neuromorphique Speck et la bibliothèque sinabs.

3. Contributions Clés

Architecture de bout en bout : Présentation du premier système d'attention visuelle bio-inspiré complet, combinant capteurs à événements, algorithmes SNN et contrôle moteur sur un robot.
Conception sans apprentissage (Learning-free) : Contrairement aux modèles de Deep Learning, le système repose sur des principes biologiques et mathématiques, ce qui le rend robuste et capable de fonctionner dans de nouveaux environnements sans nécessiter de jeux de données d'entraînement.
Intégration de l'égomotion : Un mécanisme efficace pour distinguer le mouvement de l'objet du mouvement de la caméra grâce à la sensibilité au mouvement relatif.
Démonstrateur en temps réel : Un prototype physique montrant le système "errant" dans un environnement et effectuant des saccades vers les objets saillants.

4. Résultats

Les performances ont été validées sur plusieurs jeux de données de référence :

Segmentation du mouvement (EVIMO) : Le modèle sOMS atteint une intersection sur union (IoU) moyenne de 82,2 % et une similarité structurelle (SSIM) de 96 % dans des scénarios de segmentation multi-objets.
Détection d'objets (LLE-VOS) : Dans des conditions de faible luminosité (indoor et outdoor), la précision de détection atteint 88,8 % et 89,8 % respectivement.
Latence : Le démonstrateur en temps réel affiche une latence de seulement 0,124 seconde pour détecter un objet saillant et initier le mouvement, ce qui est extrêmement rapide pour des applications robotiques dynamiques.
Efficacité de la suppression : Le module sOMS parvient à supprimer environ 85,16 % des événements inutiles (bruit, fond statique), réduisant ainsi drastiquement la charge de calcul.

5. Signification et Impact

Cette recherche marque un changement de paradigme : passer d'une vision passive et gourmande en données à une vision active et neuromorphique.

L'étude démontre que l'utilisation de mouvements oculaires fixatifs est cruciale pour la stabilité perceptive. En combinant la faible latence des capteurs à événements avec l'efficacité énergétique des SNN, ce travail pose les bases de futurs robots capables d'interagir avec leur environnement de manière fluide, autonome et avec une consommation d'énergie minimale, se rapprochant ainsi du fonctionnement biologique des systèmes visuels animaux.