Imaginez un monde où les ordinateurs ne se contentent pas de brasser des chiffres comme d'éternelles calculatrices, mais pensent davantage comme nos propres cerveaux. C'est le domaine des réseaux de neurones à impulsions (SNN), un type d'intelligence artificielle qui imite la façon dont les neurones biologiques émettent de petites étincelles électriques, ou « impulsions », uniquement lorsque cela est nécessaire. Au lieu de fonctionner en continu, ces réseaux sont pilotés par les événements, ce qui signifie qu'ils restent silencieux jusqu'à ce que quelque chose d'intéressant se produise, ce qui les rend incroyablement économes en énergie. Récemment, des scientifiques ont tenté de combiner ce style de « pulsation » efficace avec l'architecture puissante des « Transformers » — la même structure cérébrale qui aide les ordinateurs à comprendre le langage et à reconnaître les images. L'objectif ? Créer une IA super efficace capable de voir et de comprendre le monde sans consommer des quantités massives d'électricité. Cependant, il y a un piège : lorsque ces Transformers à impulsions tentent de se concentrer sur différentes parties d'une image, ils ont parfois du mal à prêter attention aux choses qui sont juste à côté d'elles, comme un voisin ignorant la maison située juste à côté de la sienne.

Cet article, intitulé « Rethinking Attention Locality in Spiking Transformers », plonge dans ce problème spécifique. Les auteurs, une équipe de chercheurs de l'Université de Zhejiang, de l'Université de Westlake et de l'Université de Pékin, ont remarqué que si les tentatives précédentes pour corriger ce problème de « voisinage » rendaient l'IA plus intelligente, elles ne corrigeaient pas réellement la cause profonde. Ils ont découvert que certaines méthodes se contentaient de faire le calcul localement sans réellement regarder les pixels voisins, et que d'autres tentaient d'imposer la même correction à chaque partie du réseau, ce qui ne fonctionnait pas toujours. Pour résoudre cela, ils ont inventé un nouveau système appelé SCLA-BCP. Voyez cela comme une meilleure façon d'organiser la surveillance de quartier de l'IA : il divise l'image en petits blocs ordonnés où les voisins peuvent discuter facilement, mais ajoute également un « pont de frontière » spécial qui permet à l'information de circuler entre ces blocs afin que rien ne soit oublié. Leurs expériences montrent que cette nouvelle approche aide l'IA à mieux voir, à reconnaître les objets plus précisément, et ce, tout en utilisant très peu d'énergie supplémentaire.

Le Problème : Quand le « Local » ne signifie pas « Proche »

Pour comprendre ce que les auteurs ont découvert, nous devons d'abord examiner comment ces Transformers à impulsions fonctionnent habituellement. Dans un Transformer standard, l'IA regarde une image et essaie de comprendre comment les différentes parties sont liées entre elles. Elle demande : « Est-ce que ce pixel se soucie de ce pixel ? » Dans un cerveau informatique normal, cela se fait avec un tour de magie mathématique appelé « Softmax », qui aide l'IA à décider quels pixels sont les plus importants. Mais dans les Transformers à impulsions, on supprime le Softmax pour garder les choses « impulsionnelles » et efficaces. L'inconvénient ? L'IA finit par traiter tous les pixels presque de manière égale, comme un étudiant qui ne sait pas avec qui s'asseoir et qui finit par fixer tout le monde d'un regard vide.

Pour corriger cela, des chercheurs précédents ont tenté de forcer l'IA à se concentrer sur des zones locales. Ils l'ont fait de deux manières principales :

1. La méthode de « Groupement » (LSSA) : Ils ont essayé de regrouper les pixels ensemble selon un motif, comme mettre chaque deuxième pixel dans un groupe. Le problème, comme l'ont constaté les auteurs, est que c'est comme regrouper des gens dans une pièce en fonction de la pointure de leurs chaussures. Même si vous êtes dans le même groupe, vous pouvez vous trouver à des côtés opposés de la pièce. Les mathématiques disent que vous êtes « locaux », mais physiquement, vous êtes éloignés. Les auteurs appellent cela une « divergence de localité computationnelle-spatiale ». L'ordinateur pense regarder des voisins, mais il regarde en réalité des étrangers.

2. La méthode « Uniforme » (LRF-SSA) : D'autres chercheurs ont tenté d'ajouter une « vue locale » à chaque couche de la structure cérébrale de l'IA, supposant que chaque partie du réseau avait besoin du même type d'aide. Les auteurs ont testé cela et ont constaté que cela ne fonctionnait pas partout. Tout comme un enfant en bas âge a besoin de règles différentes d'un adolescent, les différentes couches du réseau de l'IA ont besoin de différents niveaux de concentration « locale ». Appliquer la même correction à chaque couche de l'IA peut parfois aggraver les choses ou ne rien changer du tout.

La Solution : SCLA-BCP

Les auteurs ont réalisé que pour vraiment résoudre le problème, ils avaient besoin de deux choses : un moyen de s'assurer que l'IA regarde réellement des pixels physiquement adjacents, et un moyen de permettre à ces pixels de parler à leurs voisins à travers les frontières. Ils ont conçu le SCLA-BCP.

SCLA (Spatially Contiguous Local Attention) :
Imaginez que vous avez une pizza géante. Au lieu de la couper en tranches bizarres et éparpillées selon un motif, vous la coupez en blocs carrés nets et non chevauchants. Le SCLA force l'IA à ne regarder que les pixels à l'intérieur de son propre bloc carré. Cela garantit que lorsque l'IA demande : « Qui est mon voisin ? », elle parle au pixel situé littéralement juste à côté d'elle. Cela résout le problème de la « pointure de chaussure » en garantissant que le groupe est un véritable quartier contigu.

BCP (Boundary Continuity Pathway) :
Mais un nouveau problème surgit : si vous coupez la pizza en carrés séparés, le pepperoni sur le bord d'un carré ne peut pas parler du fromage sur le bord du suivant. L'information reste bloquée. Pour corriger cela, les auteurs ont ajouté le BCP. Voyez cela comme un « pont » spécial ou un « service de courrier » qui longe les bords des carrés. Il jette un coup d'œil rapide à l'ensemble de l'image (sans la découper) en utilisant un outil simple et léger (une convolution) et transmet cette information au système principal. Cela permet à l'IA de comprendre ce qui se passe à travers les frontières de ses petits blocs, garantissant que l'image globale reste connectée.

Comment ils l'ont déployé

Les auteurs ont également réalisé qu'on ne peut pas simplement appliquer ce nouveau système à toutes les parties de l'IA. Ils ont découvert que pour certains types d'architectures d'IA (les modèles de type « ViT »), il est préférable de l'utiliser uniquement dans la première moitié du réseau. Pour d'autres types (les modèles « multi-étapes »), il fonctionne mieux dans les deux premières étapes. C'est comme savoir qu'il faut apprendre à un enfant à marcher avant de lui apprendre à courir ; on ne met pas de chaussures de course à un bébé. En choisissant soigneusement où appliquer le SCLA-BCP, ils ont obtenu les meilleurs résultats sans gaspiller d'énergie.

Les Résultats : Mieux voir le monde

L'équipe a testé sa nouvelle méthode sur sept ensembles de données différents, allant de la reconnaissance d'images simple (comme identifier des chats et des chiens) à des tâches complexes comme trouver des voitures dans une ville ou séparer des objets dans une scène. Les résultats sont impressionnants :

• Une meilleure précision : Sur le jeu de données COCO 2017 (utilisé pour la détection d'objets), leur méthode a amélioré la précision de la détection d'objets jusqu'à 9,50 %. Sur le jeu de données ADE20K (utilisé pour la compréhension de scènes), elle a amélioré la capacité de séparation des différentes parties d'une image jusqu'à 3,42 %.
• Efficacité : Ils ont réussi à obtenir ces grandes améliorations en n'ajoutant qu'un poids infime au système. Par exemple, sur certains modèles, ils n'ont ajouté qu'environ 0,02 à 0,48 million de paramètres (les minuscules blocs de construction de l'IA) et une très petite quantité d'énergie supplémentaire (environ 0,09 à 0,93 millijoule).
• Preuve de concept : Lorsqu'ils ont observé comment l'IA « réfléchissait » (en utilisant une métrique appelée Mean Attention Distance, ou MAD), ils ont constaté que leur méthode faisait réellement se concentrer l'IA sur les voisins proches, contrairement aux méthodes précédentes qui échouaient parfois à le faire. Les visualisations ont montré que leur IA se concentrait plus clairement sur les objets réels (comme un chimpanzé) et ignorait le bruit de fond, alors que les anciennes méthodes étaient parfois distraites.

Ce que cela signifie

L'article suggère que le simple fait de rendre l'IA « locale » ne suffit pas ; il faut s'assurer que la partie « locale » correspond réellement à la disposition physique de l'image. Les auteurs démontrent qu'en combinant une règle de « voisinage » stricte (SCLA) avec un « pont de frontière » (BCP), et en étant intelligents sur l'endroit où appliquer ces règles, nous pouvons construire des Transformers à impulsions qui sont non seulement plus efficaces, mais aussi bien plus performants pour voir le monde. C'est un rappel qu'en IA, parfois, la meilleure façon de voir l'image globale est d'abord d'organiser votre quartier, puis de construire quelques ponts pour les connecter.