Dans le vaste paysage des données modernes, de nombreuses relations les plus importantes ne se présentent pas proprement sous forme de lignes et de colonnes comme un tableur. Au lieu de cela, elles existent sous forme de réseaux complexes : les amis que vous partagez avec un collègue, les protéines qui se lient pour former un médicament, ou les citations qui relient une publication scientifique à une autre. Ce sont des graphes, des structures où les connexions entre les choses sont aussi importantes que les choses elles-mêmes. Pendant des décennies, les scientifiques ont lutté pour apprendre aux ordinateurs à comprendre ces réseaux. Les méthodes traditionnelles forcent souvent ces formes irrégulières et complexes dans des boîtes mathématiques rigides, nécessitant des quantités massives de puissance de calcul et une supervision humaine minutieuse pour fonctionner. Ces approches peuvent être fragiles ; si les données sont bruitées ou si un nouveau nœud apparaît et que le système ne l'a jamais vu auparavant, toute la structure peut vaciller. Le défi consistait à trouver un moyen de traduire ces réseaux enchevêtrés dans un langage que les ordinateurs peuvent facilement lire, sans perdre la forme unique des relations ni épuiser la machine dans le processus.

Une équipe de chercheurs de l'Université d'État de Portland a proposé une solution qui ressemble moins à un algorithme informatique standard qu'à la manière dont le cerveau d'un mammifère apprend. Ils ont développé un nouveau système appelé « Columnar-Embedder », conçu pour traduire la structure complexe d'un graphe en un code binaire compact. Au lieu de s'appuyer sur l'optimisation mathématique lourde et énergivore utilisée par la plupart de l'intelligence artificielle moderne, ce système imite l'architecture biologique du cortex cérébral. Il apprend en observant les motifs qui circulent à travers le réseau, tout comme le cerveau traite un flux d'entrées sensorielles. Les chercheurs ont découvert qu'en utilisant un ensemble de règles d'apprentissage locales inspirées de la biologie, leur système pouvait créer des représentations de nœuds de graphes étonnamment efficaces. Ces représentations ne sont pas seulement précises ; elles sont incroyablement résilientes au bruit et à la corruption, et elles peuvent être apprises en continu sans avoir besoin d'étiquettes ou d'un enseignant pour corriger les erreurs.

Le cœur de ce travail réside dans la manière dont le système traite l'information. La plupart des méthodes actuelles pour comprendre les graphes reposent sur des marches aléatoires, où un voyageur virtuel saute d'un nœud à un autre, enregistrant le chemin parcouru. Ces chemins sont ensuite injectés dans des réseaux neuronaux complexes qui tentent de deviner la signification des connexions. Ce processus est coûteux en termes de calcul et nécessite souvent que l'ensemble du jeu de données soit chargé en mémoire à la fois. Le Columnar-Embedder prend un chemin différent. Il traite le graphe comme un flux d'informations, similaire à la façon dont le cortex visuel traite une scène. Le système est construit avec des couches de neurones artificiels organisés en petites colonnes, reflétant les micro-colonnes présentes dans le cerveau des mammifères. Lorsqu'une marche aléatoire traverse le réseau, elle active des neurones spécifiques de manière parcimonieuse et binaire. Cela signifie que pour toute donnée donnée, seule une infime fraction des neurones disponibles — environ un à quatre pour cent — s'active à un instant donné. Cette parcimonie est une caractéristique clé des cerveaux biologiques, permettant de stocker de vastes quantités d'informations efficacement et de se remettre de dommages ou de bruit.

Pour comprendre la signification de ces motifs, le système utilise un ensemble de règles qui sont strictement locales. Dans de nombreux systèmes d'intelligence artificielle, l'apprentissage nécessite un signal global qui voyage à rebours à travers le réseau pour ajuster chaque connexion, un processus connu sous le nom de rétropropagation. Ce document rejette explicitement cette approche. Au lieu de cela, le Columnar-Embedder utilise une règle d'apprentissage basée sur le principe de Bienenstock-Cooper-Munro, qui ajuste la force des connexions entre les neurones en fonction de leur activité immédiate et d'un signal statistique dérivé de la fréquence à laquelle les nœuds apparaissent ensemble lors des marches aléatoires. Si deux nœuds apparaissent fréquemment à proximité l'un de l'autre dans le graphe, le système renforce la connexion entre les neurones qui les représentent. S'ils apparaissent rarement ensemble, la connexion s'affaiblit. Cela se produit sans aucune supervision externe ou étiquette indiquant au système quelle est la bonne réponse. Le système observe simplement le flux de données et adapte sa structure interne pour correspondre aux statistiques du graphe.

Les chercheurs ont testé cette architecture sur plusieurs jeux de données de graphes standards, incluant des réseaux de citations scientifiques et des recommandations de produits. Ils ont comparé les performances du système à celles de méthodes de pointe utilisant des nombres d'une densité continue pour représenter les nœuds. Les résultats ont montré que le Columnar-Embedder était compétitif avec ces méthodes complexes et lourdes dans des tâches telles que la classification de nœuds et la prédiction de liens manquants. Par exemple, sur un ensemble de données de publications scientifiques, le système a correctement identifié la catégorie d'un article en se basant sur ses voisins avec une précision qui égalait les meilleurs outils existants. Ce qui est peut-être plus frappant est le comportement du système sous pression. Lorsque les chercheurs ont introduit du bruit dans les données — en inversant des bits dans le code ou en supprimant des connexions — le Columnar-Embedder a bien mieux résisté que les méthodes traditionnelles. Alors que les représentations denses se dégradaient rapidement à mesure que les données étaient corrompues, les codes binaires parsemés maintenaient leur capacité à distinguer différents groupes de nœuds. Cela suggère que la structure du système offre une résistance naturelle aux erreurs, un trait commun aux systèmes biologiques mais rare dans l'intelligence artificielle actuelle.

Une autre découverte significative est la capacité de montée en charge du système. Les chercheurs ont appliqué la même architecture à des graphes beaucoup plus larges, incluant un réseau de co-autorat en physique comprenant près de 35 000 nœuds, sans modifier aucun des paramètres ou réglages sous-jacents. Le système a maintenu sa haute performance et sa capacité à distinguer différentes classes de nœuds. Cette évolutivité est cruciale car de nombreux graphes du monde réel, tels que les réseaux sociaux ou l'Internet lui-même, sont massifs et en constante évolution. La conception du système lui permet d'apprendre en continu à partir d'un flux de données, s'adaptant aux nouveaux nœuds et connexions à mesure qu'ils apparaissent, sans avoir besoin d'être réentraîné de zéro. Cette capacité d'apprentissage continu est un résultat direct de l'inspiration biologique ; tout comme le cerveau n'oublie pas les anciens souvenirs lorsqu'il en apprend de nouveaux, le Columnar-Embedder ne souffre pas de l'« oubli catastrophique », un problème courant où l'apprentissage de nouvelles informations écrase les connaissances précédentes dans les réseaux neuronaux traditionnels.

L'architecture y parvient en organisant ses neurones selon une hiérarchie. La première couche encode l'entrée, la deuxième organise l'information en colonnes qui entrent en compétition pour représenter la donnée, et une troisième couche étend la représentation pour garantir que même les nœuds qui se ressemblent beaucoup reçoivent des codes uniques. Ce processus est piloté par un mécanisme qui encourage la diversité au sein des colonnes, garantissant que le système ne s'effondre pas en un motif unique et répétitif. Le résultat est une représentation qui est à la fois compacte et hautement spécifique. Les chercheurs ont constaté qu'ils pouvaient représenter chaque nœud avec un code de seulement 28 bits actifs sur un total de 1 800, un niveau d'efficacité qui est de plusieurs ordres de grandeur plus compact que les vecteurs denses utilisés par les autres méthodes. Cette efficacité se traduit directement par des exigences de mémoire moindres et des vitesses de traitement plus rapides, faisant de ce système un candidat prometteur pour des applications où les ressources sont limitées ou lorsque les données arrivent en flux continu.

En fin de compte, ce travail démontre que les principes régissant l'apprentissage biologique peuvent être appliqués avec succès au problème abstrait de la représentation de graphes. En s'éloignant de l'optimisation globale et lourde du deep learning moderne pour embrasser la nature locale, parcimonieuse et continue des systèmes biologiques, les chercheurs ont créé un outil qui est non seulement efficace, mais aussi robuste et efficient. Le système ne nécessite pas les ressources de calcul massives ou les ensembles de données soigneusement préparés qui sont souvent nécessaires pour les autres techniques d'intégration de graphes. Au lieu de cela, il apprend de la structure brute des données elles-mêmes, trouvant des motifs et des relations à travers un processus qui reflète la manière dont le cerveau donne un sens au monde. Ces conclusions suggèrent qu'il existe une voie viable pour créer une intelligence artificielle plus adaptable, plus économe en énergie et plus résiliente face à la nature désordonnée et imprévisible des données du monde réel.