Imaginez un monde où les ordinateurs guidant des robots autonomes ou gérant des bâtiments intelligents ne sont pas des machines fragiles et délicates, mais plutôt des systèmes robustes capables de fonctionner même lorsque leur mémoire interne est légèrement endommagée ou imprécise. C'est la promesse d'un domaine appelé l'architecture symbolique vectorielle, une façon d'appréhender l'intelligence artificielle qui s'inspire de la manière dont le cerveau humain stocke l'information. Au lieu de s'appuyer sur des nombres précis et fragiles, cette approche utilise de vastes motifs de données de haute dimension qui peuvent être combinés et comparés à l'aide de mathématiques simples. L'idée clé est que ces motifs sont si nombreux et distincts qu'ils peuvent se chevaucher sans se confondre, un peu comme une pièce bondée de personnes parlant des langues différentes qui vous permet de vous concentrer sur une seule conversation sans que le bruit de fond ne devienne un fouillis. Cette résilience rend l'approche particulièrement attractive pour les dispositifs de « l'edge » (en périphérie) — des ordinateurs qui fonctionnent avec une puissance limitée ou dans des environaux hostiles où un stockage de données parfait ne peut être garanti.

Des chercheurs de l'Université de Californie à Irvine et leurs collaborateurs ont maintenant appliqué ce concept directement à la manière dont les machines apprennent à prendre des décisions. Dans une nouvelle étude, ils ont introduit une méthode appelée « Vector-Symbolic Policy Gradient ». Pour comprendre ce qu'ils ont fait, il est utile de comprendre d'abord le problème qu'ils résolvent. Dans l'apprentissage par renforcement, un agent artificiel apprend en essayant des actions et en observant les résultats, construisant progressivement une stratégie pour maximiser les récompenses. Traditionnellement, cette stratégie est stockée dans des réseaux de neurones complexes, qui sont comme des réseaux de connexions complexes nécessitant un réglage précis. Si les nombres à l'intérieur de ces réseaux sont corrompus par un peu de bruit électrique ou un défaut de fabrication, la prise de décision de l'agent peut s'effondrer. Les chercheurs se sont posé une question simple : pouvons-nous construire un système de prise de décision intrinsèquement résistant à ce genre de dommages, un système qui apprend en stockant des souvenirs d'une manière naturellement indulgente ?

La réponse qu'ils ont trouvée est oui. L'équipe a développé un système où chaque action possible qu'un agent peut entreprendre est représentée par un motif unique de haute dimension, ou « hypervecteur ». Lorsque l'agent observe son environnement, il convertit cette observation en un motif similaire. Pour décider quoi faire, le système vérifie simplement quel motif d'action ressemble le plus à l'observation actuelle. Le génie de leur méthode réside dans la façon dont le système apprend. Au lieu d'utiliser des calculs complexes à plusieurs étapes pour ajuster ses poids internes, le système met à jour sa mémoire en une seule étape directe. Lorsqu'un agent effectue une bonne action et reçoit une récompense, le système renforce la connexion entre le motif de cette action et l'observation qui l'a menée à elle. Si l'action était mauvaise, il affaiblit cette connexion. Ce processus est mathématiquement équivalent à une méthode d'apprentissage standard, mais il est effectué en utilisant l'addition et la soustraction simples de ces grands motifs, suivies d'une étape de normalisation pour maintenir la stabilité des motifs.

Ce qui rend cette découverte significative, c'est ce qui arrive à la mémoire au fil du temps. À mesure que l'agent apprend, il ne stocke pas une liste de chaque expérience qu'il a jamais vécue. Au lieu de cela, il compresse toute cette expérience dans une banque de mémoire de taille fixe. La mémoire de chaque action devient un résumé compressé de toutes les fois où cette action a été utile, pondéré par la qualité du résultat. Cela signifie que le système peut apprendre efficacement sans avoir besoin de stocker de vastes quantités de données brutes. De plus, les chercheurs ont prouvé que cette méthode est incroyablement robuste face aux erreurs. Ils ont testé ce qui se passerait si des bits aléatoires dans la mémoire étaient inversés, simulant le type de corruption qui se produit dans un matériel peu fiable. Alors que les réseaux de neurones traditionnels et les modèles linéaires simples ont subi des baisses de performance significatives dans ces conditions, le nouveau système basé sur les vecteurs a tenu bon. Les erreurs ont été compensées par la taille et la structure des motifs, permettant au système de continuer à prendre des décisions correctes même lorsque sa mémoire était imparfaite.

L'équipe a testé sa méthode sur une variété de défis, allant de tâches de contrôle classiques comme l'équilibrage d'un poteau sur un chariot mobile à la navigation dans des labyrinthes complexes et la gestion de l'énergie dans des systèmes de bâtiments multi-agents. Dans ces tests, la nouvelle méthode a appris aussi vite, voire plus vite, que les approches standard de réseaux de neurones. Elle a obtenu des résultats compétitifs pour atteindre des objectifs et maximiser les récompenses, démontant ainsi qu'elle ne sacrifie pas la performance pour la robustesse. Dans les tâches de navigation dans des labyrinthes, où l'agent doit se souvenir de ramasser une clé avant d'ouvrir une porte, le système a réussi à apprendre la séquence d'actions. Dans les simulations de contrôle de bâtiments, où plusieurs agents doivent se coordonner pour gérer la température et l'humidité, la méthode a bien fonctionné à travers différentes conditions climatiques.

Peut-être plus important encore, l'étude a montré que la capacité de généralisation du système — sa capacité à appliquer ce qu'il a appris dans une situation à une autre légèrement différente — était directement liée à la manière dont les motifs initiaux étaient créés. Les chercheurs ont découvert que le choix de la manière de convertir les observations brutes en ces motifs de haute dimension importait grandement. Certaines méthodes de conversion ont conduit à un meilleur apprentissage et à des mémoires plus stables que d'autres, suggérant que le « langage » dans lequel l'agent pense est crucial pour son succès. Cependant, une fois le système entraîné, il n'avait pas besoin de conserver les données brutes de ses sessions d'entraînement. Il pouvait abandonner l'historique et s'appuyer uniquement sur la mémoire compressée de taille fixe, ce qui le rendait hautement efficace pour un déploiement sur des dispositifs réels.

Les chercheurs ont également exploré comment la taille de ces motifs affectait la performance. Ils ont constaté que l'augmentation de la dimensionnalité, ou le nombre d'éléments dans chaque motif, améliorait la capacité du système à distinguer les différentes situations et réduisait l'interférence entre les mémoires. Cependant, ils ont également noté que cette amélioration finissait par plafonner, ce qui signifie qu'il existe un point de rendement décroissant où rendre les motifs plus grands n'aide plus beaucoup. Cet équilibre entre la taille de la mémoire et la performance est une considération pratique pour les ingénieurs qui doivent intégrer ces systèmes sur de petites puces.

En fin de compte, ce travail comble le fossé entre la robustesse théorique et l'application pratique. Il démontre qu'il est possible de créer des agents apprenants qui sont non seulement efficaces et rapides, mais aussi résilients aux imperfections du monde réel. En représentant les décisions sous forme de motifs distribués plutôt que de nombres précis, le système évite la fragilité qui frappe de nombreux modèles d'intelligence artificielle modernes. Les conclusions suggèrent une voie à suivre pour le déploiement de systèmes intelligents dans des environnements où la fiabilité est primordiale, des véhicules autonomes naviguant dans des conditions météorologiques imprévisibles aux dispositifs médicaux opérant dans des contextes à ressources limitées. La méthode ne nécessite pas de matériel complexe ou de centres de données massifs ; elle repose sur une structure mathématique simple et élégante qui transforme la faiblesse potentielle d'une mémoire bruitée en une force. Comme le concluent les chercheurs, cette approche offre une base prometteuse pour la prochaine génération d'intelligence artificielle robuste et basée sur l'edge, prouvant que, parfois, la meilleure façon de construire une machine intelligente est de la laisser penser en motifs trop vastes pour être brisés.