Learning complex temporal dependencies via local synaptic plasticity
Cet article démontre que le codage prédictif temporel (tPC), un cadre biologiquement plausible utilisant la plasticité synaptique locale, peut apprendre efficacement des dépendances temporelles complexes et rivaliser avec les méthodes traditionnelles basées sur la rétropropagation en exploitant la dynamique de réservoir, les structures hiérarchiques et les traces d'éligibilité.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Pour naviguer dans le monde, notre cerveau doit constamment suivre le déroulement des événements à travers le temps. Que nous soyons en train de prédire le mot suivant dans une phrase, de calibrer un coup de tennis ou simplement de nous rappeler où nous avons laissé nos clés, la capacité d'extraire des motifs à partir d'une séquence de moments est fondamentale pour la pensée humaine. Pendant des décades, les scientifiques tentant de comprendre ce processus se sont appuyés sur de puissants modèles informatiques appelés réseaux de neurones récurrents. Ces systèmes numériques sont excellents pour apprendre des séquences, mais ils sont souvent construits sur une base qui ne correspond pas au fonctionnement des véritables cerveaux. La méthode standard pour enseigner à ces réseaux implique un tour de passe-passe mathématique qui nécessite au système de regarder en arrière dans le temps, en stockant chaque état passé et en envoyant des signaux d'erreur en sens inverse. Bien que cela fonctionne bien pour les ordinateurs, c'est considéré comme biologiquement impossible pour les neurones, qui ne peuvent réagir qu'à des signaux arrivant à leur emplacement immédiat et ne peuvent accéder aux informations du passé lointain. Ce fossé entre l'intelligence artificielle efficace et la biologie plausible a laissé une question majeure sans réponse : comment le cerveau apprend-il réellement des dépendances temporelles complexes en utilisant uniquement des règles biologiques locales ?
Une équipe de chercheurs de l'Université d'Oxford a franchi une étape significative vers la réponse à cette question en explorant un cadre appelé codage prédictif temporel. Cette approche suggère que le cerveau n'a pas besoin de regarder en arrière pour apprendre ; au lieu de cela, il génère constamment des prédictions sur ce qui va se passer ensuite et met à jour son modèle interne en fonction de la différence entre ces prédictions et la réalité. Les chercheurs, Julian Ng-Kee-Kwong, Mufeng Tang, Thomas Akam et Rafal Bogacz, ont cherché à savoir si cette méthode d'apprentissage locale pouvait gérer les tâches temporelles complexes habituellement réservées à des algorithmes plus puissants et biologiquement irréalistes. Ils ont découvert qu'en affinant ce cadre de codage prédictif, ils pouvaient créer des réseaux capables d'apprendre à mémoriser le contexte, de résoudre des énigmes complexes impliquant des délais temporels et de rester robustes face aux distractions, tout en utilisant uniquement les règles simples et locales que les vrais neurones sont connus pour suivre.
Le cœur de leur investigation consistait à tester une version spécifique de ce système de codage prédictif contre une version tronquée standard de l'algorithme d'apprentissage vers l'arrière. Dans la méthode standard vers l'arrière, l'ordinateur calcule à quel point une erreur à la fin d'une séquence a été causée par des événements survenus juste un pas auparavant. Les chercheurs ont montré que leur système de codage prédictif produit des mises à jour mathématiquement similaires à cette méthode vers l'arrière d'un seul pas, mais avec une différence cruciale dans sa manière de traiter l'information. Dans le modèle de codage prédictif, le système ne se contente pas de transmettre l'information vers l'avant ; il affine activement son état interne à chaque instant en comparant sa prédiction avec l'entrée sensorielle réelle qu'il reçoit. Cela crée un flux subtil mais puissant d'informations de l'observation présente vers la mémoire du réseau, lui permettant de corriger sa trajectoire en temps réel. Lorsqu'ils ont testé cela sur une tâche simple de suivi de la position d'une particule en mouvement, le modèle de codage prédictif a appris la tâche facilement, tandis qu'un réseau standard utilisant la méthode vers l'arrière d'un seul pas a échoué, incapable d'intégrer l'information de vitesse au fil du temps sans ce feedback immédiat supplémentaire.
S'appuyant sur cette fondation, l'équipe a exploré si ces réseaux pouvaient gérer des séquences plus complexes où le moment présent dépend d'événements survenus plusieurs étapes auparavant, un type de problème dit non-markovien. Dans ces scénarios, connaître le passé immédiat ne suffit pas ; le système doit garder un contexte plus long à l'esprit. Les chercheurs ont démontré que leurs réseaux de codage prédictif pouvaient exploiter leur dynamique interne pour agir comme un réservoir, un espace d'état de haute dimension où les entrées passées persistent et influencent le présent. Contra l'à l'inverse des ordinateurs à réservoir standard qui gardent leurs connexions internes fixes, ce système pouvait façonner ses propres voies internes grâce à l'apprentissage local. En ajustant les connexions entre les neurones sur la base des erreurs locales, le réseau a réorganisé son état interne de sorte que différents motifs deviennent plus faciles à distinguer. Cela a permis au système d'apprendre des séquences alternées de zéros et de uns qui nécessitaient de mémoriser un bloc de plusieurs étapes, une tâche avec laquelle les réservoirs fixes avaient du mal à mesure que les motifs devenaient plus complexes.
Pour s'attaquer à des défis temporels encore plus difficiles, les chercheurs ont introduit une structure hiérarchique, en empilant plusieurs couches de ces réseaux prédictifs les unes sur les autres. Dans cette configuration, chaque couche reçoit des informations de la couche inférieure, mais avec un léger retard temporel, permettant à différents niveaux du réseau d'opérer sur différentes échelles de temps. Cette architecture s'est révélée remarquablement efficace pour résoudre des tâches exigeant la combinaison d'informations provenant de moments largement séparés, comme un test de parité où le système devait compter le nombre total de signaux spécifiques sur une longue séquence pour déterminer si le compte était pair ou impair. Alors qu'un réseau à couche unique échouait lorsque la séquence devenait trop longue ou les écarts temporels trop larges, le système multicouche réussissait. De plus, cette conception hiérarchique a fourni un bouclier contre les interférences. Lorsque les chercheurs ont introduit des signaux perturbateurs puissants dans le flux d'entrée, le réseau à couche unique a perdu la mémoire de l'indice original, mais le réseau hiérarchique l'a conservée, intégrant sélectivement l'information pertinente tout en filtrant le bruit.
Enfin, l'équipe a abordé le défi de l'apprentissage à travers de très longs délais, où le signal de récompense ou d'erreur arrive longtemps après l'événement initial. En biologie, cela est souvent géré par un mécanisme appelé trace d'éligibilité, qui agit comme une étiquette temporaire sur une synapse, la marquant comme éligible à un changement jusqu'à ce qu'un signal global arrive pour confirmer l'apprentissage. Les chercheurs ont incorporé ce concept dans leur cadre de codage prédictif, créant un système capable de maintenir une mémoire déclinante de l'activité passée. Cela a permis au réseau de lier un événement survenu plusieurs secondes auparavant à un signal d'apprentissage arrivé beaucoup plus tard. Dans des tests impliquant une tâche de réponse différée, où le modèle devait se souvenir d'un indice présenté au début d'un essai et le reproduire après un délai variable, le système doté de ces traces d'éligibilité a réussi là où la version standard a échoué. Il a pu combler des écarts allant jusqu'à dix pas de temps, reproduisant avec succès l'indice original même après le délai, démontrant que les règles de plasticité locale peuvent effectivement soutenir l'apprentissage sur des périodes prolongées.
Les résultats suggèrent que le cerveau n'a peut-être pas besoin de la machinerie complexe et non locale de la propagation de l'erreur vers l'arrière pour apprendre du temps. Au contraire, des réseaux relativement simples régis par des règles locales, lorsqu'ils sont organisés avec des dynamiques prédictives, des couches hiérarchiques et des traces d'éligibilité, peuvent soutenir un apprentissage temporel sophistiqué. Bien que ces modèles soient encore des simulations et ne constituent pas encore un compte rendu complet du cerveau humain, ils offrent une alternative convaincante aux algorithmes standards utilisés en intelligence artificielle. Ils montrent que la plausibilité biologique ne nécessite pas de sacrifier la capacité d'apprendre des motifs complexes. En combinant le codage prédictif avec ces mécanismes additionnels, les chercheurs ont révélé une voie pour comprendre comment les systèmes biologiques pourraient résoudre le difficile problème de l'attribution de crédit temporel, apprenant du passé sans avoir besoin de regarder en arrière.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.