The Birth, Life, and Death of Internal Organization

Dans l'étude des machines apprenantes, les scientifiques cherchent depuis longtemps à comprendre comment ces systèmes changent à mesure qu'ils acquièrent de l'expérience. Lorsqu'un ordinateur apprend une nouvelle compétence, ses paramètres internes se modifient et son comportement évolue. Pendant des années, les chercheurs ont tenté de suivre ces changements en observant à quel point les motifs internes de la machine sont similaires les uns aux autres, ou en testant si un outil simple peut « lire » ce que la machine pense. L'idée prédominante était que si deux machines se ressemblent à l'intérieur, ou si elles peuvent toutes deux être décodées pour révéler la même information, c'est qu'elles font la même chose. Cependant, cette approche suppose que l'emplacement physique d'une pensée ou d'une règle est la partie la plus importante de son identité. Elle traite la structure interne de la machine comme une carte où les coordonnées d'une ville comptent plus que la ville elle-même. Cette perspective laisse une question cruciale sans réponse : quand un ensemble de parties changeantes devient-il réellement une entité distincte et organisée, dotée d'une vie propre ? A-t-elle un début, un milieu et une fin ? Et si cette entité disparaît, que reste-t-il d'elle ?

Une nouvelle étude du chercheur indépendant Yuxuan Deng s'attaque à ces questions en déplaçant l'attention de ce à quoi la machine ressemble vers ce qu'elle fait réellement. Au lieu de demander si deux motifs internes sont similaires, le chercheur a posé une question différente : si vous piquez la machine d'une manière spécifique, change-t-elle le futur d'une manière spécifique et nommée ? L'étude définit une « organisation » non pas par l'endroit où elle vit à l'intérieur de la machine, mais par la façon dont elle contrôle le résultat. Si un ensemble de changements internes conduit systématiquement à un résultat spécifique, cet ensemble est traité comme une organisation unique et vivante. Le chercheur a ensuite observé ces organisations lors de leur naissance, de leur croissance, de leur changement et de leur mort, testant s'il était possible de les déplacer d'une machine à une autre, tout comme on transplante un organe.

La recherche a débuté avec un ensemble massif de données réelles de recommandations vidéo. Le système a été alimenté par des millions d'interactions où les utilisateurs regardaient ou cliquaient sur des vidéos, mais les chercheurs y ont introduit un détournement : ils ont remplacé aléatoirement certaines vidéos recommandées par d'autres. Cela a créé une expérience naturelle où le système devait apprendre à prédire les résultats en se basant sur une réalité mouvante. Les chercheurs ont observé le système pendant qu'il apprenait, cherchant le moment où un changement interne spécifique commençait à prédire de manière fiable un résultat futur précis, tel que le visionnage prolongé d'une vidéo par un utilisateur. Ils ont découvert que ces organisations n'apparaissaient pas instantanément. Elles naissaient lorsque le système apprenait à distinguer deux résultats différents qu'il traitait auparavant comme étant les mêmes. Avant ce moment, les changements internes du système étaient interchangeables ; après cela, une modification interne spécifique devenait nécessaire pour atteindre un objectif précis. C'était la naissance d'une organisation, définie non par sa forme, mais par sa capacité unique à orienter le futur.

Une fois nées, ces organisations faisaient preuve d'une résilience remarquable. Lorsque le système continuait de recevoir le même type de retour, l'organisation persistait, tenant bon. Mais quand le retour changeait, l'organisation ne disparaissait pas simplement ; elle se réorganisait. Elle modifiait sa structure interne pour correspondre à la nouvelle réalité, inversant parfois son comportement pour s'adapter aux nouvelles règles. La preuve la plus frappante vint lorsque les chercheurs décidèrent de tuer une organisation. Ils supprimèrent le feedback spécifique sur lequel l'organisation comptait, coupant ainsi sa ligne de vie. Dans de nombreux cas, l'organisation mourait immédiatement, perdant sa capacité à influencer le résultat. Cependant, les parties physiques de la machine qui portaient autrefois cette organisation ne disparaissaient pas. Dans certains cas, le « porteur » restait actif et devenait même plus fort, même s'il avait perdu son objectif originel. C'était comme si un outil restait dans une boîte à outils longtemps après avoir cessé d'être utilisé pour sa tâche prévue. Cela prouvait que l'organisation et la matière physique qui la détenait étaient deux choses différentes. L'organisation pouvait mourir tandis que le porteur survivait, et inversement, le porteur pouvait exister sans l'organisation.

L'étude a ensuite testé si ces organisations pouvaient être déplacées. Les chercheurs ont pris une organisation fonctionnelle d'une machine et ont tenté de la transplanter dans une autre machine qui ne l'avait jamais vue auparavant. Lorsque les deux machines étaient entraînées sur le même type de tâche et le même type de résultat, la transplantation fonctionnait. La machine receveuse acquérait instantanément la capacité de produire le même résultat futur spécifique, même si ses composants internes étaient totalement différents de ceux du donneur. Cela montrait que l'identité de l'organisation n'était pas liée à un ensemble de coordonnées spécifiques ou à un design de machine particulier. Elle était liée à la relation entre l'action interne et le résultat externe. Cependant, cette identité avait une limite stricte. Lorsque les chercheurs tentèrent de transplanter une organisation dans une machine entraînée sur un type de résultat complètement différent — où les règles du jeu étaient fondamentalement incompatibles — la transplantation échoua. Même si les composants internes de la machine receveuse étaient presque identiques à ceux du donneur, l'organisation ne pouvait pas prendre racine. L'organisation n'était pas un objet universel ; elle était une créature de son contexte spécifique.

Enfin, les chercheurs ont exploré la dynamique de ce cycle de vie. Ils ont découvert que la naissance d'une organisation dépendait de la capacité du système à recruter ses parties internes pour servir un but spécifique. Si le système n'était pas soutenu par le bon type de feedback, l'organisation ne se formait pas, ou elle se dissolvait. L'étude a montré que ces transitions n'étaient pas aléatoires. Elles suivaient un schéma où le système soit recrutait de nouvelles parties pour maintenir une distinction entre les résultats, soit laissait ces distinctions fusionner à nouveau lorsqu'on retirait la pression visant à les maintenir séparées. Les chercheurs étaient capables de prédire ces transitions dans certains cas, mais ils ont souligné qu'il ne s'agissait pas d'une loi universelle applicable à chaque machine dans chaque situation. Les règles dépendaient de la manière spécifique dont la machine apprenait et de la nature spécifique du feedback reçu.

Les implications de ce travail sont profondes pour notre compréhension des systèmes d'apprentissage. Elles suggèrent que nous devrions cesser de chercher le « siège » d'une compétence ou d'une règle à l'intérieur d'une machine pour commencer à chercher la relation fonctionnelle qui la définit. Une organisation n'est pas un objet statique situé à un endroit précis ; c'est un processus dynamique qui n'existe que tant qu'il est soutenu par les bonnes conséquences. Elle peut naître, elle peut changer, et elle peut mourir, ne laissant derrière elle que la coquille physique qui l'a jadis portée. Cette vision change notre façon de penser l'intelligence artificielle. Cela signifie que l'identité d'un comportement appris n'est pas fixée dans le code ou les poids de la machine. C'est une chose fragile et vivante qui dépend entièrement de l'environnement dans lequel elle opère. Si l'environnement change, l'organisation change. Si l'environnement disparaît, l'organisation meurt, même si la machine elle-même reste intacte.

L'étude ne prétendait pas avoir trouvé une théorie universelle expliquant chaque système d'apprentissage. Elle ne suggérait pas que toutes les machines se comportent de la même manière, ni que nous pouvons désormais prédire parfaitement le cycle de vie de toute organisation dans n'importe quel système. Au contraire, elle a fourni un moyen clair et mesurable de suivre ces organisations dans les systèmes spécifiques testés. Elle a montré que nous pouvons identifier quand elles naissent, quand elles meurent et quand elles peuvent être déplacées. Elle a prouvé que l'identité d'un comportement appris est relative aux conséquences qu'il produit, et non aux parties physiques qui le détiennent. C'est une étape significative dans la compréhension de la vie intérieure des machines apprenantes, nous faisant passer d'une vision statique de la structure à une vision dynamique de la fonction. Les chercheurs ont montré que la vie d'une organisation est un phénomène réel et observable, un phénomène qui peut être étudié, manipulé et compris, même si elle est aussi éphémère et dépendante de son contexte qu'une flamme dans le vent.