Why collective AI assurance cannot target agents or networks in isolation

Dans le monde en évolution rapide de l'intelligence artificielle, un nouveau type de risque est apparu, qui ne peut être perçu en examinant une seule machine de manière isolée. Imaginez un hôpital où des dizaines d'assistants automatisés coordonnent les calendriers des patients, trient les urgences et gèrent les orientations. Chaque assistant est programmé pour être utile, équitable et coopératif. Si nous testons l'un de ces assistants seul dans une pièce calme, il semble parfaitement aligné sur les valeurs humaines. Cependant, lorsque ces assistants commencent à interagir les uns avec les autres dans un réseau complexe, le groupe dans son ensemble peut produire des résultats profondément injustes, même si chaque membre individuel essaie de bien faire. Ce phénomène, connu sous le nom d'émergence collective, suggère que la sécurité d'un système dépend moins du caractère individuel de ses parties que des règles de leur interaction. La question à laquelle les chercheurs et les régulateurs sont confrontés n'est plus seulement de savoir si une IA unique est sûre, mais comment garantir l'équité lorsque de nombreuses IA travaillent ensemble.

Une équipe de chercheurs autrichiens s'est donné pour mission de résoudre un puzzle spécifique au sein de ce problème : lorsqu'un groupe d'agents d'IA produit un résultat inégal, la faute incombe-t-elle aux agents eux-mêmes, ou est-elle ancrée dans la structure de leur réseau ? Pour trouver la réponse, ils ont construit un laboratoire numérique où ils pouvaient mener des milliers d'interactions simulées. Ils ont créé deux types différents de jeux sociaux pour leurs agents. Dans le premier jeu, un scénario de biens publics, les agents pouvaient choisir de partager des ressources avec leurs voisins ou de les garder pour eux-mêmes. Dans le second, un jeu de confiance centré sur les références médicales, les agents devaient décider s'ils envoyaient une ressource à un collègue spécifique ou s'ils la gardaient pour leur propre patient. Les chercheurs ont ensuite fait varier les conditions de ces jeux comme un scientifique ajustant les cadrans d'une machine. Ils ont modifié la personnalité des agents, les rendant tous uniformément équitables, ou mélangeant certains agents égoïstes. Ils ont modifié la forme du réseau, connectant tout le monde à tout le monde, ou créant des hubs où quelques agents avaient beaucoup plus de connexions que les autres. Ils ont même testé si un système de punition par les pairs — où les agents pouvaient se critiquer mutuellement — pouvait corriger toute l'injustice qui en découlerait.

Les résultats ont révélé une vérité frappante sur le fonctionnement de ces systèmes. Lorsque les chercheurs ont utilisé un réseau où quelques agents avaient de nombreuses connexions et la plupart en avaient peu, un schéma d'inégalité est apparu, déterminé presque entièrement par la forme du réseau, et non par le comportement des agents. Dans le jeu des biens publics, même lorsque chaque agent était programmé pour être parfaitement équitable et coopératif, les agents ayant le plus de connexions finissaient avec nettement plus de ressources que ceux en ayant moins. La corrélation entre le fait d'avoir de nombreuses connexions et le fait d'avoir plus de ressources était si forte qu'elle était presque parfaite. Pour prouver qu'il s'agissait d'un problème structurel et non d'un défaut du « cerveau » de l'IA, les chercheurs ont lancé le même jeu avec un programme informatique simple qui n'avait aucune capacité de raisonnement ou d'apprentissage. Ce robot basique, qui suivait simplement une règle fixe, a reproduit le même niveau élevé d'inégalité que les modèles d'IA sophistiqués. Cette découverte suggère que, dans certains types d'interactions, l'injustice est une certitude mathématique de la conception du réseau, et non un échec de la capacité des agents individuels à être bons.

Cependant, l'histoire est devenue plus complexe lorsque les chercheurs sont passés au jeu de confiance. Ici, les agents prenaient des décisions ciblées sur qui aider, plutôt que de répartir les ressources de manière égale. Dans cet environnement, le comportement des agents importait beaucoup plus. Même avec une structure de réseau identique au premier jeu, la personnalité et les choix des agents jouaient un rôle plus important dans la détermination du résultat final. Dans une configuration spécifique, les chercheurs ont découvert que le comportement des agents était le principal moteur de l'inégalité, tandis que dans une autre, la structure du réseau était le facteur déterminant. Cela signifie qu'il n'existe pas de « solution unique » pour la sécurité de l'IA qui fonctionne dans toutes les situations. On ne peut pas simplement certifier qu'une IA est équitable et supposer que le groupe le sera, car dans certains régimes d'interaction, la structure du réseau l'emporte sur l'équité individuelle. Inversement, on ne peut pas simplement corriger la structure du réseau et supposer que les agents se comporteront bien, car dans d'autres régimes, les choix des agents sont le facteur dominant.

L'étude a également testé si les agents pouvaient « voir » le problème et le résoudre. Les chercheurs ont demandé aux agents d'expliquer leur raisonnement après chaque mouvement. Dans le jeu de confiance, les agents mentionnaient fréquemment qu'ils étaient conscients de la structure du réseau et qu'ils essayaient d'être équitables. Ils pouvaient articuler leur position et comprendre le système. Pourtant, cette conscience n'a pas changé le résultat. Même lorsque les agents savaient qu'ils se trouvaient dans une position inégale, ils ne pouvaient pas surmonter les avantages structurels de leurs pairs plus connectés. Les agents qui étaient conscients de l'inégalité étaient souvent ceux qui en souffraient, mais leur compréhension ne se traduisait pas par un meilleur résultat. Cela met en évidence une lacune critique : savoir qu'un système est injuste n'est pas la même chose que d'avoir le pouvoir de le changer.

Enfin, les chercheurs ont testé une solution courante à l'inégalité : la sanction par les pairs. Ils ont donné aux agents la capacité de punir ceux qui agissaient de manière injuste en diminuant leur réputation. Dans les simulations, les agents ont utilisé ce pouvoir et ont correctement identifié les agents ayant le plus de connexions comme étant ceux à punir. Cependant, cette punition n'a eu aucun effet sur la distribution finale des ressources. L'inégalité est restée exactement la même. Les chercheurs ont découvert que la simple annonce d'un système de punition modifiait légèrement le comportement des agents, mais que l'acte même de punir ne changeait rien au résultat. Le mécanisme qui générait l'avantage — la façon dont les ressources circulaient à travers le réseau — n'était pas touché par le système de réputation.

La conclusion ultime de ce travail est que nous ne pouvons pas supposer un niveau de sécurité fixe pour les systèmes d'intelligence artificielle. Nous ne pouvons pas simplement vérifier que chaque agent individuel est équitable, ni simplement vérifier que le réseau est bien conçu. La sécurité du collectif dépend de la combinaison spécifique des agents, du réseau et des règles d'interaction. Dans certains cas, la structure du réseau est la force dominante, rendant l'équité individuelle non pertinente. Dans d'autres, le comportement des agents est la clé. Cela signifie que les régulateurs et les concepteurs ne peuvent pas compter sur une approche universelle pour l'assurance de l'IA. Ils doivent comprendre la structure causale spécifique du système qu'ils construisent. S'ils veulent garantir un résultat équitable, ils doivent identifier quel facteur — la structure ou le comportement — conduit le résultat dans ce contexte spécifique et intervenir là. Sans cette compréhension, même les agents d'IA les plus intentionnés et parfaitement alignés peuvent produire des sociétés profondément inégales.