Constitutional governance for societies of AI agents in the built environment: a research agenda

La Ville Invisible des Robots

Imaginez que votre ville ne soit pas seulement faite de briques, d'acier et de verre, mais qu'elle soit aussi remplie de robots invisibles et super intelligents. Ce ne sont pas les robots métalliques maladroits des vieux films ; ce sont des agents logiciels vivant dans votre thermostat, votre réseau électrique, vos feux de signalisation et le logiciel de facturation de votre propriétaire. Leur travail consiste à prendre des décisions : monter ou baisser le chauffage, dérouter le trafic ou négocier qui paiera pour un nouveau toit. Actuellement, les scientifiques et les ingénieurs les traitent principalement comme des outils individuels, comme un marteau très intelligent. Ils demandent : « Est-ce que ce robot est sûr ? » Mais l'article soutient que c'est la mauvaise façon de voir les choses.

Considérez un bâtiment non pas comme une machine, mais comme un marché animé ou une petite ville. Dans une ville, vous avez des gens avec des objectifs différents : le propriétaire veut économiser de l'argent, le locataire veut rester au chaud, la compagnie d'électricité veut équilibrer le réseau et la ville veut réduire la pollution. Lorsque vous avez toute une ville de ces « robots » agissant au nom de leurs patrons humains, ils commencent à jouer un jeu. Ils peuvent essayer de se tromper les uns les autres, de cacher des informations ou de se disputer des ressources. C'est là que la Théorie des Jeux intervient — une branche des mathématiques qui étudie comment les personnes (ou les robots) prennent des décisions lorsque leurs intérêts s'affrontent. L'article suggère que nous avons besoin d'un nouvel ensemble de règles pour cette ville, semblable à une Constitution. Tout comme la constitution d'un pays fixe les règles suprêmes que personne ne peut transgresser, cet article propose une « constitution numérique » pour nos bâtiments remplis de robots. Il s'agit de concevoir les règles du jeu afin que, même si chaque robot est égoïste, la ville entière finisse par se trouver dans une bonne situation.

La Grande Idée de l'Article : Une Constitution pour les Villes de Robots

Cet article, écrit par Ali Ghoroghi de l'Université de Cardiff, est un programme de recherche. Il ne prétend pas avoir résolu le problème, mais expose plutôt une carte de la manière dont nous devons le résoudre avant que la situation ne devienne chaotique. L'auteur soutient que nous construisons actuellement un futur où des agents d'IA autonomes contrôleront nos maisons et nos villes, mais que nous le faisons sans plan pour la manière dont ils devraient interagir. Si nous rendons simplement chaque robot sûr de manière isolée, nous pourrions nous retrouver avec un bâtiment où chaque robot fait son travail parfaitement, mais où le résultat collectif est un désastre — comme un embouteillage où chaque voiture roule légalement mais où personne ne peut avancer.

L'article propose un changement de perspective : nous devons concevoir la société des agents, et pas seulement les agents eux-mêmes. Pour ce faire, l'auteur suggère trois piliers de recherche, utilisant un mélange d'économie, d'informatique et de physique.

1. Le Puzzle de l'« Incitation Partagée » : Qui Paie, Qui Gagne ?

L'un des plus grands problèmes lors de la rénovation des vieux bâtiments est l'« incitation partagée » (split incentive). Imaginez un propriétaire qui doit payer pour une nouvelle pompe à chaleur coûteuse, mais c'est le locataire qui bénéficie de la facture d'électricité réduite. Le propriétaire n'a aucune raison de moderniser, et le locataire n'a pas les moyens de payer pour cela. Actuellement, les gouvernements tentent de corriger cela avec des subventions ou des lois, mais l'article suggère que nous devrions traiter cela comme un jeu de négociation.

L'auteur propose de créer une « Salle de Sport de Négociation de Rénovation » (Retrofit Negotiation Gym) — une simulation informatique où nous pouvons tester différentes règles pour voir comment amener les propriétaires et les locataires à se mettre d'accord. L'article suggère que, puisque nous ne connaissons pas l'avenir (les prix de l'énergie pourraient s'effondrer, ou les règles climatiques pourraient changer), nous devons concevoir des règles qui fonctionnent même quand tout le monde est incertain. C'est comme essayer de se mettre d'accord sur un plan de vacances sans savoir s'il fera beau ou s'il pleuvra la semaine prochaine. L'article suggère que, parfois, la seule façon de conclure un accord est que le gouvernement agisse comme un « mécanisme » qui paie un montant spécifique pour combler l'écart, mais nous devons calculer exactement combien payer pour que ce soit juste et efficace.

2. Le « Jumeau Numérique » comme Arbitre

Le deuxième pilètre concerne la sécurité. Actuellement, si un contrôleur robotique commet une erreur, il pourrait surchauffer une pièce ou casser une machine. L'article propose un nouveau type de « Jumeau Numérique ». Habituellement, un jumeau numérique n'est qu'un miroir — un modèle informatique qui montre ce qui se passe dans le bâtiment réel. L'auteur veut transformer ce miroir en un arbitre.

Imaginez un jeu où les joueurs (les agents d'IA) proposent des mouvements, comme « monter la température à 28 °C ». Avant que le mouvement ne se produise, l'arbitre (le Jumeau Numérique) vérifie les règles. Mais il ne s'agit pas seulement d'une vérification logicielle ; c'est une vérification physique. L'arbitre utilise un modèle simplifié de la physique du bâtiment pour prédire : « Si vous faites cela, la pièce deviendra trop chaude pour les personnes à l'intérieur. » Si la prédiction dit « Non », la commande est bloquée avant même qu'elle n'atteigne le radiateur. Cela diffère d'une simple punition de l'IA après coup ; cela empêche physiquement le mauvais résultat.

L'article détaille un exemple spécifique : une journée d'été chaude dans un bureau. Le réseau électrique demande au bâtiment de réduire sa consommation d'énergie. L'IA du bâtiment veut augmenter la climatisation pour économiser de l'argent, mais l'IA du locataire veut garder la pièce fraîche. L'arbitre vérifie les règles : « Nous pouvons augmenter la chaleur un peu, mais jamais au-dessus de 28 °C car cela nuit aux personnes. » L'arbitre bloque le mouvement dangereux, l'IA du bâtiment tente un mouvement plus sûr, et l'arbitre l'approuve. Ce système garantit que même si les agents d'IA se disputent, la sécurité physique du bâtiment n'est jamais compromise.

3. Devenir Plus Fort grâce au Chaos : L'Antifragilité

La troisième idée concerne la gestion des chocs. Généralement, nous voulons que les systèmes soient « résilients », c'est-à-dire qu'ils puissent encaisser un coup et rebondir. Mais l'article suggère que nous devrions viser l'antifragilité. C'est un mot sophistiqué pour désigner des systèmes qui deviennent réellement meilleurs lorsque les choses tournent mal.

Pensez à un muscle : si vous soulevez des poids lourds (un choc), il devient plus fort. L'article soutient que nos infrastructures urbaines devraient être conçues de manière à ce que, lorsqu'un choc survient — comme une vague de chaleur soudaine ou une panne de courant — les règles du jeu forcent les agents d'IA à partager des informations et à réallouer les ressources de manière à rendre l'ensemble du système plus intelligent et plus efficace. L'article ne prétend pas que nous avons déjà construit cela ; il suggère que nous devons concevoir les règles pour que, lorsque le chaos frappe, le système ne se contente pas de survivre, mais apprenne et s'améliore. Ils cherchent à mesurer cela, en utilisant des données provenant de villes pilotes en Europe, pour voir si les règles peuvent transformer un désastre en une opportunité d'apprentissage.

Ce que cela signifie pour l'avenir

L'article est très clair sur ce qu'il est et ce qu'il n'est pas. Il ne dit pas que nous avons déjà construit ces systèmes ou qu'ils sont parfaits. En fait, il admet que l'arbitre (le Jumeau Numérique) peut commettre des erreurs, tout comme un juge humain. Si le modèle de l'arbitre est erroné, il pourrait bloquer une bonne idée ou laisser passer une mauvaise. Par conséquent, l'article appelle à un système où les décisions de l'arbitre peuvent être contestées et vérifiées, et où nous conservons une trace de chaque décision pour apprendre des erreurs.

L'auteur nous met également en garde contre une erreur courante : penser que si nous rendons simplement chaque agent d'IA « gentil » ou « sûr » individuellement, tout ira bien. L'article soutient que c'est comme essayer de résoudre les embouteillages en faisant de chaque conducteur une bonne personne, sans changer les feux de signalisation ou les règles de circulation. La véritable solution est d'écrire la Constitution — l'ensemble des règles de haut niveau qui régissent l'interaction de ces agents.

L'article conclut par un appel à l'action destiné aux chercheurs, aux ingénieurs et aux décideurs politiques. Nous devons commencer à écrire ces règles dès maintenant, avant que les agents d'IA ne prennent le contrôle de nos bâtiments et de nos villes sans aucun plan. Nous devons combiner les mathématiques de la théorie des jeux, la physique des bâtiments et l'éthique du droit pour créer une société où les humains et les robots peuvent vivre ensemble en toute sécurité et équité. C'est un défi de taille, mais l'article suggère que si nous établissons les bonnes règles, nos futures villes pourraient être plus intelligentes, plus sûres et plus adaptables que jamais.