Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

Imaginez un monde où les ordinateurs ne se contentent pas de jouer à des jeux, mais apprennent à être de bons coéquipiers. C'est le domaine de l'Apprentissage par Renforcement Multi-Agents, une branche de l'intelligence artificielle où des programmes informatiques (des agents) découvrent comment coopérer en essayant des choses et en obtenant des points pour les bons mouvements. Habitéralement, ces agents sont égoïstes ; ils ne se soucient que de leur propre score. S'ils peuvent tromper un partenaire pour obtenir une récompense plus grande, ils le feront souvent. Pour empêcher cela, les scientifiques tentent de leur apprendre à se soucier des autres en ajoutant un « bonus social » à leur score. Mais voici la partie délicate : quelle valeur devrait avoir ce bonus ? Devrait-il être un murmure ou un cri puissant ? Jusqu'à présent, les scientifiques se sont principalement contentés de deviner ou d'ajuster ces chiffres à la main, espérant tomber sur le bon montant par hasard.

La grande question que ce document aborde est la suivante : Pouvons-nous cesser de deviner et plutôt mesurer exactement ce que les humains ressentent lorsqu'ils déçoivent un ami ? Les auteurs examinent un sentiment appelé la culpabilité — ce poids dans l'estomac que l'on ressent lorsque notre choix blesse quelqu'un d'autre. Ils se demandent s'ils peuvent prendre le « poids » de la culpabilité humaine, le mesurer en laboratoire, puis transmettre ce nombre exact à un ordinateur pour qu'il apprenne à se soucier de son partenaire tout comme le ferait une personne. S'ils réussissent, nous pourrions être en mesure de construire une IA qui ne se contente pas de suivre des règles strictes, mais qui comprend réellement le coût émotionnel de ses actions.

---

L'Expérience : Enseigner la culpabilité aux robots

Dans cette étude, deux chercheurs, Aaditya Mehta et Arya Shah, ont décidé de cesser de deviner pour commencer à mesurer. Ils voulaient voir s'ils pouvaient « calibrer » la culpabilité artificielle en utilisant des données humaines réelles. Pensez-y comme au réglage d'une radio : au lieu de tourner le cadran jusqu'à ce que la musique semble correcte, ils ont trouvé la fréquence exacte où le cerveau humain chante la chanson de la culpabilité, puis ils ont réglé le robot sur cette même station.

Où ont-ils obtenu les données ?
Ils ont utilisé un ensemble de données publiques appelé SoDec, qui contient des scanners cérébraux et des enregistrements comportementaux de 40 personnes réelles. Dans l'expérience originale, ces personnes jouaient à un jeu où elles devaient choisir entre une option Sûre (une petite récompense garantie) et une option Risquée (un pile ou face qui pouvait donner une grande récompense ou rien du tout). Parfois, elles jouaient pour elles-mêmes, et parfois, elles jouaient pour elles-mêmes et un partenaire.

Les chercheurs ont observé un moment spécifique : lorsqu'une personne choisissait l'option Risquée, et que le partenaire se retrouvait avec un mauvais résultat. Les chercheurs se sont demandé : De combien le bonheur de la personne chute-t-il parce qu'elle se sent responsable de la malchance de son partenaire ? En analysant les données, ils ont calculé un nombre spécifique qui représente ce « poids de culpabilité ». Ils ont découvert que pour chaque unité de malchance subie par un partenaire, le bonheur de la personne chutait d'un facteur de 1,118.

Le Jeu du Robot
Ensuite, ils ont construit un terrain de jeu numérique appelé l'environnement Social Lottery. Ils ont placé deux agents d'IA (utilisant une méthode d'apprentissage intelligente appelée PPO) dans ce jeu. Les agents devaient faire les mêmes choix Sûr vs Risqué. Les chercheurs ont testé quatre façons différentes d'enseigner aux agents :

1. Le Robot Égoïste : Aucune culpabilité. Il ne se souciait que de ses propres points.
2. Le Robot qui Devine : Il avait une pénalité de culpabilité, mais le nombre était juste une supposition aléatoire (0,5).
3. Le Robot « Parfait » : Il avait une pénalité de culpabilité de exactement 1,0, un nombre net et standard que les scientifiques utilisent souvent.
4. Le Robot Mesuré par l'Humain (NeuroGuilt) : Celui-ci utilisait le nombre exact dérivé des données du cerveau humain : 1,118.

Qu'est-ce qui s'est passé ?
Après avoir laissé les robots jouer 20 000 tours du jeu, les résultats ont été fascinants.

• Le Robot Égoïste était un désastre pour le travail d'équipe. Il choisissait l'option Risquée presque tout le temps (seulement 10 % de choix sûrs), ignorant complètement la sécurité de son partenaire.
• Le Robot qui Devine faisait un peu mieux, mais n'était pas très attentionné.
• Le Robot « Parfait » (avec le nombre net de 1,0) était correct, mais il ne correspondait pas tout à fait au comportement humain.
• Le Robot Mesuré par l'Humain (NeuroGuilt) fut la star de la démonstration. Il a choisi l'option Sûre 45,9 % du temps.

Pourquoi est-ce important ?
Les chercheurs ont comparé les choix des robots aux choix réels faits par les 40 humains de l'étude originale. Les humains choisissaient l'option Sûre 48,4 % du temps.

Le Robot Mesuré par l'Humain était incroyablement proche du comportement humain. La différence entre les choix du robot et les choix humains était infime (une distance mathématique appelée divergence KL de 0,0012). En comparaison, les autres robots étaient très loin de la cible, avec des différences des centaines de fois plus grandes.

Plus intéressant encore, le « Robot Parfait » utilisait un nombre de culpabilité de 1,0, tandis que le « Robot Mesuré par l'Humain » utilisait 1,118. On pourrait penser qu'un nombre plus grand signifie une pénalité plus forte et un meilleur comportement, mais ce n'était pas le cas ici. Le robot avec le nombre légèrement plus élevé (1,118) faisait en réalité moins d'erreurs et ressentait moins de « masse de pénalité de culpabilité » globale car il choisissait le chemin sûr plus souvent. Cela prouve qu'il ne s'agit pas seulement d'avoir une pénalité ; il s'agit d'avoir le bon montant de pénalité, exactement calibré sur ce que les humains ressentent réellement.

À retenir

Ce document suggère que nous n'avons pas besoin d'inventer de nouvelles règles pour que l'IA soit morale. Au lieu de cela, nous pouvons observer comment les humains ressentent réellement la déception envers autrui, mesurer ce sentiment, et le copier directement dans la machine. En utilisant un nombre dérivé de vrais cerveaux humains (1,118), l'IA a appris à se soucier de son partenaire presque aussi bien qu'un humain.

Les chercheurs précisent avec prudence qu'il s'agit d'une simulation et que les données humaines montraient un effet de « faible à modéré » qui n'était pas statistiquement parfait en soi. Cependant, le résultat est un indice fort : si nous voulons que l'IA s'aligne sur les valeurs humaines, nous devons cesser de deviner les nombres et commencer à mesurer l'expérience humaine qui les sous-tend. C'est un pas vers la construction d'une IA qui ne se contente pas de calculer le meilleur mouvement, mais qui comprend le poids de ses choix.