Les êtres humains sont notoirement mauvais pour calculer les risques. Nous ne pesons pas les probabilités comme un mathématicien ; à la place, nous les ressentons. Nous avons tendance à craindre bien plus une faible chance de perte terrible qu'une grande chance de perte modérée, et nous poursuivons souvent une infime chance de gain massif même lorsque les probabilités sont contre nous. Ce n'est pas un bug dans notre logiciel ; c'est ainsi que nous sommes programmés. Depuis des décennies, les économistes et les psychologues utilisent un cadre appelé la Théorie Prospective Cumulative pour décrire ces particularités. Elle suggère que nous jugeons les résultats non pas par leur valeur absolue, mais en les comparant à un point de référence personnel, et que nous déformons la probabilité des événements, surestimant les catastrophes rares et sous-estimant les événements communs.

Pendant longtemps, le domaine de l'intelligence artificielle, et plus précisément l'apprentissage par renforcement, a ignoré ces particularités humaines. Dans ce domaine, un agent apprend à prendre des décisions en interagissant avec un environnement pour maximiser une récompense. L'approche standard suppose que l'agent est parfaitement rationnel, calculant le résultat moyen attendu de chaque chemin possible et choisissant celui qui présente le nombre le plus élevé. Cela fonctionne bien pour les machines, mais cela échoue à capturer la façon dont les humains se comportent réellement dans des situations complexes et incertaines. Lorsque nous essayons de construire une IA qui travaille aux côtés des humains ou prend des décisions pour eux, un agent purement rationnel agit souvent d'une manière qui semble froide, irrationnelle ou simplement erronée pour un observateur humain. La question que les chercheurs se posent est de savoir si nous pouvons apprendre aux machines à penser comme nous, non seulement dans leurs choix finaux, mais aussi dans leur perception du risque et de la récompense.

Une équipe de chercheurs a désormais franchi une étape significative pour répondre à cette question. Ils ont développé un nouveau cadre mathématique qui permet aux agents d'intelligence artificielle d'optimiser leur comportement en se basant sur les principes de la psychologie humaine plutôt que sur un calcul froid. Dans une série de simulations, ils ont démontré qu'en apprenant à un agent à voir le monde à travers le prisme de la Théorie Prospective Cumulative, la machine commence à exhiber les mêmes comportements de risque nuancés et parfois contradictoires que ceux des humains. Les chercheurs n'ont pas seulement proposé une théorie ; ils ont construit un algorithme pratique capable d'apprendre ces comportements et ont prouvé mathématiquement qu'il fonctionne, offrant un moyen pour l'IA de s'aligner sur les préférences humaines dans des environnements à enjeux élevés comme la finance, la santé ou la gestion du trafic.

Le cœur de leur travail est une nouvelle méthode pour enseigner à un agent comment apprendre. Dans l'apprentissage par renforcement traditionnel, l'agent tente de maximiser la somme des récompenses qu'il prévoit d'obtenir. La nouvelle méthode change l'objectif. Au lieu de demander : « Quel est le gain moyen ? », elle demande : « Comment un humain perçoit-il ce flux de récompenses ? ». Pour ce faire, l'agent doit d'abord décider de ce qui compte comme un gain et de ce qui compte comme une perte par rapport à un point de référence spécifique. Une baisse de la douleur d'un niveau sept à cinq peut être ressentie comme une victoire massive si la base du patient est de sept, mais comme une amélioration mineure si sa base est de deux. L'agent applique ensuite une transformation spéciale à ces gains et pertes, faisant en sorte que la douleur d'une perte soit ressentie plus lourdement que la joie d'un gain équivalent. Enfin, il déforme les probabilités, rendant les événements rares plus probables et les événements communs moins probables, tout comme le fait l'esprit humain.

Les chercheurs ont été confrontés à un obstacle majeur pour faire fonctionner cela. Le paysage mathématique créé par ces distorsions de type humain est incroyablement accidenté et complexe. Contraف à les collines lisses et prévisibles de l'optimisation standard, ce nouveau paysage est rempli de pics acérés et de vallées profondes, ce qui rend difficile pour un algorithme de trouver le meilleur chemin sans rester bloqué. De plus, les outils standards utilisés pour enseigner à l'IA comment améliorer ses décisions ne s'appliquaient pas ici car la fonction d'objectif de type humain ne suit pas les règles simples d'addition et de linéarité sur lesquelles reposent la plupart des algorithmes d'apprentissage. L'équipe a dû dériver un tout nouvel ensemble de règles, un « théorème de gradient de politique », qui agit comme une boussole pour l'agent. Ce nouveau théorème fournit un moyen de calculer la direction dans laquelle l'agent doit changer son comportement pour améliorer sa performance, même lorsque cette performance est mesurée selon un standard humain complexe.

Pour tester cette nouvelle boussole, les chercheurs ont mené une série d'expériences. Dans un scénario simple, ils ont placé un agent dans une situation où il devait choisir entre une petite récompense sûre et une grande récompense risquée. Un agent rationnel standard choisissait toujours l'option avec le paiement moyen le plus élevé, même si cela impliquait de jouer la montre. Un agent averse au risque, conçu pour éviter l'incertitude, évitait systématiquement le pari. Mais l'agent entraîné avec le nouveau cadre de type humain a montré quelque chose de plus intéressant. Lorsque le choix impliquait des gains potentiels, il agissait avec prudence, préférant l'option sûre. Cependant, lorsque le scénario était inversé pour impliquer des pertes potentielles, ce même agent devenait soudainement audacieux, choisissant l'option risquée pour éviter une perte certaine. Ce changement de comportement, connu sous le nom d'effet de réflexion, est une caractéristique de la prise de décision humaine que les modèles d'IA standards peinent à reproduire. Le nouvel algorithme a parfaitement capturé cette nuance, utilisant les mêmes paramètres internes pour les deux scénarios.

Les chercheurs ont également comparé leur méthode à des approches existantes qui tentaient de modéliser le risque. Ils ont constaté que les anciennes méthodes, qui reposaient sur une estimation de degré zéro (essentiellement deviner la direction de l'amélioration en essayant de petits changements et en observant le résultat), peinaient à mesure que les problèmes devenaient plus complexes. Ces méthodes devenaient inefficaces et lentes lorsque le nombre de variables augmentait. En revanche, le nouvel algorithme, qui utilise des informations de premier ordre pour calculer la direction exacte de l'amélioration, passait beaucoup mieux à l'échelle. Il restait efficace même lorsque la complexité de l'environnement augmentait, suggant qu'il pourrait être appliqué à des problèmes réels possédant de nombreux éléments mobiles, comme la gestion d'un réseau électrique ou le trading d'actions.

Les implications de ce travail dépassent les simples jeux. Les chercheurs ont illustré comment cette approche pourrait être utilisée dans des domaines critiques. En santé, par exemple, un médecin gérant la douleur chronique d'un patient pourrait devoir équilibrer le soulagement immédiat et le risque de dépendance à long terme. Une IA standard pourrait simplement minimiser le score de douleur moyen, ignorant potentiellement la peur du patient face aux symptômes de sevrage. Un agent aligné sur l'humain, cependant, pourrait accorder plus de poids à la peur d'un effet secondaire rare mais catastrophique, menant à des plans de traitement qui semblent plus sûrs et plus respectueux du patient. De même, en finance, un agent pourrait être réglé pour refléter la tolérance au risque spécifique d'un investisseur, non pas en ajustant simplement un chiffre, mais en changeant fondamentalement sa perception de la probabilité de krachs boursiers ou de gains massifs.

L'étude a également clarifié ce qui est nécessaire pour que ces agents fonctionnent. Les chercheurs ont noté que pour que l'algorithme fonctionne, les préférences humaines — à quel point une personne craint une perte ou comment elle déforme les probabilités — doivent être connues à l'avance. Celles-ci ne sont pas apprises par l'agent à partir de zéro, mais sont fournies comme faisant partie du modèle, un peu comme les règles d'un jeu. Cela permet au système d'être adapté à des individus ou des groupes spécifiques. Les chercheurs ont montré qu'en ajustant le point de référence ou la sensibilité aux pertes, le comportement de l'agent pouvait changer radicalement, prouvant que le système est assez flexible pour modéliser un large éventail d'attitudes humaines.

Bien que les résultats soient prometteurs, les chercheurs prennent soin de situer leurs conclusions dans les limites de leurs simulations. Ils ont prouvé que l'algorithme converge vers une solution stable et qu'il peut trouver des politiques optimales dans des environnements non linéaires complexes. Ils ont montré, par des simulations, qu'il surpasse les anciennes méthodes en termes de vitesse et d'évolutivité. Cependant, ils n'ont pas encore déployé ce système dans un cadre réel où des vies humaines ou des actifs financiers seraient immédiatement en danger. Le travail reste une percée théorique et computationnelle, une preuve de concept montrant que les machines peuvent apprendre à naviguer dans le paysage désordonné et irrationnel de la perception humaine du risque.

La voie à suivre consiste à affiner ces modèles et à les tester dans des scénarios réels plus diversifiés. Les chercheurs suggèrent que les travaux futurs pourraient se concentrer sur l'apprentissage direct des préférences humaines à partir des données, plutôt que de les pré-programmer, et sur l'extension de la théorie à des problèmes à horizon infini et continu. Ils voient également un potentiel dans la combinaison de cette approche avec d'autres méthodes d'apprentissage à partir du feedback humain, créant un système hybride capable de s'adapter aux changements de préférences au fil du temps. Pour l'instant, cet accomplissement constitue un pont entre deux mondes : la logique froide de l'optimisation des machines et la réalité chaleureuse, souvent contradictoire, de la prise de décision humaine. Il offre un moyen de construire une IA qui ne se contente pas de calculer le meilleur résultat, mais qui comprend ce que ce résultat signifie pour les personnes qu'elle sert.