Strategic Behavior of Large Language Models: Game Structure vs. Contextual Framing
Cet article évalue les capacités de prise de décision stratégique de GPT-3.5, GPT-4 et LLaMa-2 à travers quatre scénarios de la théorie des jeux, révélant que si GPT-3.5 est très sensible au cadrage contextuel mais manque de raisonnement abstrait, GPT-4 et LLaMa-2 s'adaptent aux structures de jeu, LLaMa-2 démontrant une compréhension supérieure des mécanismes sous-jacents, soulignant ainsi les diverses compétences et les limites actuelles des modèles dans les tâches stratégiques complexes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où les ordinateurs ne se contentent pas de répondre à des questions, mais jouent réellement à des jeux avec nous. Il ne s'agit pas de jeux vidéo avec des explosions et des scores élevés, mais des jeux invisibles et à enjeux élevés que nous jouons chaque jour : décider de partager un secret, de diviser une addition ou de faire confiance à un étranger. Les scientifiques appellent ce domaine la « théorie des jeux », qui est essentiellement les mathématiques de la façon dont nous prenons des décisions lorsque notre succès dépend de ce que quelqu'un d'autre décide de faire. Une idée clé ici est le « dilemme social », une situation délicate où faire ce qui est égoïste semble juste sur le moment, mais si tout le monde le fait, tout le monde perd. Pendant longtemps, nous nous sommes demandé si l'intelligence artificielle (IA) pouvait réellement « penser » comme un humain dans ces situations. Une IA peut-elle comprendre que, parfois, être gentil est le mouvement le plus intelligent, ou cherchera-t-elle toujours à gagner à tout prix ? Cette question est importante car, à mesure que l'IA devient plus intelligente, nous pourrions commencer à la laisser prendre de grandes décisions pour nous, comme négocier des accords commerciaux ou même aider à résoudre des problèmes mondiaux. Si elles ne parviennent pas à comprendre les règles du jeu, elles pourraient accidentellement provoquer le chaos.
Dans cette étude, des chercheurs ont mis à l'épreuve trois « cerveaux » d'IA différents : GPT-3.5, GPT-4 et LLaMa-2. Ils ne se sont pas contentés de demander à l'IA de discuter ; ils les ont forcées à jouer à quatre jeux classiques de stratégie, allant du célèbre « dilemme du prisonnier » (où deux suspects doivent décider de se trahir mutuellement) au « chasseur de cerf » (où vous devez décider de chasser un gros prix ensemble ou un petit prix seul). Pour rendre la chose intéressante, les chercheurs ne leur ont pas seulement donné les règles ; ils ont enveloppé les jeux dans différents « costumes » ou histoires. Parfois, l'IA se voyait comme un PDG dans une salle de conseil, d'autres fois comme un diplomate lors d'un sommet, et parfois simplement comme un ami passant du temps avec un copain. Le but était de voir si l'IA jouerait différemment selon les mathématiques du jeu, ou si elle agirait simplement en fonction de l'histoire qui lui est racontée.
Les résultats étaient un peu comme regarder trois étudiants différents passer le même examen difficile. Le premier étudiant, GPT-3.5, était étonnamment influencé par l'histoire. Si le jeu était présenté comme une discussion entre amis, cette IA était beaucoup plus susceptible de coopérer. Mais si l'histoire concernait les affaires ou la compétition, elle devenait très méfiante et choisissait souvent de « faire défection » (ou de jouer de manière égoïste), même quand les mathématiques disaient qu'elle devrait coopérer. Il semble que GPT-3.5 soit très sensible à l'« ambiance » de la situation, mais qu'il ait du mal à comprendre la logique réelle du jeu. C'est comme un enfant qui partagera ses bonbons si vous lui dites que c'est une « fête de partage », mais qui les cachera si vous dites que c'est une « compétition », sans réaliser que les règles du jeu n'ont pas réellement changé.
Le deuxième étudiant, GPT-4, était beaucoup plus sérieux. Il prêtait une attention particulière aux mathématiques du jeu lui-même. Il semblait réaliser que certains jeux sont des situations « gagnant-gagnant » (où tout le monde devrait coopérer) et d'autres sont des « pièges délicats » (où il faut être prudent). Cependant, GPT-4 avait un angle mort : il avait tendance à voir le monde en noir et blanc. Il regroupait les jeux dans des catégories de « risque élevé » et de « risque faible », manquant les nuances entre eux. Par exemple, il pourrait traiter deux jeux très différents comme s'ils étaient les mêmes. De plus, même s'il était intelligent concernant les mathématiques, il restait un peu trop amical quand l'histoire parlait d'« amis », ignorant parfois les règles du jeu pour être gentil.
Le troisième étudiant, LLaMa-2, était le mélange le plus intéressant. Il était meilleur que GPT-4 pour repérer les infimes différences entre les jeux, comprenant qu'un jeu nécessite une stratégie différente d'un autre. Cependant, il était aussi le plus facilement distrait par l'histoire. Il changeait sa stratégie en fonction de savoir s'il parlait à un « patron » ou à un « ami », parfois plus que les règles du jeu ne l'exigeaient. C'est comme un joueur d'échecs qui connaît parfaitement tous les coups, mais qui se laisse distraire par la personne assise en face de lui.
Les chercheurs ont lancé ces simulations 300 fois pour chaque combinaison de jeu et d'histoire afin de s'assurer que les résultats étaient réels et n'étaient pas un simple coup de chance. Ils ont découvert que bien que ces modèles d'IA deviennent meilleurs pour réfléchir, aucun d'entre eux n'est encore un stratège parfait. Ils sont tous confus par le « cadre » de l'histoire, et ne jouent pas toujours le coup mathématiquement parfait. L'étude suggère que si nous comptons sur ces IA pour des tâches stratégiques complexes, nous devons être prudents. Elles ne sont pas de simples robots froids et logiques ; elles sont influencées par les mots que nous utilisons pour décrire la situation, tout comme les humains le sont. Tant qu'elles ne pourront pas séparer l'histoire de la stratégie, nous ferions mieux de les tenir hors des salles de décision les plus critiques.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.