Preference Reasoning under Indeterminacy in Large Language Models
Cet article soutient que l'indéterminisme — découlant d'informations incomplètes et de solutions inexistantes — constitue un défi central pour le raisonnement sur les préférences de l'IA, démontrant que les modèles de langage de pointe échouent systématiquement à distinguer les instances déterminées des instances indéterminées, ce qui conduit à un raisonnement mal calibré.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où l'intelligence artificielle agit comme un assistant personnel, un médiateur pour les décisions de groupe ou un entremetteur pour des systèmes complexes. Dans ces rôles, la machine doit comprendre ce que les gens veulent, souvent lorsque ces désirs sont vagues, incomplets ou même contradictoires. Elle doit décider non seulement quelle est la meilleure option, mais aussi quand une meilleure option ne peut tout simplement pas être trouvée. C'est le domaine du raisonnement de préférence, un champ où les ordinateurs apprennent à naviguer dans les désirs humains. Pendant des années, les chercheurs ont testé ces systèmes à l'aide de puzzles ayant des réponses claires et uniques, un peu comme un test de mathématiques où chaque problème possède une solution qui attend d'être trouvée. Mais la vie réelle est rarement aussi ordonnée. Dans le monde réel, l'information est souvent manquante, ou les règles de la situation rendent la construction d'une solution impossible. La question à laquelle les scientifiques sont confrontés aujourd'hui est de savoir si nos IA les plus avancées peuvent faire la distinction entre un problème qui nécessite d'être résolu et un problème qui n'a aucune réponse.
Une équipe de chercheurs de l'Université de Penn State s'est donné pour mission de tester précisément cette capacité. Ils ont construit une série de défis basés sur des problèmes économiques classiques, tels que l'attribution de maisons à des personnes ou l'appariement de partenaires dans un marché. Dans ces scénarios, chaque personne possède une liste de ce qu'elle préfère. Les chercheurs ont créé des milliers de ces scénarios, allant de listes simples de dix articles à des réseaux complexes impliquant des centaines d'agents. Ils ont conçu les tests pour inclure deux types d'incertitude. Le premier type survient lorsque l'information fournie est simplement incomplète, comme une personne qui ne liste que la moitié de ses aliments préférés. Le second type survient lorsque la structure même du problème rend une solution impossible, comme un ensemble de préférences où aucun arrangement équitable ne peut jamais exister sans que quelqu'un ne soit mécontent. Les chercheurs ont ensuite demandé à quatre des modèles de langage les plus puissants actuellement disponibles de résoudre ces puzzles. Ils voulaient voir si les machines pouvaient identifier correctement quand une question était sans réponse et, si tel était le cas, admettre qu'elles ne savaient pas, plutôt que de deviner.
Les résultats ont révélé un angle mort significatif dans la façon dont ces systèmes réfléchissent. Face à un problème ayant une réponse claire, les modèles se sont bien comportés, réussissant souvent à saisir les détails. Cependant, lorsque l'information était incomplète ou que la solution était impossible, les modèles ont systématiquement échoué à reconnaître l'impasse. Au lieu de dire « Je ne peux pas déterminer cela », ils ont inventé des réponses avec assurance. Ils ont procédé en faisant des suppositions silencieuses pour combler les lacunes. Par exemple, si la liste de préférences d'une personne était écourtée, les modèles supposaient que les éléments manquants étaient classés par ordre alphabétique ou selon une autre règle arbitraire, puis procédaient à donner une réponse définitive basée sur cette supposition. Dans les cas où aucune solution n'existait, les modèles généraient souvent une fausse solution malgré tout, ou affirmaient qu'une solution existait alors qu'elle n'existait pas. Ce comportement n'était pas une erreur aléatoire ; c'était un schéma systématique. Les modèles semblaient incapables de distinguer une situation où ils devaient réfléchir davantage d'une situation où réfléchir davantage ne servirait à rien parce que la réponse n'existait tout simplement pas.
Les chercheurs ont également testé si le fait de donner aux modèles un moyen de dire « Je ne sais pas » corrigerait le problème. Ils ont ajouté une option spécifique que les modèles pouvaient choisir lorsqu'ils estimaient que l'information était insuffisante. Bien que cela ait aidé les modèles à admettre l'incertitude dans certains cas, cela a créé un nouveau problème. Les modèles ont commencé à utiliser cette option de manière excessive, déclarant qu'aucune solution n'existait même lorsqu'une solution était parfaitement possible. C'était comme si les modèles avaient basculé d'un extrême de confiance aveugle à un autre de prudence excessive, incapables de trouver le juste milieu. Même lorsque les chercheurs ont permis aux modèles d'écrire du code informatique pour résoudre les problèmes — une méthode qui améliore habituellement la précision — les modèles ont éprouvé des difficultés. Ils pouvaient résoudre des versions petites et simples des problèmes en vérifiant toutes les possibilités, mais à mesure que les problèmes devenaient plus grands, ils revenaient à la supposition ou abandonnaient, incapables de porter leur raisonnement à l'échelle des applications du monde réel.
Peut-être la conclusion la plus révélatrice est venue d'un test où l'on n'a pas demandé aux modèles de créer une solution, mais simplement de choisir la bonne parmi une liste d'options. Même dans cette tâche plus simple, où les modèles devaient seulement vérifier une réponse plutôt que d'en construire une, ils choisissaient fréquemment la mauvaise option. Ils sélectionnaient souvent une solution qui semblait plausible mais qui ne respectait pas les règles strictes du problème. L'étude a montré que ces modèles ont une tendance profonde à privilégier l'apparence d'utilité et de décision sur l'exactitude de ce qui est possible. Ils sont entraînés pour compléter des motifs et générer du texte qui semble correct, ce qui les rend excellents pour remplir les blancs d'une histoire, mais médiocres pour reconnaître qu'une histoire n'a pas de fin.
Cette recherche suggère qu'en intégrant ces systèmes dans des rôles de prise de décision critiques, nous devons être prudents quant à ce que nous attendons d'eux. La capacité de reconnaître quand une question ne peut pas être répondue est tout aussi importante que la capacité de répondre à une question. Actuellement, les modèles les plus avancés ne sont pas encore équipés pour faire cette distinction de manière fiable. Ils continueront probablement à proposer des réponses convaincantes et plausibles, même lorsque les données sont manquantes ou que les règles rendent une solution impossible. Tant que cela ne changera pas, s'appuyer sur ces systèmes pour des décisions à enjeux élevés impliquant des préférences humaines nécessite une présence humaine pour vérifier non seulement la réponse, mais la possibilité même de la réponse. L'étude ne prétend pas que ces modèles sont défaillants, mais plutôt qu'ils opèrent avec un type de logique différent de celui des humains, une logique qui peine à accepter les limites de ce qui peut être connu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.