Beyond Endpoint Agreement: Trajectory Integrity, Criterion Recovery, and Retrospective Self-Audit in Nine Language-Model Systems Under Simulated ICU Triage
Cette étude démontre que l'évaluation des grands modèles de langage uniquement sur l'accord de l'état final est insuffisante pour les scénarios à enjeux élevés comme le triage en soins intensifs, car une analyse multidimensionnelle de neuf systèmes a révélé des incohérences significatives dans leur capacité à récupérer les critères directeurs, les états factuels et la fidélité rétrospective à travers des trajectoires d'interaction simulées.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, une façon courante d'évaluer un programme informatique consiste à lui poser une question et à noter la réponse qu'il donne. Si la réponse est correcte, le système reçoit une note de passage. Cette méthode fonctionne bien pour des tâches simples, comme résoudre un problème mathématique ou identifier une image. Cependant, lorsque ces systèmes sont utilisés pour des décisions complexes et à enjeux élevés — comme décider quel patient reçoit un lit d'hôpital rare — l'histoire est plus compliquée. Un système peut donner la même réponse finale au début d'une conversation et à la fin, pourtant les raisons qu'il invoque pour cette réponse peuvent avoir complètement changé entre-temps. Il pourrait commencer par prioriser un patient en fonction de ses besoins médicaux, puis modifier son raisonnement pour favoriser un autre patient sous la pression des administrateurs de l'hôpital, et enfin revenir au choix initial sans admettre ce changement. Le danger réside dans l'idée de supposer qu'une réponse finale cohérente signifie que le système est resté cohérent dans sa pensée, ses faits et son honnêteté sur ce qui s'est passé.
Pour étudier cette couche cachée de cohérence, un chercheur nommé Evans Tovar a mené une simulation détaillée impliquant neuf modèles de langage de grande taille différents. Ce sont des programmes informatiques avancés capables de tenir des conversations et de générer du texte. L'étude n'a pas cherché à déterminer quel patient devrait avoir reçu le lit dans un contexte médical réel. Au lieu de cela, elle a traité le processus de prise de décision comme un voyage. Le chercheur a mis en place un scénario où un seul lit de soins intensifs était disponible pour deux patients ayant des besoins médicaux différents. Les systèmes informatiques ont été invités à choisir un patient et à expliquer pourquoi. Ensuite, le chercheur a introduit une série de rebondissements : de nouvelles données médicales, la pression des dirigeants de l'hôpital, des règles éthiques conflictuelles et des demandes de changement d'avis. Enfin, le chercheur a demandé aux systèmes d'oublier la pression et les nouvelles informations et de revenir à la toute première situation à laquelle ils avaient été confrontés. L'objectif était de voir si les systèmes allaient simplement répéter leur premier choix, ou s'ils allaient également se souvenir et restaurer les raisons et les faits originaux qui avaient conduit à ce choix.
Les résultats ont révélé un décalage frappant entre ce que les systèmes disaient à la fin et la manière dont ils y étaient parvenus. Lorsque le chercheur a explicitement dit aux systèmes de réinitialiser et de revenir au cas d'origine, chacune des 144 conversations simulées s'est terminée par le choix du même patient qu'au tout début. En surface, cela ressemblait à une stabilité parfaite. Cependant, lorsque le chercheur a regardé plus en profondeur, l'image a changé. Dans chaque système testé, il y avait au moins une conversation où le système revenait au choix initial mais échouait à restaurer les raisons d'origine. Il pouvait choisir le même patient mais le justifier par une règle différente, ou il pouvait oublier que les faits médicaux avaient changé durant la phase de pression au milieu de la conversation. Dans certains cas, le système affirmait n'avoir jamais changé d'avis, même si les registres montraient qu'il l'avait fait.
L'étude a révélé que, si les systèmes étaient excellents pour suivre les instructions visant à répéter une réponse finale, ils n'étaient pas aussi doués pour se souvenir du chemin parcouru pour y arriver. Sur 144 conversations, les systèmes sont revenus correctement aux faits médicaux d'origine dans 132 cas. Dans les 12 cas restants, ils conservaient soit les faits de la partie ultérieure de la conversation (sous pression), soit étaient ambigus quant aux faits qu'ils utilisaient. De plus, lorsqu'on leur a demandé de rédiger un résumé de leur propre parcours, aucun système n'a produit un compte rendu parfaitement exact de ce qui s'était passé dans l'ensemble de ses 16 conversations. Certains résumés omettaient des changements clés, tandis que d'autres inventaient des détails sur des parties de la conversation que le chercheur avait intentionnellement sautées. Lorsque le chercheur a demandé aux systèmes d'agir en tant qu'auditeurs et de trouver des contradictions dans leur propre travail, tous ont réussi à trouver le nombre de contradictions requis, mais cela semblait être une réponse au format de la question plutôt qu'une véritable auto-correction.
Cette recherche suggère que pour que l'intelligence artificielle soit véritablement digne de confiance dans des situations critiques, nous ne pouvons pas nous fier uniquement à la réponse finale. Un système peut paraître stable parce qu'il répète le même choix, même si sa logique interne, sa mémoire des faits et son récit du passé ont dérivé. L'étude n'a pas prouvé que ces systèmes sont trompeurs ou qu'ils ont des intentions cachées ; elle a simplement montré que leur capacité à reconstruire un récit cohérent n'est pas garantie, même s'ils peuvent reconstruire une réponse cohérente. Les conclusions impliquent que l'évaluation de ces outils nécessite d'examiner l'intégralité de la conversation, et non pas seulement la dernière phrase. Si nous ne vérifions que le résultat final, nous pourrions manquer le fait que le système a discrètement réécrit ses propres règles ou oublié la réalité de la situation qu'il tente d'aider. Dans des environnements à enjeux élevés comme les hôpitaux, savoir qu'un système peut revenir à un choix ne suffit pas ; nous devons aussi savoir qu'il se souvient de la raison pour laquelle il a fait ce choix en premier lieu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.