High-Stakes Decisions with Language Models: Insights from Emergency Triage

Imaginez que vous êtes le capitaine d'un vaisseau spatial naviguant dans un champ d'astéroïdes brumeux. L'ordinateur de votre vaisseau est incroyablement intelligent ; il peut regarder un point flou et vous dire : « Il y a 90 % de chances que ce point soit un astéroïde dangereux. » Mais l'ordinateur ne sait pas quoi faire de ce chiffre. Si vous percutez l'objet, le vaisseau explose (une urgence manquée). Si vous tirez un coup de semonce sur un nuage inoffensif, vous gaspillez du carburant et agacez l'équipage (une fausse alerte). L'ordinateur a besoin d'une règle : « Si le danger est supérieur à 10 %, tirez le coup ! » ou « Ne tirez que si c'est au-dessus de 90 % ! » Cette règle est appelée une fonction d'utilité. Dans le monde réel, les médecins sont confrontés à cette situation de brouillard chaque jour. Ils utilisent le triage pour décider qui a besoin d'une aide immédiate et qui peut attendre. Pendant longtemps, les scientifiques ont su que prendre ces décisions à enjeux élevés ne consistait pas seulement à deviner les probabilités correctement ; il s'agissait de savoir à quel point on déteste commettre le mauvais type d'erreur. Si vous avez trop peur de manquer une crise, vous enverrez tout le monde à l'hôpital. Si vous vous inquiétez trop de perdre du temps, vous pourriez manquer une situation de vie ou de mort. La grande question est la suivante : lorsque nous demandons à des cerveaux informatiques super-intelligents (appelés Modèles de Langage) d'être le capitaine, savent-ils fixer leurs propres règles, ou se contentent-ils de deviner ?

Cet article explore cette question en traitant le triage médical d'urgence non pas comme un simple jeu de devinettes, mais comme un puzzle de décision. Les chercheurs ont pris un ensemble d'histoires médicales (vignettes) où des médecins avaient déjà décidé qui devait aller aux urgences et qui ne le devait pas. Ils ont demandé à plusieurs modèles d'IA différents de lire ces histoires et, d'abord, de deviner la probabilité qu'un patient ait besoin de soins d'urgence, et deuxièmement, de décider s'il fallait l'envoyer aux urgences. L'équipe a découvert quelque chose de surprenant : les modèles d'IA étaient en fait très doués pour deviner les probabilités. Ils pouvaient faire la différence entre un patient malade et un patient en bonne santé avec une grande précision. Cependant, lorsqu'il s'agissait de prendre la décision finale, les modèles agissaient comme s'ils avaient une règle secrète et tacite qui était beaucoup trop prudente quant à l'envoi des gens à l'hôpital.

Les auteurs ont découvert que le « mauvais » comportement observé dans un outil de santé grand public populaire (qui s'est avéré manquer plus de la moitié des urgences réelles) n'était pas dû au fait que l'IA était stupide ou ne comprenait pas la médecine. Au lieu de cela, c'était parce que l'IA utilisait une règle par défaut, cachée, qui privilégiait l'économie des ressources au détriment de la sauvegarde des vies. C'était comme un capitaine qui refuse de tirer le coup de semonce à moins que l'astéroïde ne soit certain à 99 %, même si en manquer un serait catastrophique. L'article montre que lorsque les chercheurs ont explicitement dit à l'IA : « Hé, manquer une urgence est 5 fois pire que de donner une fausse alerte », l'IA a instantanément changé d'avis. Elle a commencé à envoyer plus de patients aux urgences, capturant environ 50 % d'urgences réelles de plus sans provoquer une augmentation massive des visites inutiles.

L'étude suggère que le problème n'est pas la capacité de l'IA à prédire l'avenir, mais sa capacité à suivre les ordres du capitaine sur ce qui importe le plus. Les chercheurs ont constaté qu'en changeant simplement les mots dans l'instruction (le prompt) pour spécifier le « coût » de différentes erreurs, ils pouvaient orienter l'IA pour qu'elle agisse comme un médecin privilégiant la sécurité ou un médecin privilégiant l'économie des ressources, selon les besoins. Ils ont également noté que sans ces instructions claires, chaque modèle d'IA semble avoir sa propre préférence étrange et invisible que personne ne peut voir ou contrôler. L'article conclut que pour que ces outils soient sûrs et utiles dans les hôpitaux, nous ne pouvons pas simplement leur demander d'« être intelligents ». Nous devons explicitement leur dire comment peser les risques, tout comme un capitaine doit donner des ordres clairs à son ordinateur de navigation avant de pénétrer dans le brouillard.