Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

Dans le paysage de l'intelligence artificielle en pleine évolution, une nouvelle classe d'outils est apparue pour s'attaquer à un problème spécifique : comment faire choisir aux machines entre des options fixes sans rédiger de longues explications. Traditionnellement, les grands modèles de langage répondent aux questions en générant du texte mot par mot, un processus qui est flexible mais peut être lent et coûteux. Une approche plus récente, connue sous le nom de modélisation de décision, évite totalement la génération de texte. Au lieu de cela, le modèle examine une liste de réponses possibles fournies par l'utilisateur et attribue un score de probabilité à chacune d'elles, disant essentiellement : « Je suis sûr à 90 % que c'est ce choix, et à 10 % que c'est celui-là ». Cette méthode est plus rapide et moins chère, mais elle soulève une question critique pour les domaines à enjeux élevés comme la médecine : ces machines peuvent-elles savoir quand elles se trompent ? Si un modèle est confiant mais incorrect, cela pourrait conduire à des erreurs dangereuses. Le défi est de trouver un moyen pour que le système reconnaisse sa propre incertitude et transmette les cas difficiles à un expert humain ou à un ordinateur plus puissant avant qu'une erreur ne se produise.

Des chercheurs de la Faculté de médecine de l'Université d'Inje ont entrepris de tester si ces modèles de décision pouvaient identifier de manière fiable leurs propres erreurs lors d'examens de licence médicale. Ils se sont concentrés sur trois modèles différents provenant de différentes entreprises, les testant sur des centaines de questions issues des examens de médecine coréens et américains. L'objectif n'était pas seulement de voir combien de questions les machines réussissaient, mais de voir si les scores de probabilité qu'elles généraient pouvaient servir de système d'alerte. Les chercheurs se sont demandé : si un modèle affirme n'être que légèrement confiant dans une réponse, cela signifie-t-il réellement que la réponse est probablement fausse ? Et si le système est chargé de mettre de côté ses conjectures les moins certaines pour les envoyer à un modèle plus puissant et plus coûteux pour un second regard, cela améliore-t-il la précision globale sans coûter une fortune ?

Pour trouver les réponses, l'équipe a mené une série de simulations informatiques utilisant de vraies questions d'examen. Ils ont soumis des milliers de questions médicales à trois modèles de décision différents : Jev, OpenAI Decisions et Clef. Chaque modèle devait choisir la bonne réponse parmi une liste d'options et fournir un score de confiance pour son choix. Les chercheurs ont ensuite comparé ces scores avec les clés de correction officielles pour voir si une faible confiance était réellement corrélée aux erreurs. Ils ont découvert que les modèles étaient effectivement assez doués pour cette auto-évaluation. Lorsque les modèles étaient incertains, ils étaient souvent dans l'erreur. Plus précisément, les modèles identifiaient correctement la bonne réponse pour environ 83 à 92 % des questions coréennes et 85 à 88 % des questions anglaises. Plus important encore, les scores de probabilité ont réussi à signaler les erreurs. Dans les tests coréens, les scores d'incertitude des modèles ont été capables de distinguer les mauvaises réponses des bonnes avec un haut degré de fiabilité, et la même chose fut vraie pour les tests anglais.

L'étude est ensuite passée à une application pratique : un système de transfert. Les chercheurs ont simulé un scénario où les 20 % de réponses les moins confiantes de chaque modèle sont automatiquement envoyées à un modèle beaucoup plus puissant et coûteux, GPT-6.1 Sol, pour une décision finale. Les résultats ont montré que cette stratégie simple fonctionnait remarquablement bien. En transférant seulement un cinquième des réponses, le système a capturé entre 56 et 91 % des erreurs commises par les modèles initiaux. Ce processus a augmenté la précision globale du système de 6 à 9 points de pourcentage. Le coût de cette amélioration n'était qu'une fraction de ce qu'il aurait coûté de faire fonctionner le modèle puissant sur chaque question. L'approche par transfert a atteint presque la moitié, voire presque la totalité, des gains de précision possibles si un « oracle » parfait savait exactement quelles réponses étaient fausses à l'avance, tout en ne dépensant qu'environ un quart à un tiers du coût de l'utilisation exclusive du modèle puissant.

Cependant, les chercheurs ont également mis au jour des limitations importantes qui suggèrent que ces outils ne sont pas encore prêts pour une utilisation clinique. Bien que les modèles aient été bons pour repérer leur propre incertitude, ils n'étaient pas parfaits. Certaines erreurs ont été commises avec une grande confiance, ce qui signifie que la machine était sûre de la mauvaise réponse. Ces erreurs de confiance étaient souvent stables, ce qui signifie qu'elles ne changeaient pas même lorsque l'ordre des choix de réponses était modifié, et elles correspondaient parfois aux mauvaises réponses données par d'autres modèles avancés. Cela suggère que lorsque ces modèles sont confiants mais erronés, ils le sont souvent pour les mêmes raisons profondes, telles que l'omission d'informations dans la question ou le recours à des réglementations obsolètes. Dans les examens coréens, par exemple, de nombreuses erreurs concernaient des lois locales spécifiques et des règles administratives avec lesquelles les modèles avaient du mal, même lorsqu'ils exprimaient une faible confiance. Dans les examens anglais, certaines des questions étaient elles-mêmes contestées par des médecins humains, rendant difficile pour n'importe quelle machine de trouver la « bonne » réponse basée sur les clés historiques.

L'étude a également examiné la sensibilité de ces systèmes à la manière dont les questions sont présentées. Lorsque les chercheurs ont fait pivoter l'ordre des choix de réponses, les décisions des modèles ont changé dans environ 7 à 16 % des cas. Cela signifie qu'un modèle pourrait renvoyer une question pour un second regard simplement parce que les options étaient listées dans un ordre différent, même si le contenu médical restait le même. Bien que la précision globale du système soit restée stable malgré ces légers changements, les décisions individuelles n'étaient pas entièrement cohérentes. Les chercheurs ont noté que cette instabilité, combinée à l'existence d'erreurs de confiance, signifie que ces modèles ne peuvent pas encore être utilisés seuls. Ils fonctionnent mieux comme un premier lecteur qui traite les cas faciles et signale les cas difficiles pour un examen par un médecin humain.

En fin de compte, la recherche démontre que les modèles de décision offrent un compromis prometteur entre vitesse et précision. Ils peuvent traiter les questions médicales rapidement et à moindre coût, et leurs scores de confiance internes fournissent un mécanisme utile pour filtrer les erreurs les plus probables. En transférant les 20 % de réponses incertaines à un système plus fort, il est possible de récupérer la majeure partie de la précision d'un modèle de haut niveau à un coût bien inférieur. Pourtant, le chemin vers l'usage clinique nécessite plus que ces simples simulations. La présence d'erreurs de confiance et la sensibilité au formatage des questions indiquent que ces outils nécessitent une validation minutieuse dans des contextes réels. Avant de pouvoir être utilisés pour guider les soins aux patients, ils doivent être testés dans des flux de travail cliniques réels où des médecins humains peuvent examiner les cas transférés et auditer les réponses de confiance qui pourraient encore être erronées. La technologie montre un grand potentiel, mais elle reste un outil qui nécessite une main humaine pour la guider.