Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

Imaginez que vous essayiez de choisir le meilleur chef pour une nouvelle cafétéria d'hôpital. Vous avez une liste de chefs célèbres et vous demandez à un groupe de médecins de goûter leurs plats. Les médecins votent pour le plat qui semble le plus appétissant et qui a le meilleur goût sur le moment. Naturellement, vous supposez que le chef ayant reçu le plus de votes est le plus sûr et le plus fiable à embaucher. Mais et si le plat le plus « appétissant » avait été préparé avec des ingrédients périmés, ou si le chef le plus « confiant » était simplement très doué pour parler de sa nourriture tout en servant quelque chose de dangereux ? C'est le monde complexe des Modèles de Langage de Grande Taille (LLM) — des programmes informatiques super intelligents capables d'écrire, de discuter et de résoudre des problèmes comme les humains. Les scientifiques utilisent les préférences par paires (demander aux experts de choisir entre « A ou B ») pour déterminer quel IA est la « meilleure ». Mais dans des domaines à enjeux élevés comme la médecine, être le « favori » ne signifie pas toujours être le plus « sûr ». Si une IA donne une réponse médicale erronée mais le fait avec beaucoup de style, elle pourrait gagner le vote, même si elle pourrait blesser un patient. Ce document pose une question critique : lorsque les médecins choisissent l'IA qu'ils préfèrent, choisissent-ils réellement celle qui ne commettra pas d'erreurs dangereuses ?

Les chercheurs derrière cette étude, travaillant au Laboratoire LiGHT en Suisse, ont décidé de mettre cette hypothèse à l'épreuve en utilisant une plateforme massive appelée MOOVE (Massive Open Online Validation and Evaluation). Ils ont réuni plus de 736 médecins provenant de plus de 28 pays pour agir en tant que juges. Ces médecins ont examiné 13 modèles d'IA différents et ont dû choisir quelle réponse était la meilleure lors d'un test de goût à l'aveugle (préférence par paire). Mais voici le rebondissement : pendant qu'ils votaient, les médecins attribuaient également à chaque réponse un score de sécurité strict, comme un bulletin de notes allant de -2 (très dangereux) à +2 (très sûr). Ils ont vérifié deux choses spécifiques : l'innocuité (l'IA a-t-elle suggéré quelque chose de risqué ?) et l'exactitude (le fait médical était-il correct ?).

Les résultats ont été un véritable choc. L'étude a révélé que les modèles d'IA qui remportaient le plus de « votes de popularité » étaient souvent ceux qui présentaient les taux d'erreurs dangereuses les plus élevés. C'est comme un élève qui obtient un A pour son écriture et sa confiance, mais qui échoue à l'examen de mathématiques parce qu'il s'est trompé dans les chiffres. En fait, les chercheurs ont découvert que le modèle le mieux classé de l'étude (GPT-OSS) présentait un taux d'échec de 18,0 % pour l'innocuité, ce qui signifie que près d'une réponse sur cinq qu'il donnait était potentiellement dangereuse. Parallèlement, un modèle plus prudent et moins « tape-à-l'œil » dans l'ensemble de données avait un taux d'échec beaucoup plus bas de 7,2 %, tout en étant classé bien plus bas dans le concours de popularité. L'étude note que, comme ces modèles ont été testés sur différents types de questions médicales, nous ne pouvons pas dire qu'un modèle est strictement « meilleur » qu'un autre dans une course directe, mais l'écart souligne un avertissement crucial : les modèles que les gens aimaient le plus n'étaient pas nécessairement ceux qui avaient les antécédents les plus sûrs. L'étude suggère que les médecins ont souvent été trompés par des caractéristiques de surface : l'IA qui rédigeait des réponses plus longues, plus détaillées et plus convaincantes a remporté les votes, même si ces réponses étaient médicalement fausses ou risquées.

Les chercheurs ont approfondi l'analyse pour comprendre pourquoi cela s'était produit. Ils ont découvert que le « signal de sécurité » (la correction médicale réelle) était souvent étouffé par le « signal de style » (l'apparence de la longueur et de la clarté du texte). Dans leur analyse, la longueur et la clarté de la réponse expliquaient légèrement plus le choix d'un médecin que la sécurité réelle de la réponse. C'est comme si les juges votaient pour le chef qui écrivait la description de menu la plus longue, ignorant le fait que la soupe était froide.

Plus préoccupant encore, l'étude a montré que ces risques ne sont pas répartis uniformément ; ils sont concentrés dans des « zones d'exclusion » spécifiques. Par exemple, lorsque l'IA tentait de lire des images d'électrocardiogrammes (ECG), elle échouait de façon spectaculaire avec un taux de 89,9 %. Dans d'autres domaines, comme la chirurgie générale, elle était presque parfaite. Cela signifie qu'un « classement mondial » qui se contente de dire « Le Modèle X est numéro 1 » est dangereux car il cache le fait que le Modèle X peut être un désastre dans des situations critiques spécifiques.

Pour corriger cela, les auteurs proposent une nouvelle façon de classer ces modèles. Au lieu de simplement compter qui a remporté le plus de votes, ils suggèrent un Classement Ajusté à la Sécurité. Ce système prendrait les votes de popularité et les vérifierait par rapport aux scores de sécurité stricts. Si une IA gagne un vote mais donne une réponse dangereuse, son rang serait abaissé. Lorsqu'ils ont appliqué cette correction, les classements ont radicalement changé. Certains modèles qui étaient auparavant en bas de liste ont grimpé en tête car ils étaient en réalité plus sûrs, tandis que les gagnants « tape-à-l'œil » ont chuté.

L'article conclut que nous ne pouvons pas faire confiance aux « concours de popularité » pour nous dire si une IA est sûre pour un usage médical. Le fait qu'une IA ait l'air bonne ou semble intelligente ne signifie pas qu'elle est fiable. Les chercheurs suggèrent qu'au lieu de chercher un seul « meilleur » modèle, nous devons examiner les taux d'échec spécifiques et être honnêtes sur les points où l'IA peut échouer. Ils préviennent que se fier à de simples scores de préférence revient à embaucher un pilote parce qu'il a la voix la plus suave, sans vérifier s'il sait réellement piloter l'avion. Dans le monde de l'IA médicale, être le plus aimé n'est pas la même chose que d'être le plus sûr.