Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

Imaginez que vous appreniez à un robot à repérer un type de nuage spécifique dans le ciel. Vous lui montrez des milliers de photos prises depuis une station météorologique de haute technologie avec un objectif parfait. Le robot apprend à dire : « C'est un nuage d'orage ! » avec une grande assurance. Mais voici la partie délicate : être capable de repérer le nuage est différent de savoir quelle est la probabilité qu'il pleuve. Si le robot dit : « Je suis sûr à 90 % qu'il s'agit d'un orage », il doit avoir raison 90 % du temps. S'il se trompe, et que vous lui faites trop confiance, vous pourriez oublier votre parapluie un jour de pluie, ou bien en porter un alors que le ciel est parfaitement dégagé.

Ce document plonge dans un monde où les ordinateurs aident les médecins à détecter des maladies oculaires appelées rétinopathie diabétique. Il pose une question très pratique : si nous entraînons un ordinateur sur des photos prises avec de gros appareils photo coûteux dans un hôpital, sera-t-il toujours digne de confiance lorsqu'on l'emmène dans un village avec un petit appareil photo portable ? La réponse ne concerne pas seulement la capacité de l'ordinateur à voir la maladie (ce qu'il peut faire), mais si sa confiance fait sens dans ce nouvel environnement. Les chercheurs ont découvert que, bien que les yeux de l'ordinateur restent aiguisés, son « pressentiment » concernant son degré de certitude est complètement déréglé, principalement parce que la maladie est plus fréquente dans le nouveau lieu que dans l'ancien.

---

L'histoire du robot ophtalmologue confus

Imaginez que vous avez un brillant robot ophtalmologue nommé « Dr. IA ». Vous avez entraîné le Dr. IA dans un hôpital luxueux et climatisé, utilisant un énorme appareil photo de table coûteux. Le Dr. IA a appris à examiner des photos d'yeux et à repérer une maladie appelée rétinopathie diabétique. Lorsqu'il voit un œil malade, il donne un score : « Je suis sûr à 95 % qu'il est malade ! ». Lorsqu'il voit un œil sain, il dit : « Je suis sûr à 99 % qu'il va bien ».

Maintenant, vous voulez emmener le Dr. IA dans un village reculé pour aider des personnes qui n'ont pas accès aux grands hôpitaux. Mais dans le village, vous ne pouvez pas transporter l'appareil photo géant. Vous devez utiliser un petit appareil photo portable qui tient dans un sac à dos. Les photos de ce petit appareil sont un peu différentes — elles peuvent être plus claires, plus sombres ou légèrement floues par rapport aux photos de l'hôpital.

La Grande Question : Lorsque le Dr. IA regardera ces nouvelles photos du village, sera-t-il toujours un bon médecin ?

Les chercheurs de ce document ont mis le Dr. IA à l'épreuve. Ils ont découvert deux choses très différentes :

1. Les yeux restent aiguisés (Discrimination) : Le Dr. IA était toujours excellent pour faire la différence entre un œil malade et un œle sain. Même sans entraînement supplémentaire, il pouvait toujours classer les yeux malades plus haut que les yeux sains, presque aussi bien qu'un médecin formé spécifiquement sur les photos du village. Il n'a pas perdu sa capacité à voir le problème.
2. La confiance est déréglée (Calibration) : C'est là que les choses ont mal tourné. Le Dr. IA a commencé à mentir sur son degré de certitude. S'il disait : « Je suis sûr à 90 % que cet œil est malade », il n'avait pas réellement raison 90 % du temps. Ses scores de confiance étaient brisés. Dans le village, le robot pourrait être beaucoup trop confiant concernant les yeux sains ou pas assez confiant concernant les yeux malades. C'est dangereux car les médecins comptent sur ces chiffres de confiance pour décider qui doit voir immédiatement un spécialiste humain.

Pourquoi la confiance s'est-elle brisée ?

Vous pourriez penser : « Le petit appareil photo portable doit être le problème ! Les photos sont très différentes. » Les chercheurs ont testé cette idée et ont découvert quelque chose de surprenant.

Ils ont découvert que l'appareil photo lui-même n'était qu'une petite partie du problème (environ 20 %). Le véritable coupable était la foule.

Pensez-y de cette façon : dans l'hôpital où le Dr. IA a été entraîné, seulement 1 personne sur 20 avait la maladie (5,7 %). Mais dans le village, 1 personne sur 6 l'avait (17,6 %). Dans un autre groupe de test, près de la moitié des gens l'avaient (40,6 %).

Le Dr. IA a été entraîné dans un monde où la maladie était rare. Il a appris à être très prudent. Lorsqu'il a déménagé dans un village où la maladie était courante, il n'a pas su ajuster son « pressentiment ». C'est comme un prévisionniste météo qui a grandi dans le désert. S'il déménage dans une forêt tropicale et dit : « Il y a seulement 10 % de chances de pluie », il se trompe, non pas parce que ses yeux sont mauvais, mais parce qu'il est habitué à un monde où la pluie est rare. Les chercheurs ont montré qu'environ 80 % de la confusion provenait de ce changement de fréquence de la maladie, et non de l'appareil photo prenant la photo.

Comment réparer le robot

Alors, comment réparer la confiance brisée du Dr. IA ? Les chercheurs ont essayé quelques astuces :

• L'astuce de la « Température » : Ils ont essayé une petite modification mathématique appelée « mise à l'échelle de la température » (temperature scaling). C'est comme tourner un cadran pour rendre les réponses du robot un peu plus douces ou plus fermes. Cela n'a pas bien fonctionné car le problème du robot n'était pas seulement la « douceur » de ses réponses ; il avait besoin de changer tout son point de référence car la maladie était plus fréquente.
• La solution du « Ré-entraînement » : Ils ont essayé deux autres méthodes appelées Platt scaling et isotonic scaling. C'est comme donner une petite leçon rapide au robot. Ils ont montré au robot seulement 100 à 200 nouvelles photos du village (étiquetées par des humains) et lui ont demandé d'ajuster ses chiffres de confiance.
  • Le Résultat : Ça a fonctionné ! Avec juste un tout petit peu de nouvelles données, la confiance du Dr. IA est redevenue digne de confiance. Il est passé d'un état de confusion totale à un état presque aussi bon qu'un robot entraîné de zéro sur les photos du village.

Le problème du « Petit Cerveau »

Il y avait encore un dernier tournant. Pour faire fonctionner le Dr. IA sur un appareil portable bon marché, vous devez souvent réduire la taille du programme informatique pour qu'il puisse y tenir. C'est ce qu'on appelle la « quantification ».

• Demi-précision (FP16) : C'est comme compresser légèrement une photo. Cela a rendu le programme plus petit mais n'a pas nui aux yeux ni à la confiance du Dr. IA. C'était sans danger.
• Entier 8 bits (INT8) : C'est comme compresser la photo tellement qu'elle devient pixelisée. Les chercheurs ont découvert que cela brisait à la fois les yeux et la confiance du Dr. IA. Même s'ils essayaient de réparer la confiance avec l'astuce du « Ré-entraînement », ils ne pouvaient pas réparer totalement les dommages causés aux yeux. Le robot devenait moins précis, et aucun calcul rapide ne pouvait réparer les dégâts.

La conclusion à retenir

La principale leçon de cette étude est que, pour que l'IA soit sûre dans le monde réel, nous ne pouvons pas nous contenter de regarder si elle peut détecter la maladie. Nous devons vérifier si sa confiance fait sens dans le nouveau lieu.

Si vous apportez une IA médicale d'un hôpital riche vers un village pauvre, ne supposez pas simplement qu'elle fonctionnera parce qu'elle est intelligente. La maladie peut y être plus fréquente, et cela confondra la confiance du robot. Mais la bonne nouvelle est que vous n'avez pas besoin d'un million de nouvelles photos pour la réparer. Il vous suffit d'une petite leçon rapide (environ 100 à 200 exemples) et de la bonne astuce mathématique pour apprendre au robot à faire de nouveau confiance à ses propres ressentis. Et si vous réduisez la taille du programme pour qu'il tienne sur un petit appareil, soyez prudent : le rétrécir trop pourrait briser le robot d'une manière que vous ne pourrez pas facilement réparer.