What Can Artificial Intelligence Learn from Medicine? Generative Analogies and Reliable Machine Learning Systems

Au cours des dernières années, les médecins et les informaticiens ont commencé à travailler ensemble pour construire des outils d'intelligence artificielle capables d'aider à diagnostiquer des maladies, de prédire l'évolution de l'état des patients et de suggérer des traitements. Ces outils, connus sous le nom de systèmes d'apprentissage automatique (machine learning), sont puissants car ils peuvent trouver des modèles dans des quantités massives de données que les humains pourraient manquer. Cependant, il existe un problème persistant : ces systèmes fonctionnent souvent comme des boîtes noires. Ils produisent des résultats sans expliquer comment ils y sont parvenus, et ils reposent sur des connexions statistiques plutôt que sur des théories claires expliquant pourquoi un traitement fonctionne. Cela crée un dilemme pour les médecins qui doivent faire confiance aux outils qu'ils utilisent. Si un ordinateur dit qu'un patient est atteint d'une maladie, mais que personne ne comprend pourquoi il l'a dit, comment un médecin peut-il être sûr qu'il a raison ? Cette incertitude a mené à une question difficile : comment vérifier que ces systèmes complexes et opaques sont assez fiables pour être utilisés dans de vrais hôpitaux ?

Deux philosophes, Emanuele Ratti et Lena Zuchowski, ont proposé une nouvelle façon d'aborder ce problème en observant comment la médecine elle-même gère des incertitudes similaires. Ils suggèrent que nous ne devrions pas essayer de forcer l'intelligence artificielle à devenir transparente ou explicable de la manière dont nous l'attendons habituellement. Au lieu de cela, ils soutiennent que nous devrions apprendre de la longue histoire de la validation des nouveaux médicaments. Tout comme les médecins ne savent pas toujours exactement comment une pilule spécifique agit à l'intérieur du corps, ils savent néanmoins qu'elle est sûre et efficace grâce au processus rigoureux utilisé pour la tester. Les chercheurs proposent que le même type de processus de test rigoureux utilisé pour les médicaments puisse être adapté pour créer une nouvelle norme de confiance pour l'intelligence artificielle.

Le cœur de leur argument repose sur une comparaison entre deux processus très différents : le développement de nouveaux médicaments et la construction de systèmes d'apprentissage automatique. En médecine, lorsqu'un nouveau médicament est découvert, les scientifiques ne comprennent souvent pas pleinement le mécanisme biologique sous-jacent. Ils ne savent pas forcément comment la molécule interagit avec les cellules du corps. Malgré ce manque de connaissances théoriques, un médicament peut néanmoins être prouvé efficace. Cela est accompli par un processus appelé traduction clinique, où les chercheurs testent systématiquement le médicament sous de nombreuses conditions différentes. Ils déterminent le bon dosage, les types spécifiques de patients qu'il aide, et les situations où il pourrait échouer. En rassemblant ces informations, ils créent un profil détaillé de l'utilité du médicament, même si le « pourquoi » sous-jacent reste un mystère.

Ratti et Zuchowski soutiennent que les systèmes d'apprentissage automatique sont confrontés exactement à la même situation. Ces systèmes sont souvent « athéoriques », ce qui signifie qu'ils ne reposent pas sur des théories humaines ; ils sont « associationnistes », ce qui signifie qu'ils trouvent des liens entre des points de données sans comprendre la cause ; et ils sont « opaques », ce qui signifie que leur prise de décision interne est cachée. À cause de cela, essayer de forcer l'IA à s'expliquer est souvent impossible. Au lieu de lutter contre cette nature, les auteurs suggèrent de copier l'approche médicale. Nous ne devrions plus exiger que l'IA explique sa logique, mais commencer à exiger que nous connaissions les conditions spécifiques dans lesquelles elle fonctionne.

Pour rendre cette idée concrète, les chercheurs ont développé un nouveau cadre qu'ils appellent un « ensemble d'apprentissage » (learning ensemble). Voyez cela comme un manuel d'instructions détaillé qui va bien au-delà de simplement dire « ce programme informatique fonctionne ». En médecine, un médicament n'est pas seulement une substance chimique ; c'est une substance chimique utilisée d'une certaine manière, pour un groupe spécifique de personnes, avec des effets secondaires spécifiques. De la même manière, un système d'apprentissage automatique n'est pas seulement un morceau de code ; c'est un système qui ne fonctionne que lorsque certaines conditions sont remplies. L'ensemble d'apprentissage est une collection d'informations qui définit ces conditions. Il comprend des détails sur les données utilisées pour entraîner le système, le matériel spécifique sur lequel il fonctionne, les types de patients sur lesquels il a été testé, et les mesures exactes utilisées pour juger son succès.

Les auteurs décomposent cette information en trois catégories principales. La première est les « limites de fiabilité ». Cette section documente l'environnement dans lequel le système a été construit. Elle pose des questions telles que : Les données étaient-elles propres et diversifiées, ou étaient-elles désordonnées et limitées ? Le système a-t-il été testé sur des ordinateurs puissants, ou a-t-il eu du mal avec un matériel basique ? Si les données provenaient d'un seul hôpital, le système pourrait échouer lorsqu'il est utilisé dans un autre hôpital avec un équipement différent. En documentant ces limites, les utilisateurs peuvent savoir exactement où le système est sûr à utiliser et où il pourrait se briser.

La deuxième catégorie est la « performance ». Il ne s'agit pas d'un simple chiffre disant que le système est précis à 90 %. Au lieu de cela, cela nécessite un rapport détaillé de la manière dont le système performe dans différentes situations. Par exemple, fonctionne-t-il aussi bien pour les patients jeunes et âgés, ou pour les personnes de genres différents ? Fait-il plus d'erreurs lorsque les données sont légèrement différentes de celles sur lesquelles il a été entraîné ? Les chercheurs soulignent que savoir où un système échoue est tout aussi important que de savoir où il réussit. Si un système est excellent pour diagnostiquer un type de cancer mais médiocre pour un autre, cet échec spécifique doit être enregistré afin que les médecins ne l'utilisent pas pour les mauvais cas.

La troisième catégorie est la « dimension fonctionnelle ». Elle examine ce que le système est réellement censé faire dans le monde réel. Un système peut être mathématiquement parfait pour prédire un nombre, mais si ce nombre n'aide pas un médecin à prendre une meilleure décision, le système est inutile. Cette partie vérifie si le résultat du système correspond aux besoins de l'équipe médicale. Par exemple, si un système est conçu pour aider un médecin à décider s'il doit admettre un patient à l'hôpital, il doit être testé pour voir s'il aide réellement à cette décision spécifique. Si un système est utilisé pour un usage pour lequel il n'a pas été conçu, il devient peu fiable, quelle que soit sa performance initiale.

Les chercheurs illustrent la puissance de cette approche par des exemples réels d'échec. Ils citent une étude où un système d'intelligence artificielle affirmait détecter le cancer en examinant la composition génétique des bactéries dans le corps humain. Le système semblait fonctionner parfaitement au début, avec une très haute précision. Cependant, lorsque les chercheurs ont examiné les données de près, ils ont découvert que le système n'avait pas du tout appris à reconnaître le cancer. Il avait appris à reconnaître un type spécifique d'erreur dans le processus de collecte des données qui arrivait justement plus fréquemment chez les patients cancéreux. Parce que le système était opaque, cette erreur était cachée. Si les chercheurs avaient utilisé le cadre de l'« ensemble d'apprentissage », ils auraient été tenus de documenter les sources de données et les conditions spécifiques du test. Cette documentation aurait révélé que les données étaient erronées et que le système s'appuyait sur un raccourci plutôt que sur une véritable connexion biologique.

Un autre exemple concerne un système conçu pour prédire quels patients atteints de pneumonie présentaient un risque élevé de décès. Le système a appris que les patients asthmatiques présentaient en fait un risque plus faible. Cela semblait contre-intuitif. La raison était que le système avait appris que les patients asthmatiques recevaient des soins très agressifs et efficaces à l'hôpital, ce qui réduisait leur risque de décès. Cependant, si un médecin utilisait ce système pour décider qui traiter, il pourrait croire à tort que les asthmatiques n'ont pas besoin de soins. Le système était mathématiquement correct sur la base des données, mais il était fonctionnellement dangereux car il ne comprenait pas le contexte du traitement médical. Le cadre de l'ensemble d'apprentissage aurait détecté cela en exigeant une définition claire de l'objectif du système et une vérification par rapport aux connaissances médicales réelles.

Les auteurs précisent soigneusement que ce cadre ne résout pas le mystère du fonctionnement de l'apprentissage automatique. Les systèmes resteront opaques, et ils continueront de reposer sur des modèles statistiques plutôt que sur des théories claires. La valeur de l'ensemble d'apprentissage ne réside pas dans le fait de rendre l'IA transparente, mais dans le fait de rendre l'utilisation de l'IA transparente. Cela déplace l'attention de la question « Comment l'ordinateur pense-t-il ? » vers la question « Dans quelles conditions exactes pouvons-nous faire confiance à la réponse de l'ordinateur ? ». C'est un changement subtil mais crucial. Cela permet aux médecins d'utiliser des outils puissants sans avoir besoin de comprendre les mathématiques complexes qui les sous-tendent, tant qu'ils disposent d'une carte claire des endroits où ces outils sont sûrs à utiliser.

Cette approche suggère une nouvelle façon de réguler et d'évaluer l'intelligence artificielle en médecine. Au lieu d'exiger que chaque algorithme soit explicable, les régulateurs et les hôpitaux devraient exiger un « ensemble d'apprentissage » complet pour chaque système. Ce document agirait comme un certificat de fiabilité, détaillant les données, la performance et l'usage prévu. Si un hôpital souhaite utiliser un système, il peut vérifier l'ensemble pour voir si sa situation spécifique correspond aux conditions où le système a été prouvé efficace. Si les conditions ne correspondent pas, le système ne doit pas être utilisé. Cette méthode accepte les limites de la technologie actuelle tout en fournissant un moyen robuste de gérer les risques.

L'article conclut que ce cadre est une étape concrète en avant. Il ne prétend pas avoir résolu tous les problèmes de l'intelligence artificielle, et ne promet pas non plus que ces systèmes ne feront jamais d'erreurs. Au contraire, il offre une manière structurée de construire la confiance. En traitant les systèmes d'apprentissage automatique comme des traitements médicaux — où l'accent est mis sur les conditions d'utilisation plutôt que sur le mécanisme interne — nous pouvons créer une voie plus sûre et plus fiable pour l'intégration de ces technologies dans les soins de santé. L'objectif n'est pas de rendre la boîte noire transparente, mais de construire un guide fiable qui nous indique exactement où il est sûr de regarder à l'intérieur.