Invisible Agents, Uninformed Patients: Towards Responsible Deployment Of Autonomous AI Diagnostic Agents In Sub-Saharan Africa

Dans les cliniques animées et les villages reculés de l'Afrique subsaharienne, une révolution silencieuse est en cours dans la manière dont les gens accèdent aux soins médicaux. Depuis des années, les médecins s'appuient sur des outils qui les aident à prendre des décisions, agissant comme un second regard ou un guide de référence. Mais une nouvelle génération de technologie est arrivée : les agents d'intelligence artificielle autonomes. Contrairement aux assistants utiles du passé, ces systèmes n'attendent pas qu'un médecin pose une question. Au lieu de cela, ils prennent des données de patients — telles que des symptômes, des images de radiographie ou des résultats d'analyses de sang — et produisent de manière indépendante un diagnostic ou une décision sur la marche à suivre pour le patient. Ils fonctionnent sans qu'un humain ne les surveille en temps réel. Ce changement offre une solution puissante à la pénurie désespérée de médecins spécialistes dans la région, promettant d'étendre les soins à des millions de personnes qui, autrement, en seraient privées. Cependant, cette rapidité s'accompagne d'une question profonde qui a rarement été posée : si une machine prend seule une décision médicale qui change la vie, le patient sait-il ce qui se passe ?

Un article récent des chercheurs Percy Brown et Kweku Yamoah examine précisément cette lacune. Ils soutiennent que si la technologie pour diagnostiquer des maladies comme la tuberculose et la rétinopathie diabétique progresse rapidement, les règles et les protections pour les personnes recevant ces diagnostics n'ont pas suivi le même rythme. Les chercheurs ont constaté que dans de nombreuses parties de l'Afrique subsaharienne, les patients ignorent souvent totalement qu'un programme informatique autonome analyse leurs données de santé et prend la décision finale sur leur traitement. Ce manque de conscience crée un vide dangereux où personne n'est clairement responsable si la machine commet une erreur. L'article suggère que construire de meilleures machines, plus précises, ne suffit pas ; l'ensemble du système doit être repensé pour garantir que les patients soient informés, puissent demander un second avis humain et comprennent comment la décision a été prise.

Pour comprendre l'ampleur du problème, les chercheurs ont examiné trois exemples spécifiques de la manière dont ces systèmes sont actuellement utilisés à travers le continent. En Tanzanie, des logiciels informatiques sont largement déployés pour le dépistage de la tuberculose en analysant des radiographies thoraciques. Dans de nombreuses zones reculées, aucun radiologue n'est disponible pour examiner les images. Le logiciel est conçu pour lire la radiographie et décider si le patient est atteint de la maladie, souvent sans qu'un humain n'examine jamais le résultat avant que le patient ne soit envoyé en traitement ou renvoyé chez lui. En Zambie, des systèmes d'apprentissage profond similaires sont utilisés pour le dépistage de la rétinopathie diabétique, une affection pouvant mener à la cécité, et pour la tuberculose. Ces systèmes ont prouvé leur efficacité technique, égalant les performances des médecins humains lors d'études. Pourtant, lorsque ces outils sont passés des laboratoires de recherche aux cliniques réelles, les patients qui les utilisaient étaient rarement informés qu'un ordinateur établissait le diagnostic, et on ne leur donnait pas de moyen de demander un examen humain s'ils étaient inquiets du résultat.

La situation est encore plus directe au Ghana, où des chatbots de santé mobile deviennent un moyen principal pour les gens de chercher des conseils médicaux. Ces assistants numériques interrogent les patients sur leurs symptômes via des messages texte sur leurs téléphones, puis fournissent une évaluation des risques ou une recommandation sur la conduite à tenir. Pour de nombreux utilisateurs, ce chatbot est le seul point de contact avec le système de santé. Les chercheurs ont constaté que ces interactions fonctionnent comme des agents de diagnostic autonomes, pourtant l'interface divulgue rarement le fait qu'un algorithme détermine l'état de santé. Un patient peut recevoir une recommandation sérieuse ou un rejet de ses symptômes sans savoir qu'une machine, plutôt qu'une personne, a rendu ce jugement. Dans ces trois cas, la technologie fonctionne comme l'ont prévu ses ingénieurs, mais l'élément humain de confiance et de responsabilité a été laissé de côté.

Le problème central identifié par les auteurs est un « déficit de transparence » qui opère à deux niveaux. Premièrement, la technologie elle-même est souvent une « boîte noire », ce qui signifie que même les développeurs ne peuvent pas toujours expliquer exactement comment l'ordinateur est parvenu à une conclusion spécifique. Deuxièmement, et plus crucial pour le patient, il y a un échec de communication. Les patients ne sont pas informés qu'un agent autonome est impliqué, de ce que l'agent est capable de faire, ni de leurs droits s'ils sont en désaccord avec le résultat. Cela crée une lacune structurelle en matière de responsabilité. Si un médecin humain commet une erreur, le patient sait qui tenir pour responsable et peut contester la décision. Si un système autonome commet une erreur et qu'aucun humain ne l'a examiné, la chaîne de responsabilité est rompue. Le patient se retrouve face à un résultat médical qu'il n'a pas compris et sans voie claire pour le contester.

En réponse à ces conclusions, l'article propose un nouveau cadre fondé sur trois principes simples mais essentiels pour guider l'utilisation responsable de ces technologies. Le premier principe est le « consentement éclairé conscient de l'agent ». Cela signifie qu'avant que les données d'un patient ne soient analysées par un système autonome, il doit être informé clairement et en langage simple qu'un ordinateur prend la décision, et non un humain. Cette divulgation doit être accessible aux personnes ayant des niveaux d'éducation variés et dans leurs langues locales, garantissant que le consentement est réellement éclairé et non une simple formalité.

Le deuxième principe exige un « contrôle humain » comme exigence structurelle. Aucun système autonome ne devrait être autorisé à émettre une décision médicale finale qui ne puisse être examinée par un professionnel humain. Chaque système doit être conçu avec une voie intégrée permettant à un patient ou à un travailleur de santé local d'interrompre la production de la machine et de demander un examen humain avant tout début de traitement. Il ne s'agit pas d'un luxe pour les hôpitaux riches, mais d'une caractéristique de sécurité fondamentale qui doit être présente dans chaque déploiement, quel que soit le manque de ressources.

Le troisième principe appelle à une « explicabilité adaptée au contexte ». Bien que les mathématiques complexes derrière la décision d'une IA puissent être impossibles à expliquer à un patient, la raison de la recommandation doit être communiquée de manière compréhensible. Au lieu d'un jargon technique, le système doit fournir un compte rendu simple de ce qu'il a trouvé et pourquoi, adapté au niveau d'alphabétisation et à la langue du patient. Cela garantit que la transparence n'est pas seulement une caractéristique technique pour les ingénieurs, mais une expérience réelle pour la personne recevant les soins.

Les chercheurs soulignent que ces principes ne sont pas un rejet de l'intelligence artificielle, qui porte une véritable promesse pour sauver des vies dans des régions manquant de médecins. Au contraire, ils soutiennent que le rythme actuel de déploiement a dépassé la gouvernance nécessaire. L'enthousiasme pour ce que ces machines peuvent accomplir ne doit pas se faire au détriment des droits des patients. En intégrant ces trois garde-fous dans la conception et le déploiement des agents autonomes, les systèmes de santé peuvent s'assurer que l'extension des soins ne laisse pas les populations les plus vulnérables derrière un brouillard numérique. L'article conclut que sans ces changements structurels, la promesse de l'IA dans la santé en Afrique reste incomplète, offrant rapidité et efficacité, mais échouant à fournir la responsabilité et la confiance qui sont le fondement de toute relation de soin.