Governing Trust in Health AI: A Qualitative Study of Cybersecurity Professionals Perspectives

Cette étude qualitative révèle que la crédibilité de l'intelligence artificielle en santé dépend moins de sa performance technique que des pratiques de gouvernance et de la surveillance humaine mises en œuvre par les professionnels de la cybersécurité pour établir la confiance institutionnelle.

L'essentiel

🏥 L'Intelligence Artificielle à l'Hôpital : Ce que les Gardiens de la Sécurité en Pensent

Imaginez que l'hôpital de demain est une énorme maison de verre. Dans cette maison, l'Intelligence Artificielle (IA) est un nouveau serviteur très rapide et intelligent qui aide les médecins à diagnostiquer des maladies, à trier des médicaments et à gérer les dossiers.

Mais qui surveille cette maison ? Qui s'assure que les vitres ne se brisent pas et que personne ne vole les secrets des patients ? Ce sont les professionnels de la cybersécurité.

Cette étude a demandé à 20 de ces "gardiens" ce qu'ils pensent de l'IA dans la santé. Voici ce qu'ils ont révélé, traduit en langage courant avec quelques analogies :

1. L'IA n'est pas le Capitaine, c'est le Moteur 🚢

Beaucoup de gens pensent que l'IA va remplacer les médecins. Les experts en sécurité disent : "Non, pas du tout !"

• L'analogie : Imaginez un avion. L'IA est le moteur puissant et l'ordinateur de bord qui aide à voler. Mais le pilote (le médecin) doit toujours tenir le manche.
• Leur avis : L'IA est un outil formidable pour aller plus vite (comme analyser une radio en une seconde), mais elle ne doit jamais prendre la décision finale. Si le moteur tombe en panne ou fait une erreur, le pilote doit être là pour corriger le tir. La confiance vient du fait que l'humain garde le contrôle.

2. La Maison est Fragile et Fissurée 🧱

Les gardiens de sécurité nous disent que la maison de verre (le système de santé) est déjà pleine de fissures avant même d'ajouter l'IA.

• L'analogie : C'est comme si vous essayiez de mettre un système de sécurité ultra-moderne dans un château fort dont les murs sont en papier. Les données des patients sont éparpillées un peu partout, dans des tiroirs différents, parfois mal fermés.
• Leur avis : L'IA a besoin de beaucoup de données pour fonctionner. Si ces données sont mal protégées ou mal rangées, l'IA peut devenir un danger. Les pirates informatiques ne sont pas une surprise pour eux ; ils s'attendent à ce qu'une attaque arrive un jour. Le vrai défi n'est pas d'empêcher toutes les attaques, mais de savoir comment réagir vite quand la porte s'ouvre.

3. La Confiance se Gagne, elle ne s'achète pas 🤝

On ne fait pas confiance à l'IA parce qu'elle est "intelligente". On lui fait confiance parce qu'elle a prouvé qu'elle était fiable, petit à petit.

• L'analogie : C'est comme un nouveau voisin. Vous ne lui confiez pas vos clés de maison dès le premier jour. Vous le voyez ramasser le courrier, aider à porter des courses, et vous ne vous trompez jamais. Au fil du temps, vous commencez à lui faire confiance.
• Leur avis : Si l'IA se trompe (ce qui arrive, comme un "hallucination" où elle invente des faits), la confiance s'effondre. Pour qu'on lui fasse confiance, il faut que l'hôpital soit transparent : "Voici comment l'IA a appris, voici ses limites, et voici comment un humain vérifie son travail."

4. Les Gardiens sont les Vrais Héros de la Confiance 🛡️

C'est le point le plus important de l'étude. Les experts en cybersécurité ne se voient pas comme de simples techniciens qui réparent des ordinateurs. Ils se voient comme les gardien·ne·s de la confiance.

• L'analogie : Imaginez un restaurant. Si la cuisine est sale, peu importe à quel point le chef est talentueux, les clients ne mangeront pas. Les experts en sécurité sont les inspecteurs d'hygiène qui s'assurent que la cuisine est propre, que les portes sont verrouillées et que les ingrédients sont frais.
• Leur avis : Si un hôpital ne protège pas bien ses données, les patients ne feront plus confiance à l'hôpital, et donc pas à l'IA. La sécurité n'est pas une dépense inutile, c'est la fondation même de la confiance.

🎯 En Résumé

Cette étude nous dit une chose simple mais cruciale : L'IA ne sera jamais aussi fiable que le système qui l'entoure.

Pour que l'IA fonctionne bien à l'hôpital, il ne suffit pas d'avoir un algorithme brillant. Il faut :

1. Garder l'humain aux commandes.
2. Réparer les fissures du système actuel.
3. Être honnête sur les risques.
4. Avoir des gardiens de sécurité qui travaillent avec les médecins, pas juste derrière eux.

La confiance dans la santé numérique ne vient pas de la technologie elle-même, mais de la manière dont les institutions la gèrent et protègent les gens. C'est un travail d'équipe, pas une magie technologique.

Résumé technique

1. Problématique et Contexte

L'intégration de l'intelligence artificielle (IA) dans les soins de santé est souvent évaluée sous l'angle de la performance technique et de l'efficacité opérationnelle. Cependant, la crédibilité de ces systèmes dépend davantage de leur gouvernance institutionnelle que de leurs capacités algorithmiques pures.

• Le Vide de Recherche : La littérature existante se concentre principalement sur les perspectives des cliniciens et des patients, négligeant le rôle crucial des professionnels de la cybersécurité qui maintiennent les infrastructures numériques soutenant l'IA.
• Le Défi : Les systèmes de santé font face à des environnements de données fragmentés, vulnérables et historiquement marqués par des inégalités et une méfiance institutionnelle. L'IA, en nécessitant une intégration massive de données, risque d'amplifier ces vulnérabilités structurelles.
• Question de Recherche : Comment les professionnels de la cybersécurité conceptualisent-ils l'IA comme une infrastructure clinique et comment ces interprétations façonnent-elles la compréhension de la confiance, du risque et de la surveillance ?

2. Méthodologie

Cette étude adopte une approche qualitative rigoureuse fondée sur la théorie des systèmes sociotechniques et les travaux sur la confiance institutionnelle.

• Design de l'étude : Recherche qualitative basée sur des entretiens semi-structurés en profondeur.
• Participants : 20 professionnels de la cybersécurité travaillant dans des domaines liés à la santé, à l'IA, aux données ou aux infrastructures numériques.
  • Démographie : Majoritairement âgés de 25 à 34 ans (65 %), de race noire ou afro-américaine (80 %), avec un niveau d'éducation élevé (75 % possèdent un master ou un diplôme professionnel).
  • Domaines : Sécurité réseau, sécurité offensive/défensive, science des données, informatique de santé, etc.
• Collecte des données : Entretiens réalisés entre mai et août 2025, enregistrés et transcrits mot à mot.
• Analyse : Analyse de contenu qualitative avec comparaison constante. Deux chercheurs ont codé les données indépendamment (via Dedoose) pour identifier des motifs et raffiner les thèmes par discussion itérative.
• Cadre Éthique : Approbation du comité d'éthique (IRB) de l'Université Calvin et consentement éclairé obtenu.

3. Résultats Clés (Thèmes Identifiés)

L'analyse a révélé quatre thèmes interconnectés décrivant la perception de l'IA par les experts en cybersécurité :

Thème 1 : L'IA comme infrastructure clinique augmentée, et non autorité autonome

Les participants rejettent l'idée d'une IA autonome remplaçant le jugement humain.

• Vision : L'IA est perçue comme une infrastructure qui étend les capacités cliniques (analyse d'images, documentation, triage) mais qui doit opérer sous une supervision humaine stricte.
• Confiance : La confiance ne réside pas dans l'algorithme lui-même, mais dans la présence continue de décideurs humains responsables qui interprètent les sorties algorithmiques.

Thème 2 : Des écosystèmes de données fragiles amplifiant les vulnérabilités

Les environnements de données de santé sont décrits comme fragmentés et structurellement faibles.

• Risques : L'IA intensifie les faiblesses existantes (interopérabilité médiocre, formats de données hétérogènes).
• Anticipation des brèches : Les violations de données sont considérées comme des événements attendus plutôt que comme des anomalies rares. La préparation se concentre trop sur la protection des bases de données et trop peu sur la réponse aux incidents.
• Inégalités : La gestion des données sensibles et la déidentification sont complexes dans des systèmes fragmentés, risquant d'exposer davantage les populations vulnérables.

Thème 3 : Une confiance contingente et médiatisée par le jugement humain

La confiance dans l'IA est décrite comme partielle, contextuelle et évolutive.

• Limites : Les participants soulignent les risques de « hallucinations », de sur/sous-diagnostic et l'inadéquation des modèles face à des maladies émergentes ou des contextes complexes.
• Processus relationnel : La confiance se construit dans le temps grâce à la transparence et à la démonstration de compétence, plutôt que d'être acquise immédiatement. Elle dépend de la pertinence du modèle pour une application spécifique.

Thème 4 : La gouvernance du risque clinique via la stewardship (gestion responsable) de la cybersécurité

Le rôle des professionnels de la cybersécurité va au-delà de la technique ; il s'agit d'une responsabilité institutionnelle.

• Sécurité par conception : L'intégration de la sécurité dès la phase de conception (security by design) est cruciale.
• Surveillance continue : Nécessité de tests de pénétration continus et de réévaluations périodiques, car les vulnérabilités émergent avec le temps.
• Éducation : Rôle clé dans la sensibilisation des cliniciens et des administrateurs aux risques numériques.
• Atténuation : Mise en place de couches de sécurité (chiffrement, contrôle d'accès) pour minimiser l'impact des brèches inévitables.

4. Contributions et Signification

Cette étude apporte plusieurs contributions majeures au domaine de la santé numérique et de la gouvernance de l'IA :

• Changement de paradigme : Elle déplace le débat de la performance technique vers la gouvernance institutionnelle. La crédibilité de l'IA est présentée comme une réalisation institutionnelle plutôt que comme un résultat purement algorithmique.
• Rôle central de la cybersécurité : L'article établit que la gestion de la cybersécurité est intrinsèquement liée à la confiance des patients. Une infrastructure sécurisée est un signal de responsabilité institutionnelle.
• Modèle conceptuel : Les auteurs proposent un modèle (Figure 1.2) illustrant comment la gouvernance institutionnelle, la gestion des risques et la réponse aux incidents façonnent la formation de la confiance dans l'IA de santé.
• Implications pour l'innovation responsable : L'étude soutient l'idée que la gestion des risques doit être intégrée à la conception des systèmes (anticipatory governance) plutôt que d'être une mesure réactive après un échec.

5. Limites et Perspectives

• Limites : L'étude se base sur les perceptions des professionnels et ne mesure pas directement l'impact sur le comportement des patients ou des cliniciens. Les résultats sont interprétatifs et spécifiques au contexte technologique actuel.
• Recherche future : Il est nécessaire d'étudier longitudinalement comment ces pratiques de gouvernance évoluent et d'examiner si elles sont visibles et significatives pour les communautés de patients, en particulier celles historiquement méfiantes envers le système de santé.

Conclusion : La crédibilité de l'IA en santé ne dépend pas uniquement de sa précision technique, mais de la capacité des institutions à démontrer une gestion proactive des risques, une transparence et une responsabilité continue. La cybersécurité n'est pas une simple fonction de support, mais un pilier fondamental de la confiance institutionnelle dans un environnement de soins de santé de plus en plus numérisé.