"Where is this coming from?" Uncovering Trustworthiness Ideals in AI-powered Peripartum Information Seeking

Résumé technique : « D'où cela vient-il ? » Dévoiler les idéaux de fiabilité dans la recherche d'informations périnatales assistée par l'IA

Énoncé du problème
Les États-Unis font face à des taux élevés de mortalité maternelle évitable avec de profondes disparités raciales et socio-économiques. Bien que les dossiers de santé électroniques (DSE) et les portails patients visent à améliorer l'accès à l'information, ils contribuent souvent à l'épuisement professionnel des cliniciens et créent des goulots d'étranglement, poussant les patients à rechercher des sources d'information alternatives plus rapides (ex. : réseaux sociaux, blogs) qui comportent des risques de désinformation. Les interventions actuelles basées sur l'IA et le TAL (traitement automatique du langage naturel) (ex. : Rosie, Jacaranda) se concentrent sur la récupération de documents factuels et vérifiés pour répondre aux requêtes. Cependant, ces systèmes sous-spécifient souvent les structures de gouvernance socio-techniques nécessaires pour établir la confiance dans des domaines à enjeux élevés et historiquement inéquitables comme la santé reproductive. Le problème central est que l'exactitude seule est insuffisante ; la fiabilité dans les soins peripartaux est façonnée par la méfiance historique, les inégalités structurelles et la nécessité que l'information soit exploitable au sein des parcours de soins existants. Il existe un manque de compréhension concernant la manière dont les diverses parties prenantes (personnes en période de mise au monde, cliniciens, travailleurs de la santé) perçoivent la gouvernance, la vérification et l'intégration des outils d'IA dans ce contexte.

Méthodologie
Les auteurs ont employé une approche qualitative centrée sur l'humain pour étudier les exigences socio-techniques du soutien à l'information assisté par l'IA.

• Conception de l'étude : Quatre groupes de discussion synchrones et semi-structurés ont été menés via Zoom avec un total de 24 participants ($n=24$).
• Groupes de parties prenantes : Les participants ont été recrutés parmi trois groupes centraux :
  1. Personnes en période de mise au monde : Individus actuellement enceintes ou en post-partum (dans les 3 ans), incluant celles avec ou sans bagage professionnel de santé.
  2. Cliniciens : Obstétriciens-gynécologues, sages-femmes certifiées et infirmiers/infirmières.
  3. Travailleurs de la santé : Doulas, travailleurs sociaux et agents de santé communautaire.
• Collecte de données : Les sessions duraient 90 minutes chacune et couvraient quatre thèmes : (1) les sources d'information actuelles, (2) les expériences avec l'infrastructure clinique (portails patients/DSE), (3) les expériences avec la désinformation, et (4) les réactions à une sonde de conception.
• Sonde de conception : Une application de FAQ alimentée par l'IA a été présentée comme un artefact visuel. Elle démontrait un système qui fait correspondre les requêtes des utilisateurs à des documents vérifiés par des cliniciens (fournissant une réponse) ou s'abstient de répondre si aucun document vérifié n'existe, proposant de transmettre la requête à un prestataire de soins.
• Analyse : Les auteurs ont utilisé une approche de codage ouvert inductif. Les transcriptions ont été segmentées par groupe de parties prenantes et par sujet, codées pour générer un ensemble de codes initial, puis fusionnées et affinées par un codage focalisé et un consensus entre auteurs afin de dériver des enseignements thématiques.

Contributions clés et résultats
L'étude identifie que dans les contextes de santé à enjeux élevés façonnés par des inégalités historiques, la fiabilité doit être inspectable et non simplement affirmée. Les parties prenantes ont recadré la notion de « bonne information », passant de la simple correction factuelle à une information exploitable, contextuelle et intégrée en toute sécurité dans les parcours de soins. L'analyse a produit quatre thèmes principaux et des implications de conception correspondantes :

1. Soutien à la construction de sens sociale et identitaire :

   • Constat : Les utilisateurs recherchent de la réassurance, une normalisation et des récits de pairs (« des gens comme moi ») parallèlement aux faits. Le recours aux réseaux de pairs est souvent amplifié par des expériences cliniques négatives et des inégalités structurelles (ex. : racisme obstétrical).
   • Implication de conception : Les systèmes doivent adopter des modèles de type « le soutien d'abord », offrir des récits de pairs sur option et employer une conception sensible à la méfiance qui reconnaît les contextes historiques et les déterminants sociaux de la santé.

2. Pratiques de vérification pluralistes :

   • Constat : Les postures de confiance sont divergentes ; certains utilisateurs considèrent les cliniciens comme la référence absolue, tandis que d'autres se méfient des systèmes cliniques en raison de la lenteur des mises à jour ou des biais. La vérification est souvent un processus social/dialogique (ex. : utilisation du cadre BRAIN) plutôt qu'une simple vérification de faits individuelle.
   • Implication de conception : Les systèmes devraient proposer plusieurs voies de vérification (directives, incitations cliniques, discussions communautaires), offrir des outils d'auto-plaidoyer et soutenir un support calibré où le système peut s'abstenir ou exprimer une incertitude plutôt que de forcer une réponse définitive.

3. Gouvernance inspectable avec mécanismes de recours :

   • Constment : Les utilisateurs exigent une fiabilité démontrable, posant des questions telles que « qui a validé ceci ? », « quand ? » et « que se passe-t-il si c'est erroné ? ». Les préoccupations relatives à la confidentialité des données (ex. : la peur d'un signalement aux services de protection de l'enfance) sont critiques.
   • Implication de conception : Les systèmes doivent fournir des métadonnées de provenance (source, réviseur, date), des étiquettes de sensibilité de mise à jour, des boucles de rétroaction auditables pour le signalement d'erreurs, et une conception respectueuse de la vie privée avec un consentement granulaire.

4. Intégrations conscientes de l'écosystème :

   • Constat : Les outils doivent compléter, et non remplacer ou peser sur, les flux de travail cliniques et communautaires existants. Les utilisateurs craignent les outils qui déplacent la charge de la communication sur eux-mêmes ou sur les cliniciens.
   • Implication de conception : Mettre en œuvre un routage des ressources vers des ressources locales, abordables et connectées à l'humain (ex. : doulas) et des « passages de relais principled » qui aident les utilisateurs à formuler des messages cliniquement lisibles pour l'escalade sans remplacer le rôle du clinicien.

Signification et revendications
L'article affirme que ses conclusions remettent en question l'hypothèse selon laquelle la fiabilité de l'IA peut être atteinte uniquement par des interventions au niveau du modèle (ex. : optimisation de l'exactitude). Au lieu de cela, il plaide pour une compétence structurelle dans la conception de l'IA, où l'équité est traitée comme une propriété de l'infrastructure de service plutôt que comme une simple propriété de l'algorithme.

Les auteurs proposent un passage de la « confiance par la conception » à une « fiabilité inspectable », suggérant la création de « Fiches de Système ou de Service » documentant les limites de portée, la provenance, les voies de recours et les paramètres de confidentialité par défaut. De plus, l'article soutient que les cadres d'évaluation actuels de l'interaction Humain-IA, qui se concentrent souvent sur l'exactitude et la dépendance excessive, doivent être élargis pour inclure des métriques socio-techniques telles que :

• Qualité de l'abstention : Si les refus fournissent des alternatives constructives.
• Calibration de la confiance : Si les utilisateurs comprennent les limites du système sans dépendance excessive.
• Résultats d'auto-plaidoyer : Si le système aide les utilisateurs à articuler leurs objectifs et à naviguer dans les relations de soins.
• Impact affectif : Si le système apporte de la réassurance sans persuasion indue.

Les auteurs font preuve de modestie quant à la généralisabilité, notant que l'étude est ancrée dans le contexte de santé des États-Unis et les populations anglophones. Cependant, ils suggèrent que ces thèmes concernant le pluralisme, l'inspectabilité et l'intégration de l'écosystème sont transférables à d'autres domaines à enjeux élevés où les utilisateurs ont une confiance variable envers les institutions et où la recherche d'informations remplit des fonctions sociales et émotionnelles parallèlement aux fonctions factuelles.