💻 computer science

Artificial Intelligence in Surgical Qualitative Research: A Comparison of Human and AI-Assisted Thematic Analysis

Cette étude compare l'analyse thématique humaine et assistée par l'IA dans la recherche qualitative chirurgicale, constatant que bien que les deux méthodes identifient des thèmes transversaux similaires, les recueils de codes générés par l'humain produisent une fidélité inter-codeurs plus élevée grâce à des limites thématiques plus claires, suggérant qu'une approche hybride combinant l'efficacité de l'IA avec le raffinement humain pourrait être optimale.

Auteurs originaux : Bonnie E Laingen, Wesley H Iobst, Jarrett Dobbins, Jacob W Johnson, Gabriel E Cambronero, Lucas P Neff, Maggie E Bosley

Publié 2026-06-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bonnie E Laingen, Wesley H Iobst, Jarrett Dobbins, Jacob W Johnson, Gabriel E Cambronero, Lucas P Neff, Maggie E Bosley

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une boîte géante contenant 200 notes manuscrites de chirurgiens. Chaque note répond à une question : « Quelle est la chose la plus difficile lors de la réalisation d'une chirurgie spécifique (LCBDE) dans votre hôpital ? »

Votre objectif est de lire toutes ces notes, de les trier en piles basées sur les problèmes mentionnés, et de donner un nom à chaque pile. Ce processus est appelé Analyse Thématique. Habituellement, des humains font cela en lisant, en débattant et en affinant les étiquettes jusqu'à ce qu'ils s'accordent sur ce que signifie chaque pile.

Ce document pose une question simple : Un robot (Intelligence Artificielle) peut-il effectuer ce travail de tri aussi bien qu'un humain ?

Voici l'histoire de la manière dont ils ont testé cela, en utilisant quelques analogies simples.

Les deux équipes

Les chercheurs ont organisé une course entre deux équipes pour trier les mêmes 200 notes :

L'Équipe Humaine : Deux médecins ont lu les notes. Ils ont commencé sans étiquettes. En lisant, ils ont créé leur propre liste de catégories (comme « Pas assez d'argent », « Pas assez de temps », « Mauvais équipement »). Ils ont continué à affiner ces étiquettes jusqu'à ce qu'elles soient très claires et distinctes. C'est leur Codebook Humain.
L'Équipe IA : Ils ont injecté les 200 notes dans une IA puissante (ChatGPT) en un seul gros lot. Ils ont dit à l'IA : « Regarde ces notes et crée ta propre liste de catégories. » L'IA a fait cela instantanément, sans aide humaine ni exemples. C'est le Codebook de l'IA.

Les résultats : Qui a le mieux trié ?

Les deux équipes ont réussi à identifier les problèmes de vue d'ensemble. Qu'il s'agisse d'un humain ou d'un robot lisant les notes, tous deux se sont accordés sur le fait que les problèmes principaux étaient :

Problèmes d'équipement
Problèmes d'argent/coût
Contraintes de temps
Manque de soutien de la part des supérieurs
Faible fréquence de la chirurgie (Faible volume)

Cependant, il y avait une différence dans la manière dont ils ont trié les notes.

Le problème des « piles floues »

Considérez les étiquettes de l'Équipe Humaine comme des boîtes claires et distinctes. Si une note disait « Nous n'avons pas les bons outils », elle allait dans la boîte « Équipement ». Si elle disait « Nous n'avons pas le temps », elle allait dans la boîte « Temps ». Les boîtes ne se chevauchaient pas beaucoup.

Les étiquettes de l'Équipe IA étaient un peu plus comme des cercles flous et superposés. L'IA a créé des catégories très larges. Par exemple, elle aurait pu créer une étiquette appelée « Flux de travail et culture ». Une seule note concernant « L'hôpital préfère une autre chirurgie » pourrait correspondre à trois catégories différentes de l'IA en même temps.

Parce que les catégories de l'IA étaient si larges et superposées, les deux codeurs humains qui ont essayé d'utiliser la liste de l'IA pour trier les notes ont été plus souvent confus. Ils ne tombaient pas toujours d'accord sur la pile « floue » à laquelle une note appartenait.

Le tableau de score

Les chercheurs ont mesuré la fréquence à laquelle les deux codeurs étaient d'accord entre eux (Fiabilité inter-codeurs).

Équipe Humaine : Ils étaient d'accord 95,1 % du temps. Leur « score d'accord » (Kappa) était de 0,75.
Équipe IA : Ils étaient d'accord 92,3 % du temps. Leur « score d'accord » (Kappa) était de 0,64.

Bien que l'IA soit restée très performante, les humains étaient légèrement plus cohérents. Le document note que la différence était statistiquement significative, ce qui signifie que ce n'était pas un coup de chance ; les étiquettes humaines étaient simplement un peu plus claires.

La solution « Hybride »

Le document conclut que l'IA est comme un assistant rapide et utile qui peut regarder rapidement une pièce en désordre et dire : « D'accord, voici les principaux types de désordre : vêtements, livres et vaisselle. »

Mais l'IA pourrait ne pas être parfaite pour définir exactement où va une « chaussette » si elle est mélangée à une « serviette ». Les humains sont nécessaires par la suite pour dire : « En fait, faisons une règle spécifique pour les chaussettes afin que tout le monde sache exactement où elles vont. »

À retenir :
Vous pouvez utiliser l'IA pour faire le gros du travail de recherche des thèmes principaux rapidement. Mais pour s'assurer que les règles sont claires et que tout le monde trie les notes de la même manière, un humain doit intervenir pour affiner les définitions. La meilleure approche est une approche hybride : laissez l'IA faire la première passe, puis laissez les humains polir les étiquettes.

Ce que le document ne dit pas

Il est important de noter ce que cette étude n'a pas affirmé :

Elle n'a pas dit que l'IA est prête à remplacer entièrement les chercheurs humains.
Elle n'a pas testé l'IA sur des entretiens longs et complexes (seulement des réponses courtes à des sondages).
Elle n'a pas testé différentes versions de l'IA ou différentes manières de poser des questions à l'IA (elle a utilisé une méthode « zero-shot », ce qui signifie qu'elle a demandé à l'IA de le faire sans formation préalable ni exemples).
Elle n'a pas affirmé que l'IA était « erronée » concernant les thèmes ; l'IA a trouvé les bonnes idées principales, elle a simplement eu du mal à tracer les lignes entre elles aussi clairement que les humains.

Résumé technique : L'intelligence artificielle dans la recherche qualitative chirurgicale

Énoncé du problème
Bien que l'intelligence artificielle (IA) et les modèles de langage étendus (LLM) aient établi leur utilité dans la recherche quantitative, leur intégration dans l'analyse de données qualitatives reste limitée. La recherche qualitative, particulièrement l'analyse thématique, est historiquement exigeante en main-d'œuvre et repose sur l'interprétation humaine pour distinguer les nuances conceptuelles subtiles et interpréter le sens dépendant du contexte. Bien qu'il existe un intérêt croissant pour l'utilisation de l'IA afin d'accélérer les flux de travail qualitatifs, des préoccupations subsistent quant à la capacité de l'IA à générer des structures thématiques nuancées et bien différenciées sans compromettre la profondeur interprétative. Plus précisément, il existe un manque de comparaison empirique entre les recueils de codes (codebooks) dérivés par l'humain et ceux dérivés par l'IA au sein des contextes cliniques et chirurgicaux, afin de déterminer si l'IA peut produire des analyses qualitatives fiables et défendables.

Méthodologie
Cette étude a réalisé une analyse méthodologique secondaire de 200 réponses de sondages à questions ouvertes, anonymisées, concernant les barrières à la réalisation de la cholédocotomie laparoscopique (LCBDE). La recherche a comparé la fiabilité inter-codeurs (ICR) de deux recueils de codes distincts appliqués au même ensemble de données :

Recueil de codes dérivé par l'humain (HC) : Deux auteurs ont réalisé une analyse thématique inductive. Par un processus itératif de codage ouvert, de comparaison constante et de discussion de consensus, ils ont développé un recueil de codes avec des définitions explicites pour minimiser le chevauchement.
Recueil de codes dérivé par l'IA (AIC) : Le même ensemble de données a été traité par ChatGPT (GPT-5.2) via une stratégie de prompting « zero-shot ». Le modèle a été chargé de générer un recueil de codes thématiques sans exemples ni raffinement itératif, simulant un scénario où les données d'entraînement étiquetées ne sont pas disponibles.

Les deux recueils de codes ont ensuite été appliqués de manière déductive à l'ensemble des données par les deux mêmes codeurs, qui étaient aveugles aux affectations de l'autre lors de la phase d'application. L'analyse statistique comprenait le pourcentage d'accord, le coefficient kappa de Cohen (avec intervalles de confiance à 95 % par bootstrap) et le AC1 de Gwet pour évaluer l'ICR. Une comparaison qualitative de la séparation thématique, du chevauchement conceptuel et de l'ambiguïté de codage a également été effectuée.

Résultats clés

Convergence thématique : Le HC et l'AIC ont identifié de manière indépendante 13 codes. Cinq codes étaient thématiquement identiques dans les deux approches : Équipement, Soutien global, Coût, Contraintes de temps/bloc opératoire, et Faible volume.
Fiabilité inter-codeurs (ICR) : Le HC a démontré une ICR globale plus élevée que l'AIC.
- Pourcentage d'accord : HC était de 95,1 % ; AIC était de 92,3 %.
- Kappa de Cohen : HC était de 0,754 [IC 95 % : 0,711–0,792] ; AIC était de 0,638 [IC 95 % : 0,591–0,684].
- Différence : La différence de kappa ( $\Delta\kappa$ ) était de -0,116 [IC 95 % : -0,168 à -0,059], indiquant un avantage statistiquement significatif pour le recueil de codes dérivé par l'humain.
Structure thématique : L'analyse qualitative a révélé que, bien que les deux recueils de codes aient identifié des thèmes globaux similaires, l'AIC avait tendance à produire des thèmes plus larges et plus chevauchants, entraînant une ambiguïté de codage. En revanche, le HC présentait des frontières thématiques plus claires. Le recueil de codes généré par l'IA regroupait souvent plusieurs constats connexes en une seule définition (par exemple, en combinant le flux de travail, la culture et les préférences personnelles), tandis que le recueil de codes humain les séparait de manière plus distincte.
Nuance statistique : Bien que certains codes individuels aient montré un pourcentage d'accord élevé dans les deux groupes, le « paradoxe de kappa » a été observé dans les codes à faible prévalence ou à fort chevauchement. Les valeurs AC1 de Gwet sont restées élevées pour les deux recueils de codes, suggérant que bien que l'accord statistique soit fort, l'ambiguïté structurelle de l'AIC a contribué à des scores kappa plus faibles.

Signification et affirmations
L'article affirme que les LLM modernes, spécifiquement lorsqu'ils sont utilisés dans une capacité « zero-shot », sont capables d'identifier des schémas majeurs et de générer des structures thématiques initiales qui s'alignent largement sur les découvertes humaines dans les données qualitatives chirurgicales. Cependant, l'étude conclut que les recueils de codes générés par l'IA manquent actuellement de la granularité thématique et de la clarté des frontières atteintes par le raffinement itératif humain.

Les auteurs soutiennent que les résultats appuient une approche hybride de la recherche qualitative chirurgicale. Dans ce modèle, l'IA sert d'outil efficace pour le regroupement initial et l'identification de concepts globaux, tandis que les chercheurs humains restent essentiels pour affiner les définitions des recueils de codes, résoudre les chevauchements thématiques et assurer l'exactitude interprétative. L'étude ne prétend pas que l'IA peut actuellement remplacer les analystes humains dans la recherche qualitative, mais la positionne plutôt comme un outil d'assistance viable pour optimiser l'efficacité dans les premières étapes de l'analyse thématique, à condition qu'une supervision humaine soit maintenue pour garantir la validité analytique.