Disagreement as a signal: an auditable dual-LLM and human-arbitrated workflow for methodological quality assessment in preclinical complex-intervention evidence

Résumé technique : Le désaccord comme signal dans les flux de travail à double LLM auditables

Énoncé du problème
L'intégration des modèles de langage de grande taille (LLM) dans les flux de travail de synthèse des preuves s'accélère, mais leur application à l'évaluation de la qualité méthodologique reste complexe. Contrairement à l'extraction simple d'informations, l'évaluation de la qualité implique des jugements complexes concernant des facteurs non spécifiques, des contrôles spécifiques au domaine et des règles de notation dépendantes du contexte. La littérature actuelle suggère que, bien que les LLM puissent aider au criblage ou à l'extraction, ils ne peuvent pas remplacer de manière autonome les évaluateurs humains dans des tâches de jugement à enjeux élevés sans risquer la fiabilité. Il existe une lacune critique due à l'absence d'un flux de travail clairement défini et auditable qui exploite les LLM pour la pré-notation tout en maintenant une supervision humaine, particulièrement pour les interventions complexes comme les études animales précliniques où les conditions de contrôle doivent corresponder à des facteurs non spécifiques précis (ex. : chaleur, fumée, contention).

Méthodologie
Les auteurs ont développé et piloté un flux de travail de pré-notation à double LLM, auditable et arbitré par l'humain. Le processus a été structuré comme suit :

1. Préparation du corpus : 16 études animales complètes sur la moxibustion pour la fatigue induite par l'exercice ont été sélectionnées. Les PDF ont été convertis en Markdown via MinerU pour améliorer la lisibilité par machine.
2. Extraction structurée des preuves : Les preuves ont été extraites dans des tableaux structurés contenant les fichiers sources, les numéros de lignes originaux, les extraits textuels et les justifications d'extraction afin de garantir la provenance.
3. Pré-notation par double LLM : Deux environnements LLM interactifs indépendants ont traité les mêmes ensembles de preuves et les règles de notation pré-spécifiées. Ils ont généré des scores initiaux, des localisations de preuves et des justifications.
4. Déclencheurs d'arbitrage :
   • Voie de divergence : Les éléments présentant des différences de score ($\Delta \ge 1$), des preuves ambiguës ou des jugements limites ont été acheminés vers l'arbitrage humain.
   • Voie d'accord : Les éléments où les deux LLM étaient d'accord n'ont pas été acceptés comme vérité de terrain, mais ont été soumis à un examen par échantillonnage par des chercheurs humains pour détecter d'éventuelles erreurs de classification partagées.
   • Examen par un tiers : Les éléments limites clés ont fait l'objet d'un examen indépendant supplémentaire.
5. Cadres de notation : Le flux de travail a appliqué trois architectures :
   • SYRCLE : 9 items (Risque de biais).
   • ARRIVE 2.0 : 12 items (Qualité du rapport).
   • Cadre spécifique à la moxibustion (MSF) : 10 items (Qualité opérationnelle de l'intervention complexe, se concentrant sur la conception du contrôle, la reproductibilité de la dose et la sécurité).

Résultats clés

• Métriques du flux de travail : Le flux de travail a généré 496 évaluations par item. Les deux LLM ont atteint un accord exact de 79,2 % (393 items) et un désaccord de 20,8 % (103 items). Tous les éléments divergents ont été arbitrés par des humains.
• Valeur de l'intervention humaine :
  • Parmi 50 items échantillonnés en accord, 48 ont été confirmés et 2 ont été corrigés (taux de confirmation de 96,0 % au sein de l'échantillon, non de la précision globale).
  • L'arbitrage humain a résolu les divergences en revenant à la chaîne de preuves ; la décision finale correspondait au LLM A dans 73,8 % des cas, au LLM B dans 23,3 %, et différait des deux dans 2,9 % des cas.
  • L'examen par un tiers a identifié et corrigé 8 incohérences systématiques de notation.
• Modèles de désaccord : Les désaccords se sont concentrés sur des éléments dépendants du contexte et des limites de domaine, incluant les critères d'inclusion/exclusion, le rapport des résultats, les caractéristiques de base, l'interprétation de la spécificité et l'appariement des contrôles de fixation/environnement et des contrôles factices (sham).
• Perspectives méthodologiques : La matrice a révélé des faiblesses récurrentes dans le corpus : insuffisance des contrôles factices ou des contrôles de points non-acupoint, appariement thermique/de fixation inadéquat, reproductibilité de la dose incomplète (température, distance) et rapports de sécurité faibles.
• Comparaison des construits : Les scores en pourcentage du MSF ont dépassé les scores SYRCLE dans les 16 études (différence moyenne $\Delta = +23,9$ points de pourcentage). Cette différence est principalement due à l'évaluation de la dose et de la reproductibilité opérationnelle par le MSF, des construits non capturés par les outils génériques de risque de biais.

Contributions clés

1. Conception de flux de travail auditable : L'étude propose un flux de travail transférable où les LLM sont contraints à la localisation des preuves, à la pré-notation et à l'exposition des divergences, plutôt qu'à l'évaluation autonome. Les composantes centrales — provenance structurée, arbitrage déclenché par la divergence de double modèle, examen échantillonné des éléments en accord et examen indépendant par un tiers — sont conçues pour être agnostiques au domaine.
2. Le désaccord comme signal : L'article recadre le désaccord entre LLM non pas comme un bruit ou un échec, mais comme un signal à haute valeur indiquant des exigences de jugement complexes ou des preuves insuffisantes, orientant ainsi efficacement l'effort humain vers les éléments les plus critiques.
3. Cadre spécifique au domaine (MSF) : Le développement du MSF démontre comment les outils génériques (SYRCLE/ARRIVE) peuvent être complétés par des cadres spécifiques à l'intervention pour capturer des angles morts opérationnels (ex. : reproductibilité de la dose thermique dans la moxibustion) que les outils génériques ignorent.

Signification et affirmations
Les auteurs positionnent cette étude comme un pilote méthodologique plutôt que comme une validation définitive de la précision des LLM.

• Rôle des LLM : L'étude affirme que les LLM sont des outils efficaces pour structurer des indices méthodologiques dispersés et exposer l'incertitude au sein d'une chaîne de preuves traçable, mais qu'ils doivent rester auxiliaires à l'arbitrage humain.
• Limites : Les auteurs précisent explicitement que le taux de confirmation de 96 % dans les éléments échantillonnés en accord ne signifie pas la précision globale du modèle, car aucune vérité de terrain duale entièrement humaine n'a été établie. Le MSF est à un stade pilote et nécessite une validation externe pour sa fiabilité et sa validité.
• Généralisabilité : Les composantes du flux de travail sont affirmées comme étant transférables à d'autres interventions complexes (ex. : acupuncture, chirurgie), à condition que des experts du domaine définissent des items de notation et des règles limites spécifiques avant le déploiement.
• Conclusion : La principale contribution est la démonstration qu'un flux de travail à double LLM, couplé à un arbitrage humain rigoureux et à un suivi de la provenance, peut générer des matrices d'items auditables et comparables qui révèlent des modèles méthodologiques récurrents dans la recherche d'interventions complexes qui pourraient autrement rester occultés.