Disagreement as a signal: an auditable dual-LLM and human-arbitrated workflow for methodological quality assessment in preclinical complex-intervention evidence

Technische Samenvatting: Discrepantie als Signaal in Auditeerbare Dual-LLM Workflows

Probleemstelling
De integratie van Large Language Models (LLMs) in workflows voor evidence synthesis versnelt, maar hun toepassing op de beoordeling van methodologische kwaliteit blijft uitdagend. In tegenstelling tot eenvoudige informatie-extractie, vereist de beoordeling van kwaliteit complexe oordelen over niet-specifieke factoren, domeinspecifieke controles en contextafhankelijke scoreregels. De huidige literatuur suggereert dat hoewel LLMs kunnen assisteren bij screening of extractie, zij de menselijke beoordelaars bij taken met een hoog belang (high-stakes judgment tasks) niet autonoom kunnen vervangen zonder de betrouwbaarheid in gevaar te brengen. Er bestaat een kritiek gat door het gebrek aan een duidelijk gedefinieerde, auditeerbare workflow die LLMs inzet voor pre-scoring, terwijl het menselijk toezicht behouden blijft, met name voor complexe interventies zoals preklinische dierstudies waarbij controlecondities moeten aansluiten bij specifieke niet-specifieke factoren (bijv. hitte, rook, fixatie).

Methodologie
De auteurs ontwikkelden en testten een auditeerbare, door mensen gearbitreerde dual-LLM pre-scoring workflow. Het proces werd als volgt gestructureerd:

1. Corpus Preparatie: 16 volledige dierstudies over moxibustie bij inspanningsgerelateerde vermoeidheid werden geselecteerd. PDF's werden naar Markdown geconverteerd met behulp van MinerU om de machineleesbaarheid te verbeteren.
2. Gestructureerde Evidence Extractie: Bewijs werd geëxtraheerd in gestructureerde tabellen met bronbestanden, originele regelnummers, letterlijke citaten en extractierationales om herleidbaarheid (provenance) te waarborgen.
3. Dual-LLM Pre-scoring: Twee onafhankelijke interactieve LLM-omgevingen verwerkten dezelfde bewijspakketten en vooraf vastgestelde scoreregels. Zij genereerden initiële scores, locaties van bewijs en rationales.
4. Arbitratie-triggers:
   • Discrepantie-route: Items met scoreverschillen ($\Delta \ge 1$), ambigue bewijslast of grensvoordelende oordelen werden gerouteerd naar menselijke arbitrage.
   • Overeenstemming-route: Items waar beide LLM's het eens waren, werden niet geaccepteerd als de absolute waarheid (ground truth), maar werden onderworpen aan een steekproefsgewijze review door menselijke onderzoekers om gedeelde misclassificaties te detecteren.
   • Derde-partij Review: Cruciale items op de grenzen van categorieën ondergingen een aanvullende onafhankelijke review.
5. Scoring Frameworks: De workflow paste drie architecturen toe:
   • SYRCLE: 9 items (Risk of Bias).
   • ARRIVE 2.0: 12 items (Reporting Quality).
   • Moxibustie-Specifiek Framework (MSF): 10 items (Operationele kwaliteit van complexe interventies, gericht op de design van controles, dosis-reproduceerbaarheid en veiligheid).

Belangrijkste Resultaten

• Workflow Metrieken: De workflow genereerde 496 item-niveau beoordelingen. De twee LLM's bereikten een exacte overeenstemming van 79,2% (393 items) en een discrepantie van 20,8% (103 items). Alle discrepante items werden door mensen gearbitreerd.
• Waarde van Menselijke Interventie:
  • Onder de 50 steekproefsgewijs gecontroleerde items die overeenstemming vertoonden, werden er 48 bevestigd en 2 gecorrigeerd (96,0% bevestigingspercentage binnen de steekproef, niet de algehele nauwkeurigheid).
  • Menselijke arbitrage loste discrepanties op door terug te grijpen op de bewijsketen; de uiteindelijke beslissing kwam in 73,8% van de gevallen overeen met LLM A, in 23,3% met LLM B, en week in 2,9% van de gevallen af van beide.
  • De review door een derde partij identificeerde en corrigeerde 8 systematische scoring-inconsistenties.
• Discrepantiepatronen: Discrepanties concentreerden zich op contextafhankelijke en domeingrens-items, waaronder inclusie-/exclusiecriteria, rapportage van uitkomsten, baseline kenmerken, interpretatie van specificiteit en de afstemming van fixatie/omgeving en sham-controles.
• Methodologische Inzichten: De gestructureerde matrix onthulde recurrente zwakheden in het corpus: onvoldoende sham- of niet-acupunctuur controles, inadequate thermische/fixatie-matching, incomplete dosis-reproduceerbaarheid (temperatuur, afstand) en zwakke rapportage over veiligheid.
• Construct Vergelijking: De MSF-percentage scores waren in alle 16 studies hoger dan de SYRCLE-scores (gemiddelde $\Delta = +23,9$ procentpunten). Dit verschil werd primair gedreven door de MSF-beoordeling van dosis en operationele reproduceerbaarheid, constructen die niet worden gevangen door generieke risk-of-bias instrumenten.

Kernbijdragen

1. Auditeerbaar Workflow Design: De studie stelt een overdraagbare workflow voor waarbij LLM's worden beperkt tot bewijslokalisatie, pre-scoring en het blootleggen van discrepanties, in plaats van autonome beoordeling. De kerncomponenten—gestructureerde herleidbaarheid, dual-model discrepantie-getriggerde arbitrage, steekproefsgewijze review van overeenstemmende items en onafhankelijke derde-partij review—zijn ontworpen om domein-agnostisch te zijn.
2. Discrepantie als Signaal: Het artikel herkadert LLM-discrepantie niet als ruis of falen, maar als een hoogwaardig signaal dat wijst op complexe oordeelsvereisten of onvoldoende bewijs, waardoor menselijke inspanning effectief wordt gerouteerd naar de meest kritieke items.
3. Domeinspecifiek Framework (MSF): De ontwikkeling van de MSF laat zien hoe generieke tools (SYRCLE/ARRIVE) kunnen worden aangevuld met interventie-specifieke frameworks om operationele blinde vlekken (bijv. thermische dosis-reproduceerbaarheid bij moxibustie) te vangen die generieke tools missen.

Betekenis en Claims
De auteurs positioneren deze studie als een methodologische pilot in plaats van een definitieve validatie van LLM-nauwkeurigheid.

• Rol van LLM's: De studie claimt dat LLM's effectieve instrumenten zijn voor het structureren van verspreide methodologische aanwijzingen en het blootleggen van onzekerheid binnen een traceerbare bewijsketen, maar dat zij een bijrol moeten blijven spelen naast menselijke arbitrage.
• Beperkingen: De auteurs stellen expliciet dat het bevestigingspercentage van 96% in de steekproefsgewijs gecontroleerde items niet gelijkstaat aan de algehele nauwkeurigheid van het model, aangezien er geen volledig onafhankelijke dual-human gold standard is vastgesteld. De MSF bevindt zich in een pilotfase en vereist externe validatie voor betrouwbaarheid en validiteit.
• Generaliseerbaarheid: De workflow-componenten worden geclaimd als overdraagbaar naar andere complexe interventies (bijv. acupunctuur, chirurgie), mits domeinexperts specifieke scoring-items en grenswaarden definiëren vóór implementatie.
• Conclusie: De primaire bijdrage is de demonstratie dat een dual-LLM workflow, wanneer gekoppeld aan rigoureuze menselijke arbitrage en provenance-tracking, in staat is om auditeerbare, vergelijkbare item-matrices te genereren die recurrente methodologische patronen in complex-interventie onderzoek onthullen die anders verborgen zouden blijven.