Disagreement as a signal: an auditable dual-LLM and human-arbitrated workflow for methodological quality assessment in preclinical complex-intervention evidence

Sintesi Tecnica: Il Disaccordo come Segnale in Flussi di Lavoro Duali LLM Auditabili

Problematica
L'integrazione dei Large Language Models (LLM) nei flussi di lavoro di sintesi delle evidenze sta accelerando, tuttavia la loro applicazione alla valutazione della qualità metodologica rimane una sfida. A differenza della semplice estrazione di informazioni, la valutazione della qualità comporta giudizi complessi riguardanti fattori non specifici, controlli specifici del dominio e regole di punteggio dipendenti dal contesto. La letteratura attuale suggerisce che, sebbene gli LLM possano assistere nella selezione o nell'estrazione, non possono sostituire autonomamente gli assessori umani in compiti di giudizio ad alto rischio senza compromettere l'affidabilità. Esiste una lacuna critica nella mancanza di un flusso di lavoro chiaramente definito e auditabile che sfrutti gli LLM per il pre-punteggio mantenendo al contempo la supervisione umana, in particolare per interventi complessi come gli studi animali preclinici, dove le condizioni di controllo devono corrispondere a specifici fattori non specifici (ad es. calore, fumo, restrizione).

Metodologia
Gli autori hanno sviluppato e testato un flusso di lavoro di pre-punteggio duale LLM, auditabile e arbitrato dall'uomo. Il processo è stato strutturato come segue:

1. Preparazione del Corpus: Sono stati selezionati 16 studi animali a testo completo sulla moxibustione per la fatica indotta dall'esercizio. I PDF sono stati convertiti in Markdown utilizzando MinerU per migliorare la leggibilità da parte delle macchine.
2. Estrazione Strutturata delle Evidenze: Le evidenze sono state estratte in tabelle strutturate contenenti file sorgente, numeri di riga originali, estratti letterali e motivazioni dell'estrazione per garantire la provenienza.
3. Pre-punteggio Duale LLM: Due ambienti LLM interattivi indipendenti hanno elaborato gli stessi pacchetti di evidenze e le regole di punteggio predefinite. Hanno generato punteggi iniziali, localizzazioni delle evidenze e motivazioni.
4. Trigger di Arbitrato:
   • Percorso di Discrepanza: Gli elementi con differenze di punteggio ($\Delta \ge 1$), evidenze ambigue o giudizi limite sono stati indirizzati all'arbitrato umano.
   • Percorso di Accordo: Gli elementi in cui entrambi gli LLM concordavano non sono stati accettati come verità assoluta (ground truth), ma sono stati sottoposti a una revisione campionata da parte di ricercatori umani per rilevare errori di classificazione condivisi.
   • Revisione di Terza Parte: Gli elementi limite chiave sono stati sottoposti a una revisione indipendente aggiuntiva.
5. Framework di Punteggio: Il flusso di lavoro ha applicato tre architetture:
   • SYRCLE: 9 elementi (Rischio di Bias).
   • ARRIVE 2.0: 12 elementi (Qualità del Reporting).
   • Framework Specifico per la Moxibustione (MSF): 10 elementi (Qualità operativa di interventi complessi, focalizzato sul design del controllo, la riproducibilità della dose e la sicurezza).

Risultati Chiave

• Metriche del Flusso di Lavoro: Il flusso di lavoro ha generato 496 valutazioni a livello di item. I due LLM hanno raggiunto un accordo esatto del 79,2% (393 item) e un disaccordo del 20,8% (103 item). Tutti gli elementi discrepanti sono stati arbitrati da esseri umani.
• Valore dell'Intervento Umano:
  • Tra i 50 item campionati in accordo, 48 sono stati confermati e 2 sono stati corretti (tasso di conferma del 96,0% all'interno del campione, non dell'accuratezza complessiva).
  • L'arbitrato umano ha risolto le discrepanze tornando alla catena delle evidenze; la decisione finale corrispondeva all'LLM A nel 73,8% dei casi, all'LLM B nel 23,3% e differiva da entrambi nel 2,9%.
  • La revisione di terza parte ha identificato e corretto 8 incongruenze sistematiche di punteggio.
• Modelli di Disaccordo: I disaccordi si sono concentrati su elementi dipendenti dal contesto e sui confini del dominio, inclusi i criteri di inclusione/esclusione, il reporting degli esiti, le caratteristiche basali, l'interpretazione della specificità e l'accoppiamento tra controllo di fissazione/ambiente e controlli sham.
• Approfondimenti Metodologici: La matrice strutturata ha rivelato debolezze ricorrenti nel corpus: insufficienti controlli sham o di non-acupoint, inadeguato accoppiamento termico/di fissazione, riproducibilità della dose incompleta (temperatura, distanza) e debole reporting della sicurezza.
• Confronto dei Costrutti: I punteggi percentuali dell'MSF hanno superato i punteggi SYRCLE in tutti i 16 studi (media $\Delta = +23,9$ punti percentuali). Questa differenza è stata guidata principalmente dalla valutazione della dose e della riproducibilità operativa dell'MSF, costrutti non catturati dagli strumenti generici di rischio di bias.

Contributi Chiave

1. Design di un Flusso di Lavoro Auditabile: Lo studio propone un flusso di lavoro trasferibile in cui gli LLM sono vincolati alla localizzazione delle evidenze, al pre-punteggio e all'esposizione delle discrepanze, piuttosto che alla valutazione autonoma. I componenti principali — provenienza strutturata, arbitrato attivato dalla discrepanza tra modelli duali, revisione campionata degli elementi in accordo e revisione indipendente di terza parte — sono progettati per essere indipendenti dal dominio.
2. Il Disaccordo come Segnale: Il documento inquadra il disaccordo tra LLM non come rumore o fallimento, ma come un segnale di alto valore che indica requisiti di giudizio complessi o evidenze insufficienti, indirizzando efficacemente lo sforzo umano verso gli elementi più critici.
3. Framework Specifico del Dominio (MSF): Lo sviluppo dell'MSF dimostra come gli strumenti generici (SYRCло/ARRIVE) possano essere integrati da framework specifici per l'intervento per catturare punti ciechi operativi (ad es. la riproducibilità della dose termica nella moxibustione) che gli strumenti generici trascurano.

Significatività e Rivendicazioni
Gli autori posizionano questo studio come un pilota metodologico piuttosto che come una validazione definitiva dell'accuratezza degli LLM.

• Ruolo degli LLM: Lo studio sostiene che gli LLM siano strumenti efficaci per strutturare indizi metodologici dispersi ed esporre l'incertezza all'interno di una catena di evidenze tracciabile, ma devono rimanere ausiliari all'arbitrato umano.
• Limitazioni: Gli autori dichiarano esplicitamente che il tasso di conferma del 96% negli item campionati in accordo non equivale all'accuratezza complessiva del modello, poiché non è stato stabilito un "gold standard" duale umano completamente indipendente. L'MSF è in una fase pilota e richiede una validazione esterna per affidabilità e validità.
• Generalizzabilità: I componenti del flusso di lavoro sono rivendicati come trasferibili ad altri interventi complessi (ad es. agopuntura, chirurgia), a condizione che esperti di dominio definiscano specifici elementi di punteggio e regole di confine prima del deployment.
• Conclusione: Il contributo primario è la dimostrazione che un flusso di lavoro duale LLM, se accoppiato con un rigoroso arbitrato umano e il tracciamento della provenienza, può generare matrici di item comparabili e auditabili che rivelano modelli metodologici ricorrenti nella ricerca su interventi complessi che altrimenti potrebbero rimanere oscurati.