Sintesi Tecnica: DrugClaw e DrugAudit

Problematica

Il quesito-risposta (QA) sulle informazioni farmacologiche opera in un ambiente ad alto rischio, dove l'allucinazione di fatti può indurre in errore il processo decisionale clinico. Sebbene i Large Language Models (LLM) dimostrino una forte conoscenza biomedica generale, la loro conoscenza parametrica degrada rapidamente al di fuori delle aree terapeutiche ad alta intensità di risorse, e essi mancano di tracce di audit native verso fonti regolatorie o sottoposte a revisione paritaria (peer-reviewed). Inoltre, gli agenti esistenti dotati di strumenti spesso falliscono saltando le fonti primarie regolatorie a favore del primo URL disponibile o fabbricando dati numerici plausibili ma privi di citazioni.

Esiste una lacuna critica nel livello di valutazione: l'attuale punteggio della QA biomedica valuta tipicamente la correttezza superficiale della risposta, ma non riesce a distinguere tra le citazioni a fonti primarie a monte (es. etichette FDA, FAERS) e i wrapper aggregatori a valle di tali stesse fonti. In contesti regolamentati di informazione farmacologica, la provenienza non è una mera scelta di presentazione, ma un asse di valutazione fondamentale.

Metodologia

Il Sistema DrugClaw

DrugClide è un sistema multi-agente di recupero aumentato (RAG) progettato per interrogare un registro di competenze su farmaci e farmacovigilanza tramite un flusso di lavoro a macchina a stati guidato dalla riflessione. La sua architettura si basa su tre obiettivi di progettazione:

1. Tracciabilità della fonte primaria: Ogni affermazione emessa deve portare un identificatore risolvibile rispetto a un record regolatorio o peer-reviewed primario.
2. Astensione calibrata: Il sistema deve rifiutarsi di rispondere quando le competenze sottostanti non restituiscono prove a supporto, invece di fabbricare fatti.
3. Profondità di recupero adattiva: Il ciclo di recupero e ragionamento (retrieve-and-reason) termina una volta che l'evidenza è sufficiente, ma si approfondisce automaticamente quando l'evidenza è scarsa.

Architettura e Flusso di Lavoro:
Il sistema opera come un sistema dinamico discreto su uno stato $S_t = (P_t, E_t, G_t, a_t, r_t)$, dove $P_t$ è il piano di query, $E_t$ è il pool di evidenze, $G_t$ è un grafo affermazione-evidenza, $a_t$ è la risposta testuale intermedia e $r_t$ è un punteggio di sufficienza della riflessione. Il flusso di lavoro itera attraverso sei agenti specializzati (Piano, Recupero, Costruttore di Grafi, Re-Ranker, Risposta, Riflettore) finché $r_t \geq \tau_{suff}$ o viene raggiunto un numero massimo di iterazioni.

• Registro delle Competenze (Skill Registry): DrugClaw accede a un registro chiuso di 57 competenze attive derivate da oltre 70 risorse curate (es. openFDA, ChEMBL, DrugBank, PharmGKB, SIDER). Queste sono organizzate in una tassonomia di 15 sottocategorie.
• Agente di Codice in Sandbox: Per garantire sicurezza e determinismo, il recupero è mediato da un Agente di Codice. Questo agente traduce le sotti-query in un linguaggio Python ristretto ($L_{safe}$) che vieta l'iterazione illimitata e l'esecuzione dinamica. Il codice viene eseguito in una sandbox proxy-only con un timeout rigido. Se la validazione o l'esecuzione falliscono, il sistema passa a una chiamata API diretta.
• Meccanismo di Riflessione: L'agente Riflettore calcola un punteggio di sufficienza $\rho_{t+1}$ basato su copertura, completezza, qualità della fonte, coerenza e azionabilità. Viene applicata una penalità di regressione se il nuovo punteggio è inferiore al precedente, scoraggiando il "thrashing" tra le iterazioni.
• Modalità di Ragionamento: Il sistema supporta tre modalità:
  • Lineare: Un flusso di lavoro a passaggio singolo che privilegia la bassa latenza.
  • Grafico (Graph): Un flusso di lavoro iterativo completo con costruzione del grafo affermazione-evidenza e re-ranking.
  • Solo Web (Web-only): Una modalità di fallback che bypassa il registro per la ricerca web diretta (usata solo quando il registro è insufficiente).

Il Benchmark DrugAudit

Per valutare questi sistemi, gli autori introducono DrugAudit, un benchmark di 3.772 elementi consapevole dell'autorità, derivato da nove database sorgente. A differenza dei benchmark standard, DrugAudit include citazioni gold-standard con localizzatori a livello di campo e URL.

Panel di Metriche Consapevoli dell'Autorità:
Il framework di valutazione introduce quattro metriche per affrontare i bias strutturali delle valutazioni precedenti:

1. Corrispondenza dell'Autorità della Fonte: Utilizza una regola di bucket di equivalenza e una relazione asimmetrica "a monte di" (upstream-of). Assegna credito se un sistema cita una fonte primaria a monte (es. FAERS) anche se lo standard di riferimento (gold standard) cita un aggregatore a valle (es. SIDER), a condizione che la fonte a monte sia autorevole per quella query.
2. Sovrapposizione Semantica degli Snippet: Sostituisce la corrispondenza esatta di sottostringhe con la similarità Jaccard dei token su token non-stop-word.
3. Tasso di Fonte Primaria: Calcola il peso medio delle fonti citate basandosi su una gerarchia (1.0 per fonti regolatorie/peer-reviewed, 0.7 per KB curati, 0.5 per aggregatori).
4. Tasso di Fedeltà (Faithfulness Rate): Misura la frazione di citazioni predette che sono fondate nell'universo della fonte gold o nel testo della risposta.

Protocollo di Valutazione:
Il paper impiega un protocollo a doppio giudice LLM-as-judge utilizzando Llama-3.1-70B-Instruct e gpt-oss-120b. Questi giudici sono esterni a tutti i sistemi candidati per eliminare il bias di auto-preferenza. Valutano la correttezza della risposta basandosi su regole di equivalenza fattuale (conversione di unità, tolleranza di arrotondamento, insensibilità all'ordine) e logica di rifiuto calibrata. L'accordo tra i giudici ($\kappa$) riportato è 0.88 (quasi perfetto).

Contributi Chiave

1. DrugClaw: Un sistema multi-agente fondato sull'autorità che interroga un registro chiuso di fonti regolatorie e peer-reviewed verificate, garantendo che ogni affermazione sia tracciabile rispetto a un record primario.
2. DrugAudit: Un benchmark di 3.772 elementi con un panel di valutazione che valuta esplicitamente la corrispondenza della fonte "a monte del gold", la sovrapposizione semantica dei token e la fedeltà della citazione.
3. Protocollo a Doppio Giudice: Un metodo di valutazione scalabile utilizzando due LLM indipendenti a pesi aperti per ottenere un accordo quasi perfetto ($\kappa = 0.88$) sulla correttezza della risposta.
4. Risultati Empirici: Confronto esaustivo di sette sistemi, dimostrando che DrugClaw supera i baseline nei tassi di fonte primaria e nella densità di evidenza.

Risultati

Valutato su DrugAudit, MedQA (sottoinsieme relativo ai farmaci, 751 elementi) e PubMedQA (sottoinsieme relativo ai farmaci, 512 elementi), DrugClaw ha raggiunto le prestazioni top-1 in tutte le metriche principali:

• Tasso di Fonte Primaria: DrugClaw-graph ha raggiunto lo 0.918, un miglioramento di 10.1 punti percentuali (pp) rispetto al sistema successivo migliore (0.817).
• Fedeltà (Faithfulness): DrugClaw-linear ha raggiunto lo 0.887, un miglioramento di 5.9 pp rispetto al sistema successivo migliore.
• Indice di Evidenza Composita (EI): DrugClaw-graph ha ottenuto 0.632 (giudice Llama) e 0.623 (giudice gpt-oss), superando tutti i baseline.
• Accuratezza in Forma Chiusa: DrugClaw-graph ha raggiunto lo 0.920 su MedQA e lo 0.693 su PubMedQA.
• Rifiuto Calibrato: DrugClaw si è rifiutato di rispondere su 41–48% degli elementi. Tra questi rifiuti, il 91–97% era in linea con le risposte gold che indicavano "nessun dato", mentre i baseline mostravano solo il 1–5% di allineamento. Ciò indica che il sistema si astiene efficacemente quando l'evidenza è insufficiente.

I risultati mostrano che, mentre i leader dell'accuratezza in forma chiusa erano competitivi (entro gli intervalli di confidenza bootstrap dei baseline), le metriche consapevoli dell'autorità (Tasso di fonte primaria e Indice di evidenza) hanno mostrato una separazione statisticamente significativa dai baseline.

Significato

Il paper sostiene che DrugClaw e DrugAudit affrontano la necessità critica di provenienza nella QA sulle informazioni farmacologiche. Distinguendo tra record regolatori primari e aggregatori a valle, il sistema operazionalizza gli standard della medicina basata sull'evidenza. I risultati suggeriscono che un approccio con registro chiuso, recupero adattivo e rifiuto calibrato produce una qualità strutturale superiore nelle citazioni e tassi di allucinazione inferiori rispetto agli approcci a web aperto o puramente parametrici. Il protocollo a doppio giudice e le metriche consapevoli dell'autorità forniscono un quadro robusto per valutare futuri sistemi di recupero aumentato in domini regolamentati.

Gli autori segnalano limitazioni, tra cui la difficoltà per i giudici LLM di analizzare la prosa multi-affermazione della modalità graph e il compromesso di copertura inerente a un registro chiuso (che potrebbe mancare farmaci a "coda lunga" non ancora presenti nel registro). Tuttavia, affermano che l'approccio non richiede il riaddestramento dei modelli e offre un percorso concreto verso un'IA clinica più audibile.