Structured Schemas for LLM-Modeler Collaboration in Quantitative Systems Pharmacology Model Calibration

Il paper presenta MAPLE, un framework che utilizza schemi di validazione strutturati per facilitare la collaborazione tra modelli linguistici e ricercatori nella calibrazione di modelli di farmacologia dei sistemi quantitativi, riducendo errori come le allucinazioni e garantendo dati estraibili, verificabili e ricchi di provenienza.

L'essenziale

Immagina di dover costruire un modello matematico complesso, come un gigantesco orologio a ingranaggi che simula come un farmaco combatte il cancro nel corpo umano. Questo è ciò che fanno gli scienziati con i modelli QSP (Farmacologia dei Sistemi Quantitativi).

Il problema? Per far funzionare questo orologio, hai bisogno di migliaia di dati precisi presi da vecchi articoli scientifici. Tradizionalmente, uno scienziato doveva leggere centinaia di pagine, estrarre i numeri a mano e trascriverli. Era un lavoro lento, noioso e soggetto a errori: se uno scienziato si sbagliava su un numero, tutto l'orologio si rompeva.

Recentemente, si è pensato di usare l'Intelligenza Artificiale (le "LLM", come ChatGPT) per leggere gli articoli e estrarre i dati da sola. Ma c'è un grosso "ma": queste IA sono come bambini molto intelligenti ma un po' bugiardi. A volte inventano numeri che non esistono (allucinazioni) o citano libri che non sono mai stati scritti (fabbricazione). Per la scienza, questo è inaccettabile.

Ecco che entra in gioco il MAPLE, il sistema descritto in questo articolo.

L'Analogia: L'Architetto e il Costruttore Robot

Immagina il processo di MAPLE come una collaborazione tra un Architetto esperto (lo scienziato umano) e un Costruttore Robot (l'Intelligenza Artificiale).

1. Il Problema: Se lasci il Robot solo a costruire la casa, potrebbe usare mattoni di plastica invece di cemento, inventare finestre che non esistono o misurare le stanze in piedi invece che in metri. La casa crollerebbe.
2. La Soluzione MAPLE: Invece di dire al Robot "costruisci una casa", gli dai un Schema di Costruzione Rigoroso (i "Schemi Strutturati").

Come funziona questo Schema?

Il sistema MAPLE crea due tipi di "moduli" o "schede" che il Robot deve compilare, ma con regole ferree:

• Scheda 1: L'Esperimento Singolo (SubmodelTarget)
  Immagina che il Robot debba trovare un dato specifico, come "quanto velocemente cresce una cellula tumorale in una provetta". Il Robot non può solo scrivere un numero. Deve:

  • Copiare esattamente la frase dal libro originale dove appare quel numero (come se mettesse un adesivo con la frase originale sulla scheda).
  • Dire da quale libro viene (con un codice univoco, il DOI, che il sistema controlla per vedere se il libro esiste davvero).
  • Se il Robot inventa un numero o non trova la frase originale, il sistema lo blocca e gli dice: "Riprova, hai sbagliato!".

• Scheda 2: Il Risultato Clinico (CalibrationTarget)
  Qui il Robot deve descrivere cosa succede nel corpo intero (ad esempio, "quanto è grande il tumore dopo la terapia"). Anche qui, deve collegare i dati del libro alla formula matematica, spiegando come tradurre i dati dei topi (usati negli esperimenti) in dati per l'uomo.

Il "Controllore di Sicurezza"

Il cuore del sistema è un Controllore di Sicurezza automatico. Prima che lo scienziato umano tocchi anche solo una riga, questo Controllore:

• Controlla se il numero citato è davvero nel testo originale (niente invenzioni!).
• Verifica se il libro citato esiste davvero.
• Controlla se le unità di misura (es. milligrammi vs grammi) sono corrette.
• Esegue il codice matematico per vedere se funziona.

Se il Robot sbaglia, il Controllore gli lancia un "errore" e lo manda a rifare il compito. È come un insegnante che corregge i compiti prima che il genitore li veda.

Il Ruolo dello Scienziato (L'Architetto)

La parte più interessante è che l'IA non sostituisce lo scienziato. Anzi, lo scienziato deve ancora lavorare molto, ma in modo diverso.

• Prima: Lo scienziato leggeva tutto, cercava i numeri e scriveva tutto a mano.
• Ora con MAPLE: L'IA fa la "raccolta" veloce e la verifica di base. Lo scienziato arriva dopo, guarda le schede compilate dal Robot e dice: "Ok, questo numero è corretto, ma la formula matematica che hai scelto per interpretarlo non va bene per il mio modello, cambiala".

Nello studio, hanno scoperto che lo scienziato ha dovuto modificare quasi la metà dei dati e le formule proposte dall'IA. Non è stato un lavoro di "copia-incolla", ma di revisione intelligente. L'IA ha fatto il lavoro sporco di ricerca, lo scienziato ha fatto il lavoro intellettuale di giudizio.

Il Risultato Finale

Alla fine, il sistema produce un "pacchetto" di dati puliti, verificati e pronti per essere usati per calcolare come il farmaco funzionerà.

• Riproducibilità: Se un altro scienziato vuole controllare, può vedere esattamente da quale frase del libro originale è arrivato quel numero.
• Sicurezza: Niente numeri inventati.
• Velocità: Si risparmia molto tempo rispetto al metodo manuale, anche se l'IA non è ancora perfetta da sola.

In Sintesi

Questo articolo ci dice che non dobbiamo scegliere tra "faccio tutto da solo" (lento e faticoso) e "lascio fare tutto all'IA" (pericoloso e pieno di bugie). La soluzione è una collaborazione strutturata: diamo all'IA degli strumenti rigidi (gli schemi) che la costringono a essere onesta e precisa, e lasciamo che lo scienziato umano usi la sua esperienza per prendere le decisioni finali. È come avere un assistente robotico velocissimo, ma che deve sempre firmare ogni sua affermazione con la prova originale prima che tu la accetti.

Sommario tecnico

1. Il Problema: La Calibrazione dei Modelli QSP

I modelli di Farmacologia dei Sistemi Quantitativi (QSP) sono strumenti complessi, spesso composti da centinaia di equazioni differenziali ordinarie (ODE), utilizzati per prevedere la risposta ai farmaci traducendo la biologia della malattia in modelli matematici.

• La sfida: La calibrazione di questi modelli richiede l'estrazione di dati da una vasta letteratura scientifica (studi sperimentali in vitro, in vivo e dati clinici).
• Limiti attuali:
  • La curazione manuale è laboriosa, soggetta a documentazione incoerente e perde la tracciabilità del ragionamento quando cambia il personale.
  • L'estrazione automatica tramite Large Language Models (LLM) è promettente ma afflitta da errori inaccettabili per la modellazione quantitativa, come allucinazioni (inventare valori), falsificazione di citazioni e incoerenze logiche.
  • I pipeline NLP tradizionali non generalizzano bene alla diversità dei parametri QSP e mancano di meccanismi di verifica robusti.

2. Metodologia: Il Framework MAPLE

Gli autori presentano MAPLE (Model-Aware Parameterization from Literature Evidence), un framework progettato per creare un'interfaccia di collaborazione strutturata tra LLM e modellatori umani. Il sistema si basa su quattro componenti principali:

A. Ricerca Letteraria Consapevole del Modello

Il sistema guida l'LLM (con capacità di ricerca web) utilizzando il contesto meccanicistico del modello QSP. Per ogni parametro o osservabile target, il prompt include:

• Nome, unità di misura e descrizione.
• Le reazioni chimiche/biologiche in cui il parametro appare.
• Le specie coinvolte e la rete di reazioni.
  Questo contesto guida l'LLM verso esperimenti rilevanti e riduce le ricerche inutili.

B. Schemi di Validazione Strutturati (YAML/Pydantic)

MAPLE utilizza due schemi complementari per catturare i dati a diverse scale, separando l'estrazione dei dati dalle decisioni di modellazione:

1. SubmodelTarget: Per esperimenti isolati (es. in vitro) che vincolano singoli parametri attraverso modelli forward semplificati (es. crescita esponenziale, decadimento). Include un "livello di input" (dati grezzi dal paper) e un "livello di calibrazione" (come i dati vincolano il parametro).
2. CalibrationTarget: Per endpoint clinici o in vivo che vincolano l'intero modello attraverso osservabili calcolati sullo stato completo del sistema. Include codice Python per calcolare l'osservabile dai dati del modello e blocchi per la simulazione Monte Carlo delle statistiche empiriche.

Principi di Design:

• Dati-first: Ogni valore numerico estratto deve apparire verbatim in un frammento di testo citato dalla fonte.
• Tracciabilità: Documentazione completa della fonte (DOI, autori) e valutazione della rilevanza (traslazione tra specie, compatibilità con il microambiente tumorale).

C. Framework di Validazione e Rilevamento Errori

Prima di essere utilizzati, i dati estratti devono superare una serie di validatori automatizzati che rilevano errori specifici degli LLM:

• Value-in-snippet matching: Confronta il valore numerico estratto con il testo citato per rilevare allucinazioni.
• Risoluzione DOI: Verifica che le citazioni esistano realmente e che i titoli corrispondano ai metadati (tramite CrossRef).
• Esecuzione del codice: Esegue le funzioni di osservazione e i modelli forward con dati fittizi per rilevare errori di sintassi o logica.
• Validazione esterna: Un passo manuale (o semi-automatico) che recupera i PDF reali per verificare che i frammenti di testo citati esistano effettivamente nel documento originale.
• Loop di riprova: Se un validatore fallisce, l'errore strutturato viene inviato all'LLM per una correzione automatica (retry loop).

D. Generazione di Codice per l'Inferenza

Le specifiche validate vengono tradotte automaticamente in script Julia (utilizzando la libreria Turing.jl) per l'inferenza bayesiana. Se più target condividono parametri, il generatore crea un modello congiunto che vincola simultaneamente tutte le fonti di dati.

3. Risultati Sperimentali

Il framework è stato valutato su un modello QSP per l'Adenocarcinoma Duttale Pancreatico (PDAC), utilizzando 87 target di calibrazione (18 SubmodelTarget e 59 CalibrationTarget).

• Performance di Estrazione:

  • Nessuna estrazione è passata la validazione al primo tentativo; tutti hanno richiesto almeno un riavvio automatico.
  • In media, sono stati necessari 2,8 tentativi per target.
  • Gli errori più comuni rilevati dai validatori erano: errori di unità di misura (38%), prior mal definiti (21%) e falsificazione di citazioni (17%).
  • L'uso di validatori ha ridotto drasticamente il carico di lavoro umano iniziale, ma non l'ha eliminato.

• Contributo Umano (Curazione):

  • L'LLM non ha sostituito il modellatore. Nella modalità "batch", il modellatore ha modificato il tipo di modello forward nel 65% dei file, aggiustato i parametri delle distribuzioni a priori nel 46% e rivisto le valutazioni di rilevanza della fonte in tutti i file.
  • Nella modalità "interattiva" (dove il modellatore guida l'LLM in tempo reale), l'output era quasi finale, ma richiedeva comunque input esperti durante il processo di estrazione.

• Inferenza Bayesiana:

  • Tutti i 18 target SubmodelTarget sono stati tradotti con successo in uno script di inferenza congiunto.
  • I parametri hanno convergito (R-hat < 1.01) producendo stime biologicamente plausibili (es. tempo di raddoppio tumorale di ~130 giorni, coerente con le osservazioni cliniche).

4. Contributi Chiave

1. Interfaccia di Collaborazione Strutturata: MAPLE dimostra che gli schemi di validazione possono fungere da interfaccia efficace tra LLM e umani, trasformando l'estrazione da un processo "scatola nera" a uno trasparente e verificabile.
2. Separazione Dati/Modellazione: La distinzione netta tra l'estrazione dei dati (oggettiva, verificabile) e le decisioni di modellazione (soggettiva, basata su giudizio esperto) permette una revisione indipendente e una migliore tracciabilità.
3. Rilevamento Robusto delle Allucinazioni: L'uso combinato di value-in-snippet, risoluzione DOI ed esecuzione di codice crea una difesa multi-strato contro gli errori tipici degli LLM.
4. Gestione dell'Incertezza di Traduzione: Lo schema include campi specifici per quantificare l'incertezza quando si traducono dati da specie diverse (es. topo -> umano) o da indicazioni diverse, propagando questa incertezza nelle distribuzioni a priori.

5. Significato e Implicazioni

• Riproducibilità: Il framework produce target di calibrazione ricchi di provenance (tracciabilità), rendendo il processo di calibrazione riproducibile e auditabile.
• Ruolo dell'IA: Il paper chiarisce che l'IA non sostituisce l'esperto umano nella calibrazione QSP, ma ristruttura la collaborazione. L'LLM gestisce la lettura, l'estrazione e la generazione di codice, mentre l'umano fornisce il giudizio scientifico sulle scelte di modellazione e sulla rilevanza dei dati.
• Standardizzazione: Offre un approccio standardizzato per integrare dati eterogenei (da studi in vitro a trial clinici) in modelli meccanici complessi, superando lo scripting ad-hoc attuale.
• Futuro: Sebbene attualmente limitato alla ricerca di fonti tramite web search e alla necessità di intervento umano per decisioni scientifiche chiave, il framework rappresenta un passo fondamentale verso l'automazione controllata nella modellazione farmacologica quantitativa.

In sintesi, MAPLE non automatizza la scienza, ma automatizza la documentazione e la verifica dei dati scientifici, permettendo ai modellatori di concentrarsi sulle decisioni critiche con maggiore efficienza e sicurezza.