Employing General-Purpose and Biomedical Large Language Models with Advanced Prompt Engineering for Pharmacoepidemiologic Study Design

Titolo

Impiego di Modelli Linguistici di Grande Dimensione (LLM) Generali e Biomedici con Ingegneria dei Prompt Avanzata per la Progettazione di Studi di Farmacoeconomia.

1. Il Problema

La generazione rapida di evidenze in farmacoeconomia richiede una progettazione di studi rigorosa e di alta qualità, un processo che è spesso dispendioso in termini di tempo e risorse. Sebbene l'Intelligenza Artificiale (IA) e i Modelli Linguistici di Grande Dimensione (LLM) siano stati proposti per automatizzare tali compiti, la loro affidabilità in questo dominio specifico rimane scarsamente caratterizzata.
Esistono due incertezze principali:

1. I LLM generici (off-the-shelf) mostrano spesso imprecisioni in compiti specialistici.
2. È sconosciuto se i LLM specializzati (biomedici) offrano prestazioni superiori rispetto a quelli generali per la progettazione di studi farmacoeconometrici.
   Lo studio mira a colmare questo divario valutando le prestazioni comparative di modelli generici e biomedici, combinati con diverse strategie di prompt engineering, per supportare la progettazione di studi basati su dati del mondo reale (RWD).

2. Metodologia

Lo studio ha adottato un approccio sistematico di valutazione comparativa:

• Dataset: Sono stati analizzati 46 protocolli di studi farmacoeconometrici (pubblicati tra il 2018 e il 2024) provenienti da tre fonti autorevoli:
  • Catalogo HMA-EMA (16 protocolli DARWIN EU® + 15 protocolli esperti).
  • Sistema Sentinel (15 protocolli).
• Modelli Valutati:
  • LLM Generali: GPT-4o e DeepSeek-R1.
  • LLM Biomedici (Fine-tuned): Quattro modelli tra cui QuantFactory/Bio-Medical-Llama-3-8B-GGUF e Irathernotsay/qwen2-1.5B-medical_qa-Finetune.
• Strategie di Prompting: Sono state testate sette strategie (inclusi Least-to-Most (LTM), Active Prompting, Chain-of-Thought, Tree-of-Thought). Dopo una fase di pre-valutazione su 3 protocolli, sono stati selezionati i 5 migliori combinazioni per l'analisi principale.
• Framework di Valutazione: La valutazione si è basata su un "Gold Standard" definito da due esperti umani (estrazione manuale dei concetti dai protocolli). I criteri di valutazione includevano:
  1. Rilevanza: Accordo tra la risposta dell'LLM e la risposta dell'esperto (Scala Likert 1-5).
  2. Logica della Giustificazione: Coerenza e rigore metodologico del ragionamento (Scala Likert 1-5).
  3. Accordo Ontologia-Codice: Capacità di mappare concetti medici a codici standard (es. ICD, ATC, SNOMED).
  4. Analisi degli Errori: Classificazione qualitativa degli errori (es. allucinazioni, mancata giustificazione, mancato rispetto dell'algoritmo).
• Strumenti: Analisi statistica eseguita in R (versione 4.5.1) con pacchetti tidyverse e ggplot2.

3. Risultati Chiave

• Prestazione dei Modelli Generali vs. Biomedici:
  • I LLM generici (in particolare GPT-4o e DeepSeek-R1) hanno superato costantemente i modelli biomedici specializzati.
  • La combinazione GPT-4o con prompt "Least-to-Most" (LTM) ha ottenuto il punteggio mediano più alto (4 su 5) per la rilevanza in 8 delle 9 domande per i protocolli HMA-EMA.
  • I modelli biomedici hanno mostrato una rilevanza complessivamente inferiore e hanno spesso generato giustificazioni insufficienti o mancanti.
• Impatto della Strategia di Prompting:
  • La strategia Least-to-Most (LTM), che scompone il compito complesso in sottoproblemi sequenziali, ha prodotto i risultati più stabili e coerenti, specialmente per la definizione del disegno di studio, dell'esposizione e dell'esito.
  • Tuttavia, l'uso di LTM ha anche evidenziato che errori introdotti nei primi passaggi possono propagarsi nelle risposte successive (effetto domino).
• Accordo Ontologia-Codice:
  • Questa è stata l'area di maggiore debolezza per tutti i modelli. L'accordo tra i codici generati e quelli di riferimento è stato basso, specialmente per sistemi complessi come ICD, RxNorm e SNOMED.
  • Le prestazioni migliori sono state osservate solo per codici ATC (28,6% con DeepSeek-R1-LTM) e HCPCS (22,2% con GPT-4o-LTM).
• Influenza della Fonte del Protocollo:
  • I protocolli HMA-EMA hanno generato i punteggi più alti e stabili.
  • I protocolli Sentinel hanno mostrato una variabilità maggiore.
  • I protocolli DARWIN EU® sono associati a prestazioni inferiori e meno stabili, suggerendo che la struttura e la chiarezza del documento di input influenzano significativamente l'output del modello.
• Tipologie di Errori:
  • Gli errori più frequenti nei modelli biomedici includevano la generazione di domande irrilevanti (189 casi) e la mancanza di giustificazione (105 casi).

4. Contributi Principali

1. Evidenza Empirica: Fornisce la prima valutazione sistematica che dimostra come, per compiti complessi di progettazione di studi (che richiedono ragionamento strutturato e non solo recupero di conoscenze), i LLM generici possano superare i modelli biomedici specializzati.
2. Valutazione Multidimensionale: Non si limita all'accuratezza della risposta, ma valuta anche la "logica della giustificazione" e la capacità di mappatura ontologica, offrendo una visione olistica delle capacità dell'LLM.
3. Guida alle Strategie di Prompting: Dimostra che la strategia di prompting (in particolare LTM) è un fattore critico quanto la scelta del modello, influenzando la stabilità e la coerenza del ragionamento.
4. Identificazione dei Limiti: Evidenzia chiaramente che l'attuale capacità degli LLM di mappare concetti a codici standard (ontologia) è insufficiente per l'uso autonomo, richiedendo ancora validazione umana o strumenti deterministici.

5. Significato e Implicazioni

• Per la Ricerca e la Regolamentazione: Lo studio suggerisce che, allo stato attuale, l'uso di LLM generici di fascia alta (come GPT-4o) combinati con prompt strutturati (LTM) è più promettente per supportare la progettazione di studi farmacoeconometrici rispetto all'uso di modelli biomedici "out-of-the-box".
• Sulla Necessità di Standardizzazione: La variabilità delle prestazioni in base alla fonte del protocollo indica che la standardizzazione della struttura dei protocolli di ricerca è cruciale non solo per la trasparenza umana, ma anche per l'efficacia dell'automazione tramite IA.
• Limiti Attuali: La scarsa performance nella mappatura dei codici (ontologia) sottolinea che gli LLM non possono sostituire i sistemi di validazione deterministica per la definizione operativa di esposizioni ed esiti. L'IA è utile per la stesura e l'interpretazione concettuale, ma non per l'implementazione tecnica dei codici senza supervisione.
• Futuro: Il lavoro apre la strada a pipeline ibride dove LLM generali gestiscono il ragionamento metodologico, mentre strumenti specializzati o database curati gestiscono la mappatura dei codici, con una supervisione umana obbligatoria per la validazione finale.