RAGulate: Retrieval-Augmented Generation for Post-hoc Literature-Grounded Regulatory Assessment

Sintesi Tecnica: RAGulate

Problematica
I biologi affrontano sfide significative nel dare priorità alle relazioni tra fattori di trascrizione (TF) e i loro bersagli predette dai modelli computazionali per la validazione sperimentale. Questo processo richiede attualmente l'ispezione manuale di prove eterogenee e dipendenti dal contesto, sparse nella letteratura biomedica. Sebbene i Large Language Models (LLM) offrano una potenziale soluzione per snellire questo compito, la loro dipendenza da conoscenze di uso generale porta spesso a allucinazioni e interpretazioni imprecise, in particolare quando sono richieste le sfumature contestuali specifiche delle interazioni regolatorie.

Metodologia
Il documento presenta RAGulate, un framework di Generazione Aumentata dal Recupero (RAG) progettato per la valutazione della regolazione trascrizionale basata sulla letteratura. Il sistema opera attraverso una pipeline modulare con i seguenti componenti principali:

• Integrazione della Base di Conoscenza: RAGulate sfrutta CollecTRI, una base di conoscenza regolatoria esterna che fornisce collegamenti TF-bersaglio supportati da identificativi PubMed (PMID).
• Elaborazione delle Query: Il sistema impiega l'espansione delle query consapevole degli alias per gestire la variabilità nella nomenclatura di geni e proteine.
• Strategia di Recupero: Utilizza un approccio di recupero ibrido che combina metodi di recupero sparsi (lessicali) e densi (basati su embedding).
• Re-ranking: I candidati recuperati sono sottoposti a un re-ranking tramite massima rilevanza marginale (MMR) per garantire diversità e pertinenza.
• Classificazione e Generazione: Un LLM classifica le predizioni sulla base dei documenti recuperati. Fondamentalmente, il sistema inferisce il contesto specifico di ogni interazione dalla letteratura recuperata anziché fare affidamento sulla conoscenza generale pre-addestrata.

Contributi Chiave

1. Sviluppo del Framework: La creazione di RAGulate, uno strumento specializzato che integra la conoscenza regolatoria esterna con tecniche RAG avanzate per ancorare gli output degli LLM alla specifica letteratura biomedica.
2. Inferenza Contestuale: A differenza del prompting standard, RAGulate inferisce il contesto delle interazioni TF-bersaglio direttamente dai documenti recuperati, affrontando la dipendenza dal contesto della biologia regolatoria.
3. Pipeline Modulare: L'implementazione di una pipeline completa che presenta normalizzazione degli alias, recupero ibrido e re-ranking MMR specificamente adattati per la valutazione regolatoria.

Risultati
La valutazione è stata condotta utilizzando un benchmark bilanciato TF-bersaglio-contesto derivato dalla risorsa CollecTRI, valutando le prestazioni di recupero, l'accuratezza della classificazione e la fedeltà delle prove. Le principali scoperte includono:

• Prestazioni di Recupero: È stato dimostrato che la normalizzazione degli alias migliora marcatamente il richiamo (recall) del recupero. Inoltre, il metodo di recupero ibrido, che fonde i candidati lessicali e basati su embedding, ha ottenuto il più alto recupero di prove in tutti i cut-off rispetto agli approcci a metodo singolo.
• Accuratezza della Classificazione: Condizionare gli LLM sui documenti recuperati ha migliorato costantemente le metriche di prestazione (AUROC e AUPR) per classificare se un'interazione TF-bersaglio è supportata in un contesto specificato, superando i metodi di prompting diretto.
• Fedeltà e Allucinazione: Il framework ha ridotto significamente le allucinazioni e migliorato la correttezza delle citazioni a livello di PMID. Le spiegazioni generate sono risultate riflettere fedelmente la letteratura di supporto.

Significatività
Il documento posiziona RAGulate come uno strumento di IA basato sulla conoscenza progettato per collaborare con i biologi. La sua principale significatività risiede nella capacità di accelerare la prioritizzazione dei TF-bersagli per la validazione sperimentale e favorire la generazione di ipotesi. Mitigando i rischi di allucinazione inerenti agli LLM di uso generale e garantendo che gli output siano ancorati alla letteratura specifica recuperata, RAGulate offre un meccanismo affidabile per navigare la complessa evidenza biomedica. Il software e i tutorial sono resi disponibili alla comunità per facilitarne l'adozione.