Sintesi Tecnica: La Plausibilità non è Predizione: Evidenza Contrastiva per il Ragionamento sulle Perturbazioni Cellulari basato su LLM

Definizione del Problema e Motivazione

Gli esperimenti di perturbazione, come i trattamenti farmacologici e l'editing genetico, sono fondamentali per comprendere i meccania cellulari ma rimangono costosi e scarsi. Questa limitazione motiva la predizione delle risposte dell'espressione genica per condizioni non osservate. Sebbene lavori recenti abbiano proposto l'uso di Large Language Models (LLM) come simulatori di "cellula virtuale" per eseguire un ragionamento meccanicistico passo-passo e fondato sulla conoscenza per la predizione dell'espressione differenziale (DE), questo articolo identifica un modo di fallimento critico: la plausibilità non è predizione.

I metodi esistenti basati su LLM (ad es., VCWorld, SUMMER) valutano tipicamente le coppie perturbazione-gene in isolamento. Essi istruiscono i modelli a generare razionali biologicamente plausibili sul fatto che un gene sia differenzialmente espresso data una perturbazione. Tuttavia, gli autori dimostrano che questi metodi falliscono sistematicamente nel catturare gli effetti specifici della perturbazione. Invece di ragionare sulla specifica intervento, i modelli si affidano alle tendenze intrinseche di risposta del gene (prior di frequenza del gene). Ciò porta a tre modalità di fallimento empirico:

1. Sovrastima Sistematica: I modelli mostrano un forte bias verso la predizione di "sì" (espressione differenziale), predicendo spesso esiti positivi per la maggior parte delle query anche quando il tasso positivo empirico è basso (ad es., predicendo "sì" per il 92,1% delle query quando il tasso reale è del 29,0%).
2. Metriche Aggregate Confuse: Un'elevata performance aggregata (AUROC/AUPRC) è spesso ottenuta sfruttando la frequenza marginale delle risposte geniche (alcuni geni sono raramente espressi, altri frequentemente) piuttosto che imparare a distinguere tra diverse perturbazioni per lo stesso gene.
3. Discriminazione Per-Gene a Livello del Caso: Quando valutati su una base macro-per-gene (che richiede al modello di classificare diverse perturbazioni per un gene fisso), il ragionamento isolato degli LLM collassa a una performance di livello casuale, indicando una mancanza di vero ragionamento specifico della perturbazione.

Il problema centrale identificato è l'organizzazione dell'evidenza. Gli esistenti metodi presentano le query in isolamento senza esporre come perturbazioni correlate differiscano nei loro effetti sullo stesso gene target. Senza segnali contrastivi, i modelli non possono distinguere gli esiti specifici della perturbazione dalla generale plausibilità biologica.

Metodologia: CORE

Per affrontare queste limitazioni, gli autori propongono CORE (Contrastive Organization of Relational Evidence), un framework che inquadra la predizione della perturbazione come un compito di confronto.

1. ReasonKG: Un Grafo di Conoscenza Biomedica Armonizzato

CORE si basa su ReasonKG, un grafo di conoscenza appena costruito che armonizza cinque risorse biomediche (VCWorld, PrimeKG, HetioNet, PertKGE e BioKG). ReasonKG integra 667.920 nodi canonici e oltre 27 milioni di archi diretti, creando uno spazio di grafo denso e trasferibile che connette farmaci, geni, pathway e malattie. Questa integrazione risolve le lacune di connettività presenti nei singoli grafi (ad es., le coppie farmaco-gene isolate di VCWorld), consentendo un recupero robusto di perturbazioni biologicamente correlate.

2. Costruzione dell'Evidenza Contrastiva

Per una query $(p, g)$ tenuta fuori dal set di addestramento (perturbazione $p$, gene $g$), CORE esegue i seguenti passaggi:

• Recupero (Retrieval): Recupera le perturbazioni di supporto $p'$ che sono biologicamente correlate a $p$ utilizzando firme derivate dal KG (basate sulle distanze di percorso minimo verso i geni radicati).
• Organizzazione Contrastiva: Raccoglie le etichette DE osservate per queste perturbazioni correlate sullo stesso gene target $g$.
• Partizionamento: L'evidenza recuperata è partizionata in:
  • Set di Supporto Positivo ($H^+$): Perturbazioni correlate che hanno causato l'espressione differenziale in $g$.
  • Set di Supporto Negativo ($H^-$): Perturbazioni correlate che non hanno causato l'espressione differenziale in $g$.
• Scoring: L'evidenza viene riassunta in masse di voto ($V^+, V^-$) basate su pesi di similarità, generando un punteggio di contrasto ($s_{contrast}$) che riflette la proporzione di evidenza positiva.

3. Istanziazioni del Framework

CORE è istanziato in due setting complementari per validare l'utilità dell'evidenza contrastiva:

• CORE-Voting (Non-LLM): Un aggregatore deterministico che calcola una combinazione pesata del punteggio di contrasto dello stesso gene e di un punteggio di smoothing dell'ancora del gene (prendendo in prestito evidenza da geni con profili di risposta simili). Questo testa se il segnale contrastivo contenga informazioni specifiche della perturbazione indipendentemente dal ragionamento dell'LLM.
• CORE-Reasoning (Basato su LLM): Questo riformula il pacchetto di evidenza strutturata (inclusi punteggi di contrasto, set di supporto positivo/negativo, percorsi KG e punteggi dell'ancora del gene) in un prompt per un LLM. L'LLM ha il compito di giudicare la qualità dell'evidenza (ad es., distinguere percorsi meccanicistici specifici da connettività generica) e calibrare la predizione finale, piuttosto che generare una plausibilità non vincolata.

Risultati Chiave

Gli autori valutano CORE su due famiglie di benchmark: Tahoe100M (perturbazioni farmacologiche in cellule di melanoma C32) e PerturbQA (perturbazioni CRISPRi geniche in cellule K562, HepG2, Jurkat e RPE1).

1. Calibrazione e Correzione del Bias

• Riduzione del Bias "Sì": I prompt standard in stile VCWorld spesso predicono "sì" per >80% delle query. CORE-Reasoning riduce significativamente questo bias, portando la percentuale di predizioni positive vicina alla prevalenza empirica (ad es., riducendo il tasso di "sì" di Mistral-7B dal 92,1% al 26,1% su C32).
• Miglioramento della Calibrazione: CORE-Reasoning migliora l'AUROC aggregata, l'accuratezza e i punteggi F1 attraverso vari backbone di LLM (Mistral, Llama, DeepSeek, Qwen3.5, GPT-5.4). Ad esempio, su C32, CORE-Reasoning con Qwen3.5-9B migliora l'AUROC aggregata del 26,0%, l'accuratezza del 19,8% e l'F1 del 28,6% rispetto al prompting standard.

2. Discriminazione Specifica della Perturbazione

• Performance Per-Gene: Il guadagno più significativo si trova nelle metriche macro-per-gene, che misurano la capacità di distinguere le perturbazioni per un dato gene.
  • CORE-Voting: Senza un LLM, CORE-Voting migliora l'AUROC macro-per-gene da 0,500 (caso) a 0,574 (budget fisso) e 0,627 (supporto completo) su C32, e a 0,711 su PerturbQA K562.
  • CORE-Reasoning: Anche gli LLM che sfruttano l'evidenza contrastiva mostrano sostanziali miglioramenti per gene, confermando che la struttura dell'evidenza consente una migliore discriminazione rispetto al ragionamento isolato.

3. Confronto con i Baseline

• Contro il Voto del Prior del Gene: Mentre i semplici baseline di frequenza genica performano bene sulle metriche aggregate, falliscono completamente sulla discriminazione per gene (AUROC = 0,500). CORE supera questi baseline sulle metriche per gene mantenendo al contempo una performance aggregata competitiva.
• Contro lo Stato dell'Arte: CORE-Reasoning supera i recenti modelli di perturbazione single-cell allo stato dell'arte (ad es., STATE, PerturbDiff) e i precedenti metodi basati su LLM (VCWorld, SUMMER) nella maggior parte delle metriche, particolarmente nel challenging setting out-of-distribution dove le perturbazioni di test sono tenute fuori dall'addestramento.

Significato e Rivendicazioni

L'articolo sostiene che l'organizzazione dell'evidenza contrastiva è essenziale per un affidabile ragionamento sulle perturbazioni basato su LLM. Il risultato centrale è che la sola plausibilità biologica è insufficiente per la predizione; i modelli richiedono un contrasto empirico — specificamente, evidenza che mostri come perturbazioni simili producano esiti diversi per lo stesso gene — per apprendere gli effetti specifici della perturbazione.

Organizzando l'evidenza in set di supporto positivo e negativo per lo stesso gene target, CORE sposta il paradigma da "generare una storia plausibile" a "confronto fondato". Questo approccio:

1. Decoppia la Plausibilità dalla Predizione: Impedisce ai modelli di trattare qualsiasi percorso biologicamente connesso come evidenza sufficiente per l'espressione differenziale.
2. Migliora la Calibrazione: Corregge la sistematica sovrastima degli esiti positivi comune nel prompting isolato degli LLM.
3. Abilita il Trasferimento: Il framework migliora le prestazioni attraverso diverse linee cellulari e tipi di perturbazione (farmaci ed editing genetico), suggerendo che l'utilità dell'organizzazione contrastiva si estenda oltre i dataset specifici.

Gli autori concludono che un ragionamento affidabile della "cellula virtuale" dipende tanto dalla struttura dell'evidenza quanto dalla copertura della conoscenza biologica, evidenziando che il collo di bottiglia negli attuali approcci basati su LLM non è la capacità del modello o il recupero della conoscenza, ma la mancanza di segnali contrastivi necessari per il ragionamento specifico.