Uncertainty-Aware Model Selection with a Calibrated Probability-Generating-Function-Based Bayesian Information Criterion

Sintesi Tecnica: Selezione di Modelli Sensibile all'Incertezza con un PGF-BIC Calibrato

Problematica
La selezione di modelli stocastici di espressione genica dai dati di conteggio dell'RNA a singola cella richiede un equilibrio tra la bontà del fit e la complessità meccanicistica. Sebbene il Criterio di Informazione Bayesiana basato sulla Funzione Generatrice dei Momenti (PGF-BIC) offra un metodo computazionalmente efficiente per confrontare i modelli senza ricostruire le intere distribuzioni di conteggio, la sua implementazione convenzionale si affida a una regola di soglia zero. Tale regola seleziona il modello più complesso ogni volta che il suo punteggio penalizzato è inferiore a quello del modello più semplice. Tuttavia, questo approccio non tiene conto dell'incertezza di campionamento nella differenza del punteggio stimato. In campioni finiti, le fluttuazioni nella PGF empirica e nei pesi di covarianza stimati possono creare vantaggi apparenti nel punteggio per i modelli complessi che sono indistinguibili dal rumore, portando alla sovra-selezione di modelli inutilmente complessi.

Metodologia
Gli autori propongono una regola PGF-BIC sensibile all'incertezza che sostituisce il punto di taglio fisso zero con una soglia guidata dai dati. La metodologia procede attraverso i seguenti passaggi tecnici:

1. Decomposizione del Punteggio: La differenza nei punteggi penalizzati ($\Delta_n$) tra un modello complesso ($M_2$) e uno più semplice ($M_1$) viene decomposta in un termine di penalità deterministico e un termine stocastico che rappresenta la differenza nelle distanze di fitting minimizzate. La componente stocastica deriva dalla variabilità congiunta della PGF empirica e dei pesi di covarianza stimati.
2. Formulazione della Soglia tramite l'Ineguaglianza di Cantelli: Per determinare un margine di selezione che controlli la probabilità di selezione errata, gli autori impiegano l'ineguaglianza unidirezionale di Cantelli. Ciò consente la derivazione di una soglia espressa in termini della deviazione standard della differenza dei punteggi, garantendo che la probabilità di selezionare il modello complesso quando non offre alcun reale vantaggio a livello di popolazione sia limitata da un livello target $\alpha$.
3. Analisi della Funzione di Influenza: Per stimare l'entità delle fluttuazioni di campionamento senza ricorso al resampling (ad es. bootstrap), gli autori utilizzano le funzioni di influenza. Trattando la differenza del punteggio stimato come un funzionale della distribuzione dei dati, derivano un'espansione di Taylor del primo ordine. Ciò produce una rappresentazione della fluttuazione di campionamento come una somma di contributi cellula-specifici ($\psi(X_i)$).
4. Stima della Varianza: La varianza della somma della funzione di influenza viene stimata per quantificare la deviazione standard della differenza dei punteggi. Questa stima tiene conto della variabilità sia nella PGF empirica che nei pesi di covarianza stimati.
5. Regola di Selezione: Il modello complesso viene selezionato solo se il suo vantaggio di punteggio supera la soglia calcolata ($\Delta_n > c_{n,\alpha}$), dove $c_{n,\alpha}$ è derivata dalla deviazione standard stimata e dal tasso di errore target.

Contributi Chiave

• Regola Decisionale Calibrata: Il documento introduce una regola PGF-BIC modificata che incorpora l'incertezza di campionamento nella decisione di selezione del modello, andando oltre l'approccio binario "il punteggio più basso vince".
• Stima Analitica della Varianza: Una nuova derivazione che utilizza le funzioni di influenza fornisce una descrizione del primo ordine delle fluttuazioni di campionamento nella differenza del punteggio PGF-BIC. Ciò consente il calcolo di una soglia guidata dai dati senza il costo computazionale del resampling o di ulteriori ottimizzazioni.
• Preservazione dell'Efficienza: La calibrazione mantiene l'efficienza computazionale dell'originale framework PGF-BIC, poiché utilizza i fit di modello esistenti e non richiede la ricostruzione delle intere distribuzioni di conteggio o ripetute valutazioni di verosimiglianza.

Risultati
Gli autori validano il metodo proposto utilizzando un benchmark che confronta un modello di Poisson (più semplice) contro un modello Bursty (più complesso), dove la distribuzione di Poisson è un limite di confine della distribuzione Bursty.

• Risultati delle Simulazioni: Nelle simulazioni in cui i dati sono stati generati dal modello di Poisson, la regola PGF-BIC convenzionale ha frequentemente selezionato il modello Bursty più complesso (tassi di selezione errata di circa il 70% per $n=100$ e del 35% per $n=1000$).
• Performance della Calibrazione: La regola sensibile all'incertezza ha ridotto significativamente il tasso di selezione errata del modello complesso attraverso varie dimensioni campionarie ($n=100, 500, 1000$). La soglia calibrata ha saputo distinguere con successo tra i reali vantaggi del modello e le fluttuazioni causate dal rumore di campionamento.

Significatività e Rivendicazioni
L'articolo sostiene che la calibrazione proposta affronti un limite critico della standard model selection nei contesti di dati single-cell: l'incapacità di distinguere tra vantaggi di fitting riproducibili e artefatti indotti dal rumore in campioni finiti. Quantificando l'incertezza della differenza di punteggio, il metodo previene l'over-fitting dei modelli di espressione genica stocastica. Gli autori sottolineano che questo approccio integra la quantificazione dell'incertezza nella selezione del modello mantenendo la trattabilità computazionale richiesta per l'analisi di dataset single-cell su larga scala, non richiedendo né resampling né ulteriori passaggi di ottimizzazione.