Uncertainty-Aware Model Selection with a Calibrated Probability-Generating-Function-Based Bayesian Information Criterion

Technische Samenvatting: Onzekerheidsbewuste Modelselectie met een Gecalibreerde PGF-BIC

Probleemstelling
Het selecteren van stochastische genexpressiemodellen uit single-cell RNA-countdata vereist een balans tussen de kwaliteit van de fit (goodness-of-fit) en mechanistische complexiteit. Hoewel de op de kansgenererende functie gebaseerde Bayesian Information Criterion (PGF-BIC) een computationeel efficiënte methode biedt voor het vergelijken van modellen zonder volledige countverdelingen te reconstrueren, rust de conventionele implementatie ervan op een nul-drempelregel. Deze regel selecteert het complexere model telkens wanneer de gepenaliseerde score lager is dan die van het eenvoudigere model. Echter, deze aanpak houdt geen rekening met de steekproefonzekerheid in het gefitte scoreverschil. In eindige steekproeven kunnen fluctuaties in de empirische kansgenererende functie (PGF) en de geschatte covariantie-gewichten leiden tot schijnbare scorevoordelen voor complexe modellen die niet te onderscheiden zijn van ruis, wat leidt tot de overmatige selectie van onnodig complexe modellen.

Methodologie
De auteurs stellen een onzekerheidsbewuste PGF-BIC-regel voor die de vaste nul-afkapwaarde vervangt door een datagedreven drempelwaarde. De methodologie verloopt via de volgende technische stappen:

1. Score-decompositie: Het verschil in gepenaliseerde scores ($\Delta_n$) tussen een complex model ($M_2$) en een eenvoudiger model ($M_1$) wordt gedecomposeerd in een deterministische strafterm en een stochastische term die het verschil in geminimaliseerde fit-afstanden vertegenwoordigt. De stochastische component ontstaat uit de gezamenlijke variabiliteit van de empirische PGF en de geschatte covariantie-gewichten.
2. Drempelformulering via Cantelli's ongelijkheid: Om een selectiemarge te bepalen die de kans op foutieve selectie controleert, maken de auteurs gebruik van Cantelli's eenzijdige ongelijkheid. Dit maakt de afleiding van een drempelwaarde mogelijk die is uitgedrukt in termen van de standaarddeviatie van het scoreverschil, waardoor de kans op het selecteren van het complexe model wanneer het geen werkelijk populatiebreed voordeel biedt, wordt begrensd door een streefwaarde $\alpha$.
3. Invloedsfunctieanalyse: Om de omvang van de steekproeffluctuaties te schatten zonder resampling (bijv. bootstrapping), maken de auteurs gebruik van invloedsfuncties (influence functions). Door het gefitte scoreverschil te behandelen als een functional van de datadistributie, leiden zij een eerste-orde Taylorreeks af. Dit levert een representatie van de steekproeffluctuatie op als een som van cel-specifieke bijdragen ($\psi(X_i)$).
4. Variantieschatting: De variantie van de invloedsfunctie-som wordt geschat om de standaarddeviatie van het scoreverschil te kwantificeren. Deze schatting houdt rekening met de variabiliteit in zowel de empirische PGF als de geschatte covariantie-gewichten.
5. Selectieregel: Het complexe model wordt alleen geselecteerd als het scorevoordeel de berekende drempelwaarde overschrijdt ($\Delta_n > c_{n,\alpha}$), waarbij $c_{n,\alpha}$ is afgeleid van de geschatte standaarddeviatie en de streefwaarde voor de foutmarge.

Belangrijkste Bijdragen

• Gecalibreerde Beslissingsregel: Het artikel introduceert een gemodificeerde PGF-BIC-regel die de steekproefonzekerheid integreert in de modelselectiebeslissing, waarmee het voorbijgaat aan de binaire "lagere score wint"-benadering.
• Analytische Varianteschatting: Een nieuwe afleiding met behulp van invloedsfuncties biedt een eerste-orde beschrijving van de steleekproeffluctuaties in de PGF-BIC-scoreverschillen. Dit maakt de berekening van een datagedreven drempelwaarde mogelijk zonder de computationele kosten van resampling of extra optimalisatie.
• Behoud van Efficiëntie: De kalibratie behoudt de computationele efficiëntie van het oorspronkelijke PGF-BIC-framework, aangezien het gebruikmaakt van bestaande model-fits en geen volledige countverdelingen hoeft te reconstrueren of herhaalde likelihood-evaluaties vereist.

Resultaten
De auteurs valideren de voorgestelde methode met behulp van een benchmark die een Poisson-model (eenvoudiger) vergelijkt met een Bursty-model (complexer), waarbij de Poisson-verdeling een grenswaarde is van de Bursty-verdeling.

• Simulatiebevindingen: In simulaties waarbij de data gegenereerd werden door het Poisson-model, selecteerde de conventionele PGF-BIC-regel frequent het complexere Bursty-model (foutieve selectieratio's van ~70% bij $n=100$ en ~35% bij $n=1000$).
• Prestaties van de Kalibratie: De onzekerheidsbewuste regel verminderde de mate van onjuiste selectie van het complexe model aanzienlijk over verschillende steekproefgroottes ($n=100, 500, 1000$). De gekalibreerde drempelwaarde slaagde erin om onderscheid te maken tussen genuïne modelvoordelen en fluctuaties veroorzaakt door steekproefruis.

Betekenis en Claims
Het artikel claimt dat de voorgestelde kalibratie een kritiek tekortkoming van standaard modelselectiecriteria in de context van single-cell data aanpakt: het onvermogen om reproduceerbare fit-voordelen te onderscheiden van door ruis veroorzaakte artefacten in eindige steekproeven. Door de onzekerheid van het scoreverschil te kwantificeren, voorkomt de methode de over-fitting van stochastische genexpressiemodellen. De auteurs benadrukken dat deze aanpak onzekerheidskwantificering integreert in de modelselectie, terwijl de computationele hanteerbaarheid behouden blijft die nodig is voor het analyseren van grootschalige single-cell datasets, zonder dat daarvoor resampling of extra optimalisatiestappen vereist zijn.