💻 bio-informatica

A Benchmark of Unsupervised Circadian Phase Inference Methods for Bulk Transcriptomic Data

Deze studie benchmarkt systematisch tien ongesuperviseerde methoden voor de inferentie van het circadiane ritme over 25 datasets, waarbij CHIRAL wordt geïdentificeerd als de best presterende methode met de laagste gemiddelde fout, terwijl wordt aangetoond dat de nauwkeurigheid van methoden varieert per datasetkenmerken en dat de beste methoden effectief ritmische genpatronen herstellen, zelfs wanneer de tijdstippen van monstername onbekend zijn.

Oorspronkelijke auteurs: Purohit, S., Grant, G. R., Brooks, T. G.

Gepubliceerd 2026-10-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Purohit, S., Grant, G. R., Brooks, T. G.

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

In bijna elke cel van het menselijk lichaam tikt een stille, interne klok, die een dagelijkse cyclus van activiteit regisseert die zich ongeveer elke vierentwintig uur herhaalt. Dit ritme, bekend als de circadiane cyclus, bepaalt wanneer genen aan- en uitgaan, en beïnvloedt alles van het metabolisme tot de timing van medicijnbehandelingen. Om te begrijpen hoe deze klok werkt in verschillende weefsels of hoe het fout kan gaan bij ziekte, moeten wetenschappers precies weten hoe laat een monster van een weefsel is verzameld. Echter, in veel bestaande medische dossiers en openbare databases ontbreekt dit cruciale stukje informatie. Onderzoekers hebben computerprogramma's ontwikkeld om de tijd van de dag te raden op basis van enkel het patroon van de aanwezige genen in een monster, maar tot nu toe had niemand systematisch getest welke van deze goktools het beste werkt.

Een team van onderzoekers aan de University of Pennsylvania zette zich in om dit probleem op te lossen door tien verschillende computerprogramma's een rigoureuze test te onderwerpen. Ze verzamelden vijfentwintig verschillende datasets, waaronder echte weefselmonsters van mensen en muizen waarbij de verzameltijd al bekend was, evenals zorgvuldig geconstrueerde computersimulaties. Het doel was om te zien hoe nauwkeurig elk programma naar een lijst met genen kon kijken en correct de tijd van de dag kon identificeren waarop het monster werd genomen. De onderzoekers maten het succes door het gemiddelde verschil in uren te berekenen tussen de gok van het programma en de werkelijke tijd. Ze controleerden ook of de programma's de dagelijkse ritmes van individuele genen correct konden reconstrueren, een taak die essentieel is voor het begrijpen van hoe de biologische klok van het lichaam functioneert.

De resultaten onthulden een duidelijke hiërarchie tussen de tools. Eén programma, genaamd CHIRAL, kwam als het meest nauwkeurig uit de bus, waarbij het de tijd raadde met een gemiddelde fout van slechts 1,80 uur. Dit betekent dat als een monster rond het middaguur is genomen, CHIRL de tijd meestal zou schatten tussen 10:15 uur en 13:45 uur. De volgende beste presteerders, waaronder programma's genaamd TEMPO, CYCLOPS en CYCLOPS 2.0, hadden gemiddelde fouten variërend van ongeveer 2,5 tot 2,8 uur. Hoewel deze nog steeds nuttig waren, waren ze minder precies dan CHIRAL. Een eenvoudige baseline-methode, die alleen vertrouwde op het bekende gedrag van twaalf specifieke "klokgenen" zonder complexe algoritmen te gebruiken, presteerde bijna net zo goed als de top computerprogramma's, met een fout van ongeveer 2,15 uur. Deze bevinding suggereert dat een diepe kennis van deze kernklokgenen op zichzelf een krachtig instrument is. De overige zes geteste programma's presteerden aanzienlijk slechter, met fouten variërend van bijna vier tot bijna vijf uur, een niveau van onnauwkeurigheid dat nauwelijks beter is dan willekeurige kans.

De studie onthulde ook dat het succes van deze programma's sterk afhangt van de kwaliteit van de gegevens die ze krijgen toegewezen. De programma's werkten het best wanneer de genen in het weefsel sterke, duidelijke dagelijkse ritmes vertoonden. In datasets waar deze ritmes zwak of ruizig waren, zoals in bepaalde menselijke hersenweefsels, hadden zelfs de beste programma's moeite, waarbij de fouten opliepen tot bijna drie uur. De onderzoekers ontdekten dat de nauwkeurigheid van de toptools consistent bleef over verschillende soorten weefsels en soorten heen, maar ze ontdekten ook dat sommige programma's gevoelig waren voor de manier waarop de gegevens werden voorbereid. Zo hielp het corrigeren voor technische verschillen tussen batches van monsters sommige programma's om hun gokken te verbeteren, terwijl het andere programma's juist minder nauwkeurig maakte. Bovendien testten de onderzoekers hoe stabiel de resultaten waren door de programma's meerdere keren te draaien met verschillende willekeurige startpunten. Ze ontdekten dat terwijl sommige tools elke keer hetzelfde resultaat produceerden, anderen aanzienlijk varieerden afhankelijk van de gebruikte 'random seed', wat betekende dat een enkele uitvoering van die tools mogelijk niet betrouwbaar was.

Om te zien of deze bevindingen standhielden in de echte wereld, pasten het team de programma's toe op twee grote datasets van muizen waarbij de verzameltijden volledig onbekend waren. Ze vergeleken de gokken van de programma's met gevestigde referenties voor wanneer genen doorgaans pieken in lever- en vetweefsel. CHIRAL was het enige programma dat consequent overeenkwam met de bekende patronen voor het leverweefsel, terwijl geen enkel programma betrouwbaar de patronen voor vetweefsel kon matchen, wat suggereert dat de klok in vet moeilijker af te lezen is of dat de referentiedata onvoldoende is. De studie concludeert dat hoewel geen enkel instrument perfect is, CHIRAL momenteel de meest betrouwbare keuze is voor het schatten van de tijd uit bulkweefselmonsters. De onderzoekers waarschuwen echter dat de nauwkeurigheid van een schatting afhangt van de sterkte van de biologische ritmes in het specifieke weefsel dat wordt bestudeerd, en dat voor de meest kritieke toepassingen het gebruik van meerdere methoden of eenvoudige klokgen-baselines een noodzakelijke controle tegen fouten kan bieden.

Technische Samenvatting: Een Benchmark van Ongesuperviseerde Methoden voor de Inferentie van Circadiaanse Fasen in Bulk Transcriptomische Data

Probleemstelling
Circadiaanse ritmes in genexpressie zijn cruciaal voor het begrijpen van biologische timing, stofwisseling van medicijnen en ziekteprocessen. Veel publieke transcriptomische datasets missen echter monstername-tijden, wat directe analyse van temporele patronen verhindert. Hoewel er ongesuperviseerde methoden bestaan om de circadiaanse fase te infereren uit genexpressiematrices zonder verzameltijden, zijn deze niet systematisch vergeleken. Eerdere evaluaties werden vaak uitgevoerd door ontwikkelaars van de methoden zelf op hun eigen datasets met variërende preprocessing en metrieken, wat tot potentiële bias leidde. Bovendien blijft het onduidelijk hoe nauwkeurig deze methoden de monsterfasen of downstream gen-niveau ritmes (acrofase, amplitude en ritmiek) reconstrueren over diverse biologische contexten heen.

Methodologie
De auteurs voerden een systematische benchmark uit van tien ongesuperviseerde fase-inferentiemethoden en twee klokgen-baseline-benaderingen.

Datasets: De evaluatie maakte gebruik van 25 datasets met bekende referentietijden (16 echte datasets uit vijf studies over menselijke en muisweefsels, en 9 gesimuleerde datasets) en twee muisdatasets (Diversity Outbred lever en vetweefsel) zonder verzameltijden. De datasets werden gegroepeerd in zes "families" om afhankelijkheden tussen studies te verantwoorden.
Geëvalueerde methoden:
- Ongesuperviseerde methoden: CHIRAL, TEMPO, CYCLOPS, CYCLOPS 2.0, COFE, DCPR, PENN, PROTECT, Cyclum en reCAT. Deze maken gebruik van diverse strategieën, waaronder probabilistische modellering, neurale netwerken/autoencoders, matrixfactorisatie en geometrische ordening.
- Baselines: Twee eenvoudige baselines die fasen toewijzen op basis van de principal component analysis (PCA) van ofwel 12 canonieke klokgenen, ofwel slechts twee genen (ARNTL en NR1D1).
Evaluatiemetrieken:
- Primair: Aligned Circular Mean Absolute Error (MAE), waarbij de kortste circulaire afstand tussen geïnfereerde en referentiefasen wordt gemeten na optimalisatie van globale rotatie en reflectie.
- Secundair: Absolute Fisher–Lee circulaire correlatie, fractie van monsters binnen 1 uur van de referentie, gen-niveau reconstructie van acrofase en amplitude, en detectie van ritmiek (ROC AUC).
- Robuustheidscontroles: Permutatietesten om prestaties op niveau van toeval vast te stellen, sensitiviteitsanalyses met betrekking tot random seeds, batch/covariaat aanpassingen (ComBat-seq, regressie), en simulatievariaties (sampling design, steekproefomvang, waveform vorm).
Reproduceerbaarheid: De auteurs probeerden de gepubliceerde resultaten voor alle methoden te repliceren; zij slaagden erin de resultaten voor acht methoden te reproduceren, maar konden PENN en PROTECT niet reproduceren met de vrijgegeven code.

Belangrijkste Resultaten

Prestatieranking: CHIRAL behaalde de laagste gemiddelde aligned MAE (1,80 h), waarmee het de twee klokgen-baselines (2,15 h en 2,20 h) overtrof. TEMPO, CYCLOPS en CYCLOPS 2.0 volgden met gemiddelde fouten van 2,49–2,80 h. De overige zes methoden (COFE, DCPR, PENN, PROTECT, Cyclum, reCAT) hadden gemiddelde fouten van 3,91–4,86 h, wat slechts marginaal beter was dan het niveau van toeval (5,08–5,23 h).
Statistische Significantie: Hoewel CHIRAL de laagste gemiddelde fout had, overlapten de betrouwbaarheidsintervallen van de best presterende methoden aanzienlijk. Post-hoc vergelijkingen bevestigden dat CHIRAL statistisch superieur was aan de minder presterende groep (COFE, PENN, PROTECT), maar kon niet statistisch worden onderscheiden van TEMPO, CYCLOPS of CYCLOPS 2.0.
Gen-niveau Reconstructie: De top vier methoden (CHIRAL, TEMPO, CYCLOPS, CYCLOPS 2.0) en de baselines reconstrueerden succesvol gen-acrofases met mediane fouten van 0,18–0,64 h en identificeerden ritmische genen met mediane ROC AUC's van 0,64–0,70.
Factoren die Nauwkeurigheid Beïnvloeden:
- Ritmische Sterkte: De nauwkeurigheid correleerde sterk met de sterkte van de klokgen-ritmes in de dataset (Spearman $\rho = -0,58$ ). Datasets met zwakke ritmes (bijv. menselijk striatum) leverden hogere fouten op voor alle methoden.
- Batch/Covariaat Aanpassing: De impact van aanpassing varieerde per methode. ComBat-seq correctie verbeterde CYCLOPS en CYCLOPS 2.0 aanzienlijk, maar verslechterde de prestaties van TEMPO. Opvallend genoeg zorgde het wegregresseren van covariaten (zoals post-mortem interval) die gecorreleerd zijn met tijd, voor het verwijderen van circadiaanse signalen, waardoor de fouten voor CHIRAL en baselines boven het niveau van toeval uitkwamen.
- Simulatie Sensitiviteit: In simulaties presteerden CYCLOPS en COFE uitzonderlijk goed (0,3–0,4 h fout), maar dit vertaalde zich niet naar echte data, wat suggereert dat gesimuleerde modellen specifieke aannames van methoden kunnen bevoordelen.
- Random Seeds: De resultaten voor DCPR, TEMPO, PENN, PROTECT en Cyclum vertoonden een hoge sensitiviteit voor random seeds (SD van 0,27–0,49 h), terwijl CHIRAL en CYCLOPS zeer stabiel waren.
Datasets Zonder Verzameltijden: In de Diversity Outbred muisdatasets was CHIRAL de enige methode die consistent was met externe referentie-acrofases voor leverweefsel. Echter, geen enkele methode kwam overeen met de referenties voor vetweefsel, en de kruisweefsel fase-overeenkomst was laag, zelfs voor de beste methode (correlatie 0,47).

Significantie en Claims
Het artikel biedt de eerste onafhankelijke, systematische vergelijking van ongesuperviseerde circadiaanse fase-inferentiemethoden met behulp van een verenigd protocol. De auteurs stellen dat:

CHIRAL de huidige leidende methode is voor bulk RNA-seq data, met de laagste gemiddelde fout en consistente prestaties over datasets heen, hoewel TEMPO, CYCLOPS en CYCLOPS 2.0 redelijke alternatieven blijven.
Voorkennis van klokgenen nuttig is, maar niet voldoende. Hoewel baselines met klokgenen goed presteerden, werden ze overtroffen door CHIRAL. Echter, methoden die uitsluitend op circadiaanse priors vertrouwen (zoals DCPR) presteerden niet noodzakelijkerwijs beter dan methoden zonder, wat aangeeft dat modelarchitectuur en dataverwerking even cruciaal zijn.
Context ertoe doet. De nauwkeurigheid van deze methoden is sterk afhankelijk van de ritmische sterkte van de dataset en de specifieke preprocessing stappen (bijv. batchcorrectie) die worden toegepast.
Voorzichtigheid bij interpretatie. De auteurs benadrukken dat de ranking de prestaties van deze tools reflecteert onder de specifiek geteste configuraties en mogelijk niet generaliseerbaar is naar alle datatypen (zoals single-cell of proteomica waarvoor sommige tools oorspronkelijk zijn ontworpen). Zij merken ook op dat het onvermogen om PENN en PROTECT te reproduceren de conclusies over die specifieke tools beperkt.

De studie concludeert dat hoewel ongesuperviseerde fase-inferentie een bruikbare tool is voor het analyseren van niet-geannoteerde transcriptomische data, gebruikers de specifieke kenmerken van hun dataset en de stabiliteit van de gekozen methode zorgvuldig moeten overwegen.

Meer zoals dit