Posterior simulation-based calibration tests of phylogenetic dating methods

Deze studie toont aan dat de phylogenetische dateringsmethoden in BEAST 2 correct en onbevooroordeeld werken door middel van posterior simulatie-gebaseerde kalibratietests, hoewel de theoretische identificeerbaarheid van knooppuntdata fundamenteel beperkt blijft.

De kern

Stel je voor dat je een zeer complexe, digitale klok bouwt om de geschiedenis van de wereld te vertellen. Deze klok moet niet alleen de tijd aangeven, maar ook vertellen wanneer bepaalde soorten dieren of talen voor het eerst zijn ontstaan. De wetenschappers die deze klok bouwen, gebruiken een programma genaamd BEAST 2. Maar hoe weet je of deze klok echt goed werkt, of dat hij soms een beetje "dwaalt" of fouten maakt?

Dit artikel van Benedict King is als het ware een grote, grondige test om te zien of die klok eerlijk en nauwkeurig werkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "Zelftest" van de computer

In de wetenschap gebruiken ze een methode genaamd SBC (Simulation-Based Calibration).

• De oude manier (Prior SBC): Stel je voor dat je de klok test door willekeurige tijden in te voeren (bijvoorbeeld "1000 jaar geleden" of "1 miljoen jaar geleden") en te kijken of de klok die goed berekent. Dit is goed, maar het is alsof je een auto test op een lege parkeerplaats. Misschien rijdt hij daar perfect, maar wat gebeurt er als je hem op een steile, modderige bergweg zet?
• De nieuwe manier (Posterior SBC): King gebruikt een slimme nieuwe test. Hij kijkt niet naar willekeurige tijden, maar naar de beste schattingen die de klok al heeft gemaakt op basis van echte gegevens (zoals oude taalwoorden of DNA van vliegen). Vervolgens simuleert hij nieuwe gegevens op basis van die schattingen en laat hij de klok die opnieuw analyseren.
  • De analogie: Het is alsof je een kok vraagt om een gerecht te maken, en dan vraagt je: "Als ik dit gerecht nu weer zou maken met dezelfde ingrediënten, zou het dan precies hetzelfde smaken?" Als de kok eerlijk is en de receptuur klopt, zou het resultaat elke keer hetzelfde moeten zijn.

2. Wat heeft King getest?

King heeft twee heel verschillende "proefjes" gedaan om te zien of de klok overal goed werkt:

1. Talenfamilie (Tip-dating): Hij keek naar Indo-Europese talen (zoals Nederlands, Engels, Hindi). Hij gebruikte woordenlijsten om te zien hoe oud deze talen zijn.
2. Vliegenfamilie (Node-dating): Hij keek naar DNA van paardenvliegen (Tabanidae) om te zien wanneer deze zich ontwikkelden.

In beide gevallen liet hij de computer "dromen" (simulaties) maken op basis van wat hij al wist, en keek hij of de computer die dromen correct kon interpreteren.

3. De resultaten: De klok werkt perfect, maar...

Het goede nieuws: De computer werkt eerlijk.
De tests lieten zien dat de software geen "bugs" of fouten heeft. Als de computer zegt dat iets 5000 jaar oud is, dan is die schatting statistisch gezien betrouwbaar. De "klok" loopt niet scheef. Dit is belangrijk, want er is vaak discussie over hoe oud bepaalde dingen zijn (bijvoorbeeld: zijn Indo-Europese talen 6000 of 9000 jaar oud?). King zegt: "De software zelf is niet de boosdoener; de resultaten zijn niet vals."

Het verrassende nieuws: De precisie stopt ergens.
Toen King de computer liet "dromen" en die dromen opnieuw liet analyseren, werd de schatting niet scherper of nauwkeuriger.

• De analogie: Stel je voor dat je door een mistige raam kijkt naar een boom. Je ziet dat de boom er is, maar je kunt de exacte hoogte niet zien. Als je nu een tweede, nog mistigere raam voor het eerste legt (de simulatie), zie je de boom nog steeds niet scherper. De mist is niet in de software, maar in de fysieke natuur van het probleem.
• De reden: De data (woorden of DNA) vertellen ons hoe lang de takken zijn, maar niet precies hoe lang de tijd is die daarvoor nodig was. Er is een fundamentele limiet aan hoe precies we de ouderdom van een "knikpunt" in de geschiedenis kunnen weten, ongeacht hoe slim de computer is.

4. Conclusie voor de leek

Dit artikel zegt eigenlijk twee dingen:

1. Vertrouw de software: De computerprogramma's die we gebruiken om de geschiedenis van talen en dieren te dateren, werken correct. Ze liegen niet.
2. Wees realistisch: Soms kunnen we gewoon niet preciezer zijn dan we al zijn. Het is niet omdat de computer dom is, maar omdat de informatie in de natuur (de "mist") simpelweg niet scherp genoeg is om een exact jaartal te geven.

Kortom: De gereedschapskist is in orde, maar soms is het gereedschap niet sterk genoeg om een heel klein detail te meten. Dat is geen fout van de maker, maar een eigenschap van de wereld zelf.

Technische samenvatting

Probleemstelling

Bayese fylogenetische analyses zijn afhankelijk van de correctheid van de gebruikte inferentiemachines (software). Een cruciaal criterium voor validatie is "kalibratie": een analyse moet zo zijn dat voorspellingen met 90% betrouwbaarheid inderdaad 90% van de tijd waar blijken te zijn.
Traditioneel wordt Simulation-Based Calibration (SBC) gebruikt om dit te verifiëren. Bij de standaardvorm (prior SBC) worden parameters getrokken uit de prior-verdeling, worden datasets gesimuleerd, en wordt gekeken of de inferentie-algoritmes deze correct kunnen herleiden.
Echter, prior SBC heeft beperkingen:

1. Het kan problemen missen die alleen optreden in specifieke regio's van de parameter-ruimte, die zelden worden bezocht door de prior.
2. In de fylogenetica is de parameter-ruimte (boomtopologieën en tijdschalen) enorm complex.
3. Veel fylogenetische analyses lijden onder modelmisspecificatie (het model past niet perfect bij de werkelijkheid). Prior SBC test niet of de algoritmes correct werken onder deze realistische omstandigheden met bestaande empirische data.

Er is behoefte aan een methode om te verifiëren of inferentie-algoritmes correct werken in de regio van de parameter-ruimte die daadwerkelijk door de posterior wordt bezet, zelfs bij modelmisspecificatie.

Methodologie

De auteur gebruikt Posterior SBC, een recente ontwikkeling die de validiteit van algoritmes test op basis van de empirische data. De methode volgt deze stappen:

1. Trekken uit de posterior: Er worden $n$ sets parameters getrokken uit de posterior-verdeling van een echte dataset (via MCMC).
2. Simulatie van postpredictieve data: Voor elke getrokken parameter-set wordt een nieuwe dataset gesimuleerd (posterior predictive dataset).
3. Inferentie op verrijkte data: Voor elke replicatie wordt de inferentie uitgevoerd op een combinatie van de oorspronkelijke empirische data én de gesimuleerde postpredictieve data. Dit resulteert in een "verrijkte posterior" (augmented posterior).
4. Validatie: Als het algoritme correct is, moeten de oorspronkelijke posterior-trekkingen uniform verdeeld zijn binnen de verrijkte posterior-verdeling. Dit wordt getest via PIT-scores (Probability Integral Transform) en visualisatie met ECDF-differentieplots.

Gebruikte Datasets en Software:

• Software: BEAST 2 (Bayesian Evolutionary Analysis Sampling Trees).
• Dataset 1 (Tip-dating): Een subset van Indo-Europese cognaten (taaldata).
  • Model: Covarion substitutiemodel, relaxed clock, geboorte-dood skyline boom-prior met bemonsterde voorouders.
  • Topologie: Vastgehouden (gebaseerd op eerdere studies) om focus te leggen op tijdschatting.
• Dataset 2 (Node-dating): Een moleculaire rRNA-dataset van Tabanidae (paardvliegen).
  • Model: Yule boom-prior, HKY substitutiemodel, uncorrelated relaxed clock.
  • Calibraties: Lognormale verdelingen op drie knooppunten.

Voor beide datasets werden ook prior SBC tests uitgevoerd en posterior predictieve simulaties om modelmisspecificatie te detecteren (bijv. afwijkingen in boomlengte of bemonsterde voorouders).

Belangrijkste Bijdragen

1. Eerste toepassing van Posterior SBC in fylogenetische datering: Dit is het eerste onderzoek dat deze geavanceerde validatiemethode toepast op fylogenetische tijdschattingen.
2. Validatie onder modelmisspecificatie: Het onderzoek toont aan dat de inferentiemachines in BEAST 2 goed gekalibreerd blijven, zelfs wanneer het onderliggende boommodel (zoals de boom-prior) niet perfect past bij de data.
3. Testen van Node-dating met meerdere calibraties: Het is de eerste gepubliceerde studie die prior SBC toepast op node-dating analyses met meerdere calibratiepunten.
4. Bevestiging van theoretische grenzen: Het onderzoek levert empirisch bewijs voor de theoretische limieten van de identificeerbaarheid van knooppuntdatums, zelfs bij het toevoegen van extra data via posterior predictieve simulaties.

Resultaten

• Kalibratie: Zowel bij de Indo-Europese (tip-dating) als de Tabanidae (node-dating) datasets toonden zowel prior als posterior SBC tests aan dat de inferentie-algoritmes goed gekalibreerd zijn. De PIT-scores volgden de verwachte uniforme verdeling, wat aangeeft dat er geen systematische bias in de software zit.
• Modelmisspecificatie: Er werd wel degelijk modelmisspecificatie aangetoond (bijv. afwijkingen in boomlengte en het aantal bemonsterde voorouders bij de taaldata, en afwijkingen in taklengte-verhoudingen bij de vliegen). Desondanks bleven de tijdschattingen goed gekalibreerd.
• Precisie en Identificeerbaarheid:
  • Een opvallend resultaat was dat het simuleren van postpredictieve data geen verdere toename in precisie opleverde voor de schattingen van de knooppuntdatums (node ages).
  • De verrijkte posterior-verdelingen waren vrijwel identiek aan de originele posterior-verdelingen.
  • Dit gold zelfs wanneer data werd gesimuleerd op bomen uit de uitersten van de posterior-verdeling (zeer jong of zeer oud); de geschatte ouderdomsverdeling verschuift niet.
  • Dit bevestigt eerdere theoretische werken (o.a. Yang & Rannala) dat er fundamentele limieten zijn aan de identificeerbaarheid van knooppuntdatums, veroorzaakt door onzekerheid in calibraties en relaxed clock-snelheden, ongeacht de hoeveelheid data.
• Controle-experiment: Het uitvoeren van posterior SBC op een gesimuleerde prior-predictieve dataset (in plaats van de echte data) leverde dezelfde resultaten op, wat aantoont dat het gebrek aan precisietoename een fundamenteel kenmerk is van de methode en niet specifiek voor de empirische data.

Significantie en Conclusie

De studie biedt sterke validatie voor de gebruikte inferentiemethoden in BEAST 2. Het resultaat is van groot belang voor het veld van de fylogenetische datering, waar resultaten vaak controversieel zijn (bijv. debatten over de ouderdom van de Indo-Europese taalfamilie).

• Vertrouwen: De resultaten tonen aan dat eerdere bevindingen niet het product waren van softwarebugs of inferentie-fouten.
• Theoretisch inzicht: Het bevestigt dat de beperking in precisie van tijdschattingen een fundamenteel probleem is van de identificeerbaarheid en niet een tekortkoming van de software. Zelfs met perfecte kalibratie en extra data kan de onzekerheid rondom knooppuntdatums niet volledig worden opgelost als de calibraties en clocksnelheden onzeker blijven.
• Toekomst: De auteur wijst op de noodzaak van directe simulatoren voor complexe boommodellen om de circulariteit van het gebruik van MCMC voor zowel prior-sampling als inferentie te doorbreken, en suggereert cross-validatie tussen verschillende softwarepakketten (bijv. RevBayes en BEAST 2).

Kortom, de paper bevestigt dat de inferentiemachines in BEAST 2 robuust en correct werken, zelfs in de complexe en vaak imperfect gemodelleerde wereld van de fylogenetische datering.