Ancestral state reconstruction with discrete characters using deep learning

Deze studie toont aan dat het diep-leringssoftwarepakket phyddle een veelbelovend alternatief biedt voor traditionele likelihood-gebaseerde methoden bij het reconstrueren van ancestrale toestanden met discrete karakters, vooral voor complexe evolutionaire modellen met onberekenbare likelihoods, hoewel de nauwkeurigheid bij grotere bomen afneemt.

De kern

Hoe Deep Learning de Geschiedenis van het Leven (en Virussen) Ontcijfert

Stel je voor dat je een enorme, oude familieboom hebt. Je kent de gezichten van de mensen die nu leven (de uiteinden van de takken), maar je wilt weten hoe hun voorouders eruit zagen, wat ze aten, waar ze woonden of welke ziektes ze hadden. In de biologie noemen we dit ancestral state reconstruction (het reconstrueren van de oorspronkelijke toestand).

Vroeger deden wetenschappers dit met ingewikkelde wiskundige formules (zoals kansrekening). Maar er is een groot probleem: zodra je de werkelijkheid te complex maakt (bijvoorbeeld door rekening te houden met hoe virussen zich verspreiden of hoe soorten uitsterven), worden die formules onmogelijk op te lossen. Het is alsof je probeert een vergelijking op te lossen met duizenden onbekende variabelen; de rekenmachine crasht.

In dit artikel presenteren Anna Nagel en Michael Landis een nieuwe oplossing: Deep Learning (kunstmatige intelligentie). Ze hebben een computerprogramma genaamd PHYDDLE aangepast om deze "onoplosbare" problemen op te lossen door te leren van voorbeelden, in plaats van door formules te gebruiken.

Hier is hoe het werkt, uitgelegd met simpele analogieën:

1. De Oude Manier vs. De Nieuwe Manier

• De Oude Manier (Likelihood): Dit is alsof je een detective bent die elke mogelijke moordzaak stap voor stap uitrekent met een vergelijking. Als de zaak simpel is (een moord in een kamer), lukt het perfect. Maar als de zaak complex is (een moord in een stad met duizenden getuigen en bewijsstukken die veranderen), wordt de vergelijking te groot en stopt de detective.
• De Nieuwe Manier (Deep Learning): Dit is alsof je een super-slimme student hebt die duizenden moordzaken heeft gezien. Je geeft de student geen formules, maar laat hem duizenden voorbeelden zien van "dader + bewijs = oplossing". De student leert patronen herkennen. Als je hem nu een nieuwe, complexe zaak geeft, kijkt hij niet naar de formules, maar zegt hij: "Ah, dit lijkt op die zaak uit 1995, dus de dader zat waarschijnlijk in de keuken."

2. Het Probleem met de "Familieboom"

Een groot probleem bij het trainen van deze AI is dat elke familieboom er anders uitziet.

• Analogie: Stel je voor dat je een AI traint om de grootvader van een gezin te raden.
  • In gezin A heeft de grootvader 2 kinderen.
  • In gezin B heeft hij 4 kinderen.
  • In gezin C heeft hij 10 kinderen.
  • En de volgorde van de kinderen is bij iedereen anders.

Als je de AI alleen leert op gezin A, weet hij niet wat hij moet doen bij gezin C. De auteurs van dit artikel hebben een slimme manier bedacht om deze bomen om te vormen tot een standaardformaat (een soort "raster" of rooster) zodat de computer ze allemaal op dezelfde manier kan zien, ongeacht hoe groot of klein ze zijn.

3. Wat hebben ze getest?

Ze hebben hun AI getest op drie verschillende scenario's:

• Scenario 1: Simpele Evolutie (De Markov-model)

  • Analogie: Een simpele familie waar alleen de oogkleur verandert.
  • Resultaat: De AI deed het bijna net zo goed als de traditionele wiskundige methoden, zeker bij kleine families.

• Scenario 2: Complexe Evolutie (SSE-modellen)

  • Analogie: Een familie waar niet alleen de oogkleur verandert, maar waar sommige takken van de boom sneller groeien dan andere, of waar takken helemaal verdwijnen (uitsterven).
  • Resultaat: De AI deed het nog steeds goed, maar bij heel grote bomen werden de voorspellingen iets minder nauwkeurig dan bij de wiskundige methoden. De AI begon soms te gokken op de meest voorkomende optie in plaats van de juiste.

• Scenario 3: De "Onmogelijke" Modellen (SIR-modellen)

  • Analogie: Dit is het verspreiden van een virus (zoals Ebola). Hierbij verandert de ziekte snel, mensen reizen, en de infectiepieken veranderen per regio. Voor deze modellen bestaat er geen wiskundige formule die het precies kan berekenen.
  • Resultaat: Hier wint de AI. Omdat er geen formule is, is de AI de enige optie. Ze testten het op de Ebola-uitbraak in Sierra Leone. De AI kon de verspreiding van het virus door de regio's redelijk goed reconstrueren, zelfs zonder de "onmogelijke" wiskunde.

4. De Twee Echte Cases

Om te laten zien dat het werkt in de echte wereld, hebben ze twee echte datasets gebruikt:

1. Liolaemus-hagedissen: Ze hebben gekeken waar deze hagedissen vandaan kwamen (hooggebergte of laagland). De AI gaf een antwoord dat heel dicht bij de bestaande theorieën lag.
2. Ebola-virus: Ze hebben gekeken waar het virus in 2014 vandaan kwam in Sierra Leone. De AI concludeerde dat het waarschijnlijk begon in een specifiek gebied (State 0), wat overeenkomt met wat epidemiologen al vermoedden.

5. De Grootte van de Boom en de "Grootte" van de AI

Een belangrijke conclusie is: hoe groter de familieboom, hoe moeilijker het voor de AI wordt.

• Bij kleine bomen (bijv. 50 soorten) is de AI net zo slim als een wiskundige.
• Bij heel grote bomen (200+ soorten) wordt de AI iets minder nauwkeurig. Het is alsof je een student vraagt om een heel groot boek te samenvatten; bij de eerste pagina's is hij perfect, maar bij de laatste pagina's begint hij details te missen.

Conclusie: Waarom is dit belangrijk?

Dit onderzoek is als het vinden van een nieuwe sleutel voor een deur die we dachten dat vergrendeld was.

Vroeger konden we alleen de "makkelijke" biologische vragen beantwoorden met wiskunde. De "moeilijke" vragen (zoals hoe virussen zich verspreiden in een complexe wereld) moesten we negeren of vereenvoudigen. Met deze Deep Learning-methode kunnen we nu die complexe vragen stellen, ook al hebben we geen perfecte formules voor ze.

Het is niet perfect (de AI maakt soms fouten bij heel grote bomen), maar het opent een nieuwe wereld van mogelijkheden voor biologen om de geschiedenis van het leven, van hagedissen tot virussen, beter te begrijpen. Het is een stap in de richting van het gebruik van kunstmatige intelligentie om de geheimen van de evolutie te onthullen.

Technische samenvatting

Probleemstelling

De reconstructie van ancestrale toestanden (Ancestral State Reconstruction - ASR) is een fundamenteel probleem in de fylogenetica, waarbij biologen proberen de eigenschappen van uitgestorven voorouders af te leiden op basis van huidige (tip) data en een fylogenetische boom.

• Huidige beperkingen: Traditionele methoden, zoals likelihood-gebaseerde benaderingen (Maximum Likelihood en Bayesiaanse inferentie), vereisen dat de waarschijnlijkheidsfunctie (likelihood) van het evolutionaire model analytisch oplosbaar of numeriek berekenbaar is.
• Het dilemma: Veel biologisch realistische modellen (bijv. SIR-modellen voor ziekteverspreiding of complexe SSE-modellen voor soortvorming en uitsterving) hebben geen tractabele likelihood-functie. Dit maakt het onmogelijk om deze modellen te gebruiken in standaard ASR-methoden, hoewel ze essentieel zijn voor realistische simulaties.
• De oplossing: Deep learning biedt een potentieel alternatief omdat het geen expliciete likelihood-functie vereist, maar in plaats daarvan patronen leert uit gesimuleerde data. Echter, het toepassen van deep learning op ASR is complex omdat de interne knopen van bomen niet direct vergelijkbaar zijn tussen verschillende boomtopologieën en -groottes.

Methodologie

De auteurs hebben het bestaande deep-learning-softwarepakket PHYDDLE aangepast om ASR uit te voeren voor discrete karakters.

1. Data-encoding en Tensor-format:

   • Fylogenetische bomen worden omgezet in tensors (array-structuren) die geschikt zijn voor neurale netwerken.
   • Er wordt gebruik gemaakt van Compact Bijection Ladderized Vector (CBLV) en Compact Diversity-reordered Vector (CDV) encoding. Deze methoden roteren de afstammelingen van knopen op basis van steekproefleeftijden of taklengtes om de variatie in patronen die het netwerk moet leren te reduceren.
   • Tip-toestanden worden gecodeerd met een aangepast formaat (CBLV+S of CDV+S) waarbij "zero-padding" wordt gebruikt om variabele boomgroottes in een vaste tensorgrootte te passen.

2. Estimatiestrategieën:
   De auteurs hebben drie strategieën getest voor het voorspellen van toestanden op interne knopen:

   • Marginal: Elke interne knoop wordt onafhankelijk behandeld als een categorische variabele met $S$ toestanden.
   • Joint: Alle interne knopen worden samen behandeld als één enkele variabele met $S^{(N-1)}$ toestanden (alle mogelijke combinaties). Dit schaalt slecht bij grote bomen.
   • Single Node: Het netwerk wordt getraind om de toestand van één specifieke knoop (op basis van een naam) te voorspellen.
   • Voor modellen waar toestanden veranderen tijdens speciatie (zoals GeoSSE), wordt een triplet-strategie gebruikt die de toestand van de ouder en beide dochterlijnen als één eenheid schat.

3. Training en Validatie:

   • Supervised Learning: Het netwerk wordt getraind met een cross-entropy verliesfunctie op grote datasets van gesimuleerde bomen.
   • Modellen: Er zijn tests uitgevoerd met Markov-modellen, BiSSE (Binary State Speciation and Extinction), GeoSSE (Geographic SSE), en een SIR + Migration model (voor Ebola).
   • Benchmarking: De prestaties van PHYDDLE zijn vergeleken met Bayesiaanse inferentie (via REVBAYES en TENSORPHYLO) en de "ware" historische data uit de simulaties.

Belangrijkste Resultaten

• Kleine bomen en simpele modellen:

  • Voor kleine bomen (bijv. 4-tips) en simpele Markov-modellen presteert PHYDDLE vergelijkbaar met Bayesiaanse inferentie. De voorspelde toestanden en waarschijnlijkheden tonen een sterke correlatie.
  • De drie verschillende schattingstrategieën (marginal, joint, single node) leverden vergelijkbare resultaten op voor kleine datasets.

• Invloed van boomgrootte:

  • Naarmate de boomgrootte toeneemt (50, 100, 200 tips), neemt de nauwkeurigheid van PHYDDLE ten opzichte van Bayesiaanse methoden af.
  • De discrepantie groeit voor diepere knopen in de boom. Bayesiaanse methoden blijven over het algemeen nauwkeuriger voor grote bomen.
  • Netwerken getraind op bomen met variabele grootte presteerden vergelijkbaar met netwerken getraind op vaste grootte, wat suggereert dat generalisatie over boomgroottes mogelijk is, maar de topologische complexiteit blijft een uitdaging.

• Complexe modellen (SSE en SIR):

  • Voor BiSSE en GeoSSE-modellen was PHYDDLE redelijk accuraat, maar vertoonde het meer ruis en afwijkingen ten opzichte van Bayesiaanse schattingen dan bij simpele Markov-modellen.
  • Bij GeoSSE neigde PHYDDLE naar het voorspellen van "enkele regio" toestanden, zelfs wanneer de werkelijke toestand een brede verspreiding was. Dit wordt toegeschreven aan een bias in de trainingsdata (waar enkele regio's vaker voorkwamen).
  • Voor het Ebola-virus dataset (SIRM model, zonder bekende likelihood) leverde PHYDDLE plausible resultaten. Diepe knopen werden met hoge waarschijnlijkheid correct geïdentificeerd als de oorsprong (regio 0), consistent met epidemiologische data. Echter, er waren enkele onlogische inferenties waar toestanden werden voorspeld die niet voorkwamen bij de afstammelingen.

• Empirische Toepassingen:

  • Liolaemus hagedissen: De reconstructie van biogeografische geschiedenis toonde overeenkomsten met Bayesiaanse methoden, maar met afwijkingen bij diepere knopen en complexe verspreidingspatronen.
  • Ebola-uitbraak: De methode slaagde erin om de verspreiding van het virus in Sierra Leone te reconstrueren zonder een expliciete likelihood-functie, wat de potentie van de methode voor complexe epidemiologische modellen aantoont.

Bijdragen en Significance

1. Toegang tot "Intractable" Modellen: Het belangrijkste bijdrage is het aantonen dat deep learning een haalbare route is voor ASR bij modellen waarvoor geen likelihood-functie bestaat (zoals SIR-modellen met migratie). Dit opent de deur voor het gebruik van biologisch realistischere modellen die voorheen onbruikbaar waren voor ASR.
2. Benchmarking: De studie biedt een rigoureuze benchmark voor de prestaties van deep learning in de fylogenetica, met name de trade-off tussen modelcomplexiteit en methodologische nauwkeurigheid.
3. Kritische inzichten:
   • Data Representativiteit: De auteurs benadrukken dat de kwaliteit van de trainingsdata cruciaal is. Simulaties moeten voldoende diversiteit in topologieën en toestanden bevatten om overgeneralisatie te voorkomen.
   • Architectuur: De huidige standaardarchitectuur van PHYDDLE werkt redelijk, maar complexere netwerken (zoals Graph Neural Networks) of aangepaste encoding-methoden kunnen de prestaties voor grote bomen verbeteren.
   • Bias: Er is een risico op bias in de trainingsdata (bijv. door simulator-defaults) die de inferentie beïnvloedt, wat voorzichtigheid vereist bij het gebruik van bestaande simulatiesoftware.

Conclusie:
Hoewel deep learning-based ASR (via PHYDDLE) momenteel nog niet de nauwkeurigheid van likelihood-gebaseerde methoden haalt voor simpele modellen en grote bomen, biedt het een unieke en noodzakelijke oplossing voor complexe, biologisch realistische modellen zonder tractabele likelihoods. De methode vormt een veelbelovend fundament voor toekomstige ontwikkelingen in de fylogenetische modellering.