Ankh-score produces better sequence alignments than AlphaFold3

Het Ankh-score-methode, gebaseerd op eiwit-embeddings van taalmodellen, levert volgens de studie betere sequentie-uitlijningen op dan structurele uitlijningen met AlphaFold3 en traditionele methoden.

De kern

De Grote Wedstrijd: Wie is de beste vertaler voor eiwitten?

Stel je voor dat eiwitten (de bouwstenen van het leven) als boeken zijn. Elk boek is geschreven in een vreemde taal (de aminozuur-volgorde). Om te begrijpen hoe deze boeken werken, of hoe ze met elkaar verwant zijn, moeten we ze naast elkaar leggen en kijken welke zinnen overeenkomen. Dit noemen we eiwit-sequentie-alignement. Het is als het vinden van de juiste regels in twee verschillende vertalingen van hetzelfde verhaal.

De auteurs van dit artikel hebben gekeken naar drie manieren om deze "vertaling" te verbeteren. Ze hebben een wedstrijd gehouden tussen drie methoden:

1. De Oude Manier (BLOSUM): Dit is de traditionele methode, gebaseerd op een oud woordenboek van statistieken. Het werkt prima, maar is wat ouderwets.
2. De Architect (AlphaFold3): Dit is een revolutionaire AI die eerst de 3D-structuur van het eiwit "bouwt" (alsof je een 3D-model maakt van een huis) en daarna kijkt welke delen van die huizen op elkaar lijken.
3. De Taalmeester (Ankh-score): Dit is een nieuwere AI die niet kijkt naar de vorm, maar naar de "betekenis" en de context van de woorden in de tekst zelf. Het leest miljoenen boeken om te begrijpen hoe woorden met elkaar verbonden zijn.

De Uitslag: De Taalmeester wint!

De onderzoekers hebben duizenden tests gedaan met verschillende datasets (zoals een bibliotheek van bekende eiwitten). Het resultaat was verrassend duidelijk:

• De Oude Manier deed het goed, maar niet geweldig.
• De Architect (AlphaFold3) deed het beter dan de oude manier, vooral als de 3D-structuren heel duidelijk waren. Maar soms maakte hij fouten, alsof hij twee huizen met elkaar vergelijkt die op het eerste gezicht lijken, maar waar de kamers op de verkeerde plek zitten.
• De Taalmeester (Ankh-score) won met overmacht. Hij maakte de meest accurate vertalingen.

Waarom wint de Taalmeester? (De Metafoor)

Stel je voor dat je twee mensen wilt vergelijken die een verhaal vertellen.

• AlphaFold3 kijkt naar hoe ze eruitzien. Als ze dezelfde jas dragen en dezelfde hoed op hebben, denkt de AI: "Ah, die twee zijn zeker familie!" Maar soms dragen mensen dezelfde kleding en zijn ze toch totaal verschillend.
• Ankh-score luistert naar wat ze zeggen. Hij hoort de nuances in hun stem, de manier waarop ze zinnen bouwen en de context van hun verhaal. Hij ziet dat ze, ondanks verschillende kleding, dezelfde diepe gedachten en patronen in hun taal delen.

Het artikel suggereert dat de "taal" van de eiwitten (de volgorde van letters) informatie bevat die zelfs de perfecte 3D-structuur niet kan laten zien. De Taalmeester (Ankh) heeft een soort "sixth sense" die de Architect mist.

Een Verrassende Wending: De "Echte" Foto's

Er was nog een laatste test. Meestal denken we dat een echte foto (een experimenteel bepaald eiwit) beter is dan een AI-gegenereerde tekening (AlphaFold). Je zou verwachten dat als je de echte foto's van de huizen vergelijkt, dat beter werkt dan de AI-tekeningen.

Maar het resultaat was verwarrend: de AI-tekeningen (AlphaFold) deden het soms zelfs beter dan de echte foto's!

• Waarom? Misschien omdat de echte foto's soms onvolledig zijn of ruis bevatten, terwijl de AI een "ideale versie" heeft bedacht.
• Conclusie: Dit is nog een raadsel dat de wetenschappers moeten oplossen. Het is alsof een perfecte tekening van een auto soms beter werkt voor een race dan een echte auto die een beetje beschadigd is.

Wat betekent dit voor de wereld?

Dit onderzoek is belangrijk omdat:

1. Geneeskunde: Betere vertalingen helpen artsen en onderzoekers sneller ziektes te begrijpen en medicijnen te ontwerpen.
2. Technologie: Het laat zien dat AI die "taal" leest (zoals Ankh) soms slimmer is dan AI die alleen "vormen" bouwt.
3. Toekomst: De software die ze hebben gebruikt (Ankh-score) is gratis beschikbaar. Het is een nieuwe, krachtige tool die onderzoekers nu kunnen gebruiken om de geheimen van het leven beter te ontcijferen.

Kort samengevat: Als je wilt weten hoe eiwitten met elkaar praten, luister dan niet alleen naar hoe ze eruitzien (AlphaFold), maar luister naar wat ze zeggen (Ankh-score). De taalmeester wint de wedstrijd!

Technische samenvatting

Probleemstelling

Proteïne-sequentiematching (alignment) is een fundamentele procedure in de bio-informatica, essentieel voor downstream-toepassingen zoals het traceren van evolutionaire relaties, het detecteren van geconserveerde motieven en het voorspellen van functie. Traditionele methoden, zoals die gebaseerd op BLOSUM-matrices (bijv. BLOSUM62) en dynamische programmering met affiene gap-penaliteiten, bereiken hun limieten, vooral bij sequenties met lage homologie.

De afgelopen jaren zijn twee revolutionaire concepten opgekomen om de staat van de kunst te verbeteren:

1. AlphaFold: Voorspelt 3D-structuren met hoge nauwkeurigheid. De hypothese is dat het aligneren van deze voorspelde structuren (structuurbased alignment) leidt tot betere sequentie-alignmenten dan sequentie-only methoden.
2. Proteïne Taalmodellen (PLMs): Modellen zoals Ankh, ProtT5 en ESM-C genereren contextuele vectorrepresentaties (embeddings) van aminozuren. De vraag is of de gelijkenis tussen deze embeddings (cosinus-similariteit) een superieure scoringsschema biedt voor alignment.

Het doel van dit onderzoek is een grondige vergelijking te maken tussen traditionele methoden, structurele alignmenten gebaseerd op AlphaFold3, en scoring gebaseerd op PLM-embeddings (specifiek Ankh).

Methodologie

De auteurs hebben drie methoden voor het berekenen van proteïne-sequentiematching met elkaar vergeleken:

1. Traditionele Methode (BLOSUM): Dynamische programmering met affiene gap-penaliteiten, gebruikmakend van scores uit BLOSUM-matrices (voornamelijk BLOSUM45, BLOSUM50, etc.).
2. Structuurgebaseerde Methode (AF3US):
   • Eerst worden de structuren van de proteïnes voorspeld met AlphaFold3.
   • Vervolgens worden deze structuren uitgelijnd met US-align (een structuuraligneringstool).
   • De sequentie-alignment wordt afgeleid uit de residue-residue correspondenties die door US-align in de structuur worden gevonden.
3. Embedding-gebaseerde Methode (Ankh-score):
   • Gebruikmakend van het Ankh-model (een PLM) worden embeddings gegenereerd voor elk aminozuur.
   • De score voor het aligneren van twee residuen wordt bepaald door de cosinus-similariteit tussen hun embeddings.
   • Deze scores worden gebruikt in een dynamisch programmeringsalgoritme met affiene gap-penaliteiten.

Datasets en Validatie:

• Datasets: Een breed scala aan domeinen uit BAliBASE en de Conserved Domain Database (CDD), met variërende identiteitsniveaus.
• Referentie: Voor elke paar sequenties werd een referentie-alignment gebruikt (afgeleid van de originele Multiple Sequence Alignment).
• Metingen: De kwaliteit van de berekende alignments werd gemeten aan de hand van vier afstandsmaten ten opzichte van de referentie:
  • $d_{ia}$: Inter-alignment afstand (oppervlak tussen paden).
  • $d_{d}$: Relatieve verplaatsingsafstand.
  • $d_{cc}$: Afstand tot de dichtstbijzijnde positie met dezelfde context.
  • $d_{pos}$: Afstand gebaseerd op gaps (sequence en positie).
• Statistiek: Vergelijkingen werden getoetst met de Wilcoxon signed-rank test (p-waarde < 0,01 als significant).

Belangrijkste Bijdragen en Resultaten

1. Ankh-score is superieur
De belangrijkste bevinding is dat de Ankh-score methode duidelijk de beste prestaties levert, gevolgd door AlphaFold3 (via US-align) en tot slot de traditionele BLOSUM-matrices.

• Ankh-score overtrof AF3US in 78,75% van de domeinen (tegenover 10,63% voor AF3US).
• Zelfs wanneer alleen tests met een hoge structurele overeenkomst (TM-score > 0,5) werden geselecteerd – wat de structuurmethode zou moeten begunstigen – bleef Ankh-score de beste methode.

2. Informatie in embeddings vs. voorspelde structuren
De resultaten suggereren dat PLM-embeddings (specifiek van Ankh) informatie bevatten die niet beschikbaar is in de door AlphaFold3 voorspelde structuren. Dit is een verrassende conclusie, aangeer men zou verwachten dat de 3D-structuur de "gouden standaard" is voor homologie.

3. Vergelijking met andere PLMs en Structuuraligners

• PLMs: Ankh presteerde significant beter dan andere PLMs zoals ProtT5, ProstT5 en ESM-C. ProstT5 (een fijnafgestemd ProtT5 met structurele informatie) deed het goed, maar Ankh bleef superieur.
• Structuuraligners: US-align werd bevestigd als de beste tool voor het uitlijnen van voorspelde structuren, beter dan DALI en Foldseek.

4. Case Studies
Drie specifieke voorbeelden (MTSS1 vs. Spire, HT16 vs. SH2 SAP, en YxjL vs. DegU) illustreerden de superioriteit van Ankh-score:

• In gevallen waar AlphaFold3 de structuur goed voorspelde maar de sequentie-alignment verkeerd was (bijv. door verkeerde koppeling van domeinen), slaagde Ankh-score erin de biologisch correcte alignment te vinden die overeenkwam met de referentie.
• Ankh-score leverde vaak een identieke alignment op als de referentie, terwijl AF3US volledig verschillende alignments produceerde.

5. Verrassende bevinding over experimentele structuren
In een beperkte test met experimenteel bepaalde structuren (in plaats van AlphaFold-voorspellingen) bleek dat AF3US (gebaseerd op voorspellingen) zelfs iets beter presteerde dan het aligneren van experimentele structuren met US-align. Hoewel dit gebaseerd is op een klein aantal samples en verder onderzoek vereist, is het een intrigerende hypothese dat de voorspellingsmodellen van AlphaFold bepaalde fouten in experimentele data of nuances in de sequentiecontext kunnen compenseren.

Significantie en Conclusie

Dit onderzoek daalt de huidige consensus uit dat structurele alignmenten altijd superieur zijn aan sequentie-only methoden. De studie toont aan dat contextuele embeddings van taalmodellen (PLMs) een krachtiger signaal bevatten voor het bepalen van evolutionaire relaties dan de 3D-structuren die door AlphaFold3 worden gegenereerd.

• Praktische toepassing: De auteurs hebben de software (Ankh-score) vrij beschikbaar gemaakt als webserver en broncode, wat direct toepasbaar is voor onderzoekers die betere multiple sequence alignments nodig hebben.
• Wetenschappelijke impact: De bevindingen suggereren dat PLMs informatie "leren" over functionele en evolutionaire patronen die zelfs niet expliciet in de voorspelde 3D-structuur zitten. Dit opent nieuwe richtingen voor de integratie van taalmodellen in structurele biologie en de ontwikkeling van hybride methoden die zowel embeddings als structurele informatie combineren.

Kortom, voor de taak van het berekenen van proteïne-sequentiematching is de Ankh-score momenteel de state-of-the-art methode, en deze overtreft zelfs de geavanceerde AlphaFold3-gebaseerde benaderingen.