Evaluating transformer-based models for structural characterization of orphan proteins

Dit onderzoek toont aan dat transformer-based modellen, waaronder AlphaFold2 en ESMFold, moeite hebben met het voorspellen van de tertiaire structuur van orfane proteïnen zonder homologie, hoewel ze secundaire structuurelementen redelijk betrouwbaar kunnen identificeren.

De kern

🧬 De "Orfane" Eiwitten: Een Test voor de Slimste AI's

Stel je voor dat je een enorme bibliotheek hebt met bouwtekeningen voor alle mogelijke gebouwen ter wereld. De meeste gebouwen lijken op elkaar: er zijn veel huizen, scholen en kantoren die op elkaar lijken. Maar dan heb je ook een paar rare, unieke gebouwen waarvoor geen enkele bouwtekening bestaat en die op niets in de bibliotheek lijken. In de biologie noemen we deze unieke eiwitten "wees-eiwitten" (of orphan proteins).

De auteurs van dit artikel wilden weten: Kunnen de slimste computerprogramma's (AI) die we hebben, de structuur van deze rare, unieke gebouwen voorspellen, ook al hebben ze nooit zo'n gebouw eerder gezien?

🤖 De "Architecten" (De AI-modellen)

In de wereld van eiwitten zijn er momenteel superkrachtige AI's die als architecten werken. De bekendste zijn:

• AlphaFold2: De meesterbouwer. Hij kijkt naar de geschiedenis van een eiwit (verwanten) om te zien hoe het eruit moet zien.
• ESMFold & OmegaFold: De snelle, moderne architecten. Zij proberen het alleen te doen op basis van de "woorden" (aminozuren) in de tekst, zonder naar de geschiedenis te kijken.

Deze AI's zijn fantastisch in het voorspellen van eiwitten waarvoor we al veel vergelijkbare voorbeelden hebben. Maar wat gebeurt er bij de "wees-eiwitten"?

🔍 Het Experiment: De "Wees" Test

De onderzoekers namen een specifieke groep wees-eiwitten van een parasitaire worm (Meloidogyne). Deze eiwitten zijn zo raar dat ze nergens anders in de natuur voorkomen. Ze hadden geen experimentele foto's van deze eiwitten om te controleren of de AI gelijk had (want die bestaan nog niet!).

Dus, ze gaven de eiwitten aan de drie AI-architecten en vroegen: "Hoe ziet dit eruit?"

📉 De Resultaten: Wat ging er mis?

Het nieuws is gemengd, maar vooral een waarschuwing voor de toekomst:

1. De 3D-gebouwen waren een puinhoop:
   Toen de AI's probeerden het volledige 3D-gebouw (de tertiaire structuur) te tekenen, waren de resultaten erg slecht.

   • De analogie: Het was alsof je drie verschillende architecten vraagt om een raar, nieuw type kasteel te ontwerpen. Architect A tekent een toren, Architect B een bunker, en Architect C een tent. Ze komen totaal niet overeen.
   • De AI's gaven zelf ook toe dat ze het niet wisten: hun "zelfvertrouwen" (een score genaamd pLDDT) was erg laag. Ze wisten dat ze het niet goed deden.

2. Was het omdat de eiwitten "slordig" waren?
   Een theorie was: "Misschien zijn deze wees-eiwitten gewoon erg rommelig en ongeordend (intrinsic disorder), en daarom is het moeilijk om ze te tekenen."

   • Het antwoord: Nee. De onderzoekers keken met andere tools en zagen dat deze eiwitten niet per se rommeliger waren dan normale eiwitten. De AI's faalden dus niet omdat het eiwit rommelig was, maar omdat de AI geen referentiepunten had.

3. Het enige goede nieuws: De muren zijn wel goed:
   Hoewel de AI's het grote 3D-gebouw niet konden bouwen, lukte het ze wel om de muurtjes en vloeren te herkennen.

   • De analogie: Als je vraagt waar de muren zitten, waren de drie architecten het ongeveer 70% met elkaar eens. Ze zagen allemaal: "Hier is een rechte muur (helix)" en "Daar is een platte vloer (sheet)".
   • Dit betekent dat de AI's wel degelijk de lokale patronen in de tekst begrijpen, maar niet het grote, globale plaatje.

💡 Waarom is dit belangrijk?

Dit onderzoek laat zien dat de huidige AI's eigenlijk niet echt "leren" hoe eiwitten werken, maar ze zijn vooral heel goed in het nabootsen van wat ze al hebben gezien.

• Als er een nieuw, raar eiwit is dat op niets lijkt wat ze eerder zagen, raken ze in de war.
• Ze kunnen wel de kleine details (zoals muren) voorspellen, maar ze kunnen het hele gebouw niet samenstellen zonder een "spiekbriefje" van een verwant eiwit.

🏁 Conclusie in één zin

De slimste AI's ter wereld voor eiwitten zijn momenteel nog geen echte "uitvinders" die elk nieuw eiwit kunnen begrijpen; ze zijn nog steeds uitstekende "imitators" die faals als ze geen vergelijkbaar voorbeeld in hun geheugen hebben. Voor de echte wees-eiwitten moeten we wachten op een volgende generatie AI die beter begrijpt hoe de natuur in elkaar zit, zonder alleen te kijken naar wat er al bestaat.

Technische samenvatting

Probleemstelling

Transformer-based modellen (TBMs) zoals AlphaFold2, ESMFold en OmegaFold hebben de voorspelling van eiwitstructuren revolutionair verbeterd. Deze modellen presteren uitstekend voor eiwitten met een rijke evolutionaire context (d.w.z. veel homoloog sequentie-informatie). Echter, ongeveer 5–30% van eukaryotische proteomen bestaat uit wees-eiwitten (orphan proteins). Dit zijn sequenties zonder detecteerbare gelijkenis met bekende eiwitfamilies in huidige databases.

De kernvraag is of deze modellen kunnen generaliseren naar sequenties die volledig buiten hun trainingsdistributie liggen (out-of-distribution). Omdat wees-eiwitten geen experimenteel bepaalde structuren hebben en geen homologen bezitten, vormen ze een ideale, maar uitdagende dataset om de grenzen van TBMs te testen. Er is onduidelijkheid over of de slechte prestaties van modellen op deze eiwitten te wijten zijn aan een gebrek aan evolutionaire signalen of aan een verhoogde mate van intrinsieke onorde (intrinsic disorder).

Methodologie

De auteurs hebben een uitgebreide benchmark uitgevoerd op een expert-gecureerde dataset van wees-eiwitten uit het geslacht Meloidogyne (een genus van wortelgalmijten).

1. Dataset:

   • Wees-eiwitten: 48.681 eiwitten uit 8 Meloidogyne-soorten, gedefinieerd als eiwitten zonder detecteerbare homologen buiten dit geslacht. Deze zijn onderverdeeld in "sterk gedivergeerde" eiwitten en de novo eiwitten (nieuw ontstaan).
   • Controle: Een set van niet-wees-eiwitten (met homologen in andere soorten) en een lengte-gecontroleerde controlegroep om te verifiëren of verschillen niet door sequentielengte worden veroorzaakt.

2. Voorspellingsmodellen:
   Drie verschillende TBM-architecturen werden gebruikt:

   • AlphaFold2 (v2.3.2): Gebruikte Multiple Sequence Alignments (MSA) op het niveau van orthogroepen (binnen het geslacht) omdat er geen externe homologen zijn.
   • ESMFold (v1.0) & OmegaFold (v1.1.0): Werken op basis van single-sequence of embeddings zonder externe MSA.

3. Validatie en Analyse:

   • Betrouwbaarheid: Gebruik van de predicted Local Distance Difference Test (pLDDT) score.
   • Structuurvergelijking: Paarsgewijze structurele aligneringen met TM-align om de overeenkomst tussen de voorspellingen van de verschillende modellen te meten.
   • Intrinsieke Onorde: Voorspelling met drie onafhankelijke tools (flDPnn, AIUPred, LoRa-DR) en berekening van Relative Surface Accessibility (RSA) op de voorspelde structuren.
   • Secundaire Structuur: Vergelijking van helix, sheet en coil voorspellingen via ProtT5, DSSP en de TBM-outputs.
   • Homologezoekopdrachten: Zoeken naar structurele homologen in de PDB en AFDB databases, zowel via 3Di-sequenties (ProstT5) als via de voorspelde 3D-modellen (Foldseek).

Belangrijkste Resultaten

1. Lage Tertiaire Structuurkwaliteit:

   • Alle drie de modellen (AlphaFold2, ESMFold, OmegaFold) leverden voorspellingen op voor wees-eiwitten met zeer lage pLDDT-scores (gemiddeld in het "laag" tot "zeer laag" bereik: <70).
   • Er was een sterke correlatie tussen lage pLDDT-scores en lage structurele overeenkomst (TM-score) tussen de modellen. Dit bevestigt dat de lage scores een echte weerspiegeling zijn van slechte structuurkwaliteit en niet slechts een artefact van de score-methode.
   • ESMFold presteerde systematisch slechter dan de andere modellen.

2. Gebrek aan Detecteerbare Structurele Homologen:

   • Zelfs met de nieuwste tools (Foldseek) konden voor de overgrote meerderheid van de wees-eiwitten geen betrouwbare structurele homologen worden gevonden in de PDB of AFDB.
   • Hoewel er meer "hits" waren bij het zoeken met voorspelde modellen dan met sequentie-gebaseerde methoden, waren hits met hoge identiteit (>50%) extreem zeldzaam. Dit bevestigt dat deze eiwitten structureel uniek of onbekend zijn.

3. Intrinsieke Onorde is niet de enige oorzaak:

   • Hoewel de novo eiwitten vaak worden geassocieerd met onorde, toonden onafhankelijke onorde-predictoren (die geen TBM-embeddings gebruiken) geen statistisch significant verschil in onorde tussen wees- en niet-wees-eiwitten.
   • Alleen de methoden die direct of indirect TBM-embeddings gebruikten (LoRa-DR, RSA op TBM-outputs) voorspelden meer onorde. Dit suggereert dat de modellen zelf de onorde "hallucineren" of dat de onorde niet de primaire oorzaak is van de voorspellingsfouten.

4. Robuustheid van Secundaire Structuur:

   • Ondanks de slechte tertiaire structuurvoorspellingen, was er een opmerkelijke overeenkomst in secundaire structuur (helices, sheets, coils).
   • De modellen deelden gemiddeld ongeveer 70% van de secundaire structuurelementen, zelfs bij wees-eiwitten.
   • Deze overeenkomst was significant hoger dan wat door toeval zou worden verwacht, wat aangeeft dat TBMs wel degelijk lokale biophysicale patronen kunnen herkennen, zelfs zonder evolutionaire context.

Bijdragen en Conclusies

• Generalisatie vs. Interpolatie: De studie toont aan dat TBMs uitstekend interpoleren binnen bekende evolutionaire ruimtes, maar moeite hebben om te generaliseren naar volledig nieuwe sequenties. De modellen vertrouwen sterk op evolutionaire redundantie (homologen) om de globale 3D-vouwing te bepalen.
• Lokale vs. Globale Patronen: De resultaten suggereren dat transformer-architecturen goed zijn in het vangen van lokale en middellange interacties (die secundaire structuur bepalen), maar falen bij het modelleren van langeafstandscoördinatie en globale structurele beperkingen die nodig zijn voor de tertiaire vouwing wanneer evolutionaire signalen ontbreken.
• Nieuwe Benchmark: De dataset van Meloidogyne-wees-eiwitten dient als een strenge en biologisch relevante benchmark om de grenzen van moderne eiwit-taalmodellen te testen.

Significantie

Dit onderzoek is cruciaal voor het begrijpen van de beperkingen van AI in de structurele biologie. Het waarschuwt dat hoge pLDDT-scores of vertrouwen in voorspellingen voor eiwitten zonder homologen (zoals veel de novo eiwitten) misleidend kunnen zijn. Hoewel TBMs waardevolle inzichten geven in secundaire structuur, zijn ze momenteel niet betrouwbaar voor het voorspellen van de volledige 3D-structuur van wees-eiwitten. Dit onderstreept de noodzaak van toekomstige architecturen of trainingsstrategieën die fysische principes en globale redenering beter integreren, los van louter evolutionaire data.