FLIP2: Expanding Protein Fitness Landscape Benchmarks for Real-World Machine Learning Applications

Dit paper introduceert FLIP2, een uitgebreid benchmark voor het evalueren van machine learning-modellen voor eiwitfitheid op basis van zeven nieuwe datasets, waarbij blijkt dat eenvoudigere modellen vaak beter presteren dan geavanceerde taalmodellen onder realistische omstandigheden.

De kern

Stel je voor dat je een chef-kok bent die probeert een nieuw, perfect gerecht te bedenken. In plaats van koken, werken wetenschappers met eiwitten (de bouwstenen van het leven). Ze willen deze eiwitten "verbeteren" – bijvoorbeeld zodat ze sneller werken, sterker zijn of bij een andere temperatuur kunnen functioneren.

Vroeger deden ze dit door duizenden varianten in het lab te maken en te testen. Dat is duur en tijdrovend. Nu gebruiken ze kunstmatige intelligentie (AI) om te voorspellen welke varianten het beste zullen werken, zodat ze minder in het lab hoeven te experimenteren.

Maar hier zit een probleem: de AI-modellen die we nu hebben, zijn vaak als een student die alleen maar voor een specifiek examen heeft geleerd. Als je ze een vraag stelt die net iets anders is dan wat ze hebben geoefend, zakken ze. Ze zijn niet goed in het "generaliseren" naar nieuwe situaties.

Dit paper introduceert FLIP2, een nieuwe "proef" of benchmark om te zien welke AI-modellen echt slim zijn en welke alleen maar uit het hoofd hebben geleerd.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Cursusboeken" vs. De "Wereld"

De vorige test (FLIP) was goed, maar hij keek alleen naar een paar specifieke dingen, zoals hoe goed eiwitten hitte verdragen of hoe ze aan virussen plakken.

• De analogie: Het was alsof je een rijexamen afnam op een lege parkeerplaats. Je weet of iemand kan parkeren, maar je weet niet of ze ook kunnen rijden in drukke stadstrafiek of op een modderige weg.
• FLIP2 voegt zeven nieuwe "rijbanen" toe: enzymen (biologische machines), lichtgevoelige eiwitten en eiwitten die met elkaar praten. Het simuleert de echte, chaotische wereld van de biotechnologie.

2. De Uitdaging: De "Nieuwe Straat"

De onderzoekers hebben de test opgedeeld in verschillende moeilijke scenario's. Stel je voor dat je een kaart van een stad hebt:

• Aantal mutaties: Je kent de straten met 1 verkeersbord, maar moet nu navigeren in een stad met 10 borden.
• Positie: Je kent de weg naar het centrum, maar nu moet je naar een plek in de stad waar je nog nooit bent geweest.
• Wild-type (Het origineel): Je hebt een perfecte route voor Amsterdam, maar nu moet je een route plannen voor Rotterdam. De straten lijken op elkaar, maar ze zijn niet hetzelfde.

De meeste AI-modellen zakken hierdoor. Ze zijn gewend om alleen te werken binnen hun eigen "bubbel".

3. De Verassende Resultaat: De "Simpele Rekenmachine" wint

Dit is het meest interessante deel van het paper. De onderzoekers testten de allerbeste, super-complexe AI-modellen (de "Supercomputers") tegenover simpele, oude modellen (de "Rekenmachines").

• De Supercomputer: Dit zijn de grote taalmodellen voor eiwitten (zoals ESM2 of CARP). Ze hebben gelezen op miljarden eiwitten en zijn enorm complex.
• De Rekenmachine: Dit zijn simpele lineaire modellen. Ze kijken gewoon naar de letters in de eiwitreeks en tellen op.

Het resultaat?
In veel van de nieuwe, moeilijke situaties (zoals het verplaatsen van een eiwit naar een nieuwe stad) deed de simpele rekenmachine het net zo goed, of zelfs beter dan de supercomputer.

• De metafoor: Het is alsof je een zelfrijdende auto (de supercomputer) laat rijden op een weg die ze nog nooit hebben gezien. Ze raken in paniek en maken fouten. Een simpele fiets (de rekenmachine) die gewoon de regels volgt, komt er misschien net zo goed of beter uit.
• Conclusie: De huidige "super-AI's" zijn misschien te complex en leren de verkeerde patronen. Ze zijn niet zo goed in het aanpassen aan nieuwe situaties als we dachten.

4. Waarom is dit belangrijk?

Voor de mensen die medicijnen of nieuwe materialen ontwerpen, is dit een wake-up call.

• Het betekent dat we niet blindelings moeten vertrouwen op de duurste, complexste AI-modellen.
• Soms is een simpele aanpak, gecombineerd met de juiste data, betrouwbaarder voor echte problemen.
• Het paper zegt: "Hé, laten we stoppen met denken dat 'groter' altijd 'beter' is. Laten we eerst kijken of de simpele modellen het ook kunnen."

Samenvatting in één zin

FLIP2 is een nieuwe, eerlijke test die laat zien dat onze slimste AI-modellen voor eiwitten soms vergeten hoe ze zich moeten aanpassen aan de echte wereld, en dat een simpele, slimme "rekenmachine" vaak net zo goed werkt als een dure supercomputer.

De onderzoekers hebben alle data en tests openbaar gemaakt (onder een vrije licentie), zodat iedereen kan meedoen en samen kan werken aan betere modellen voor de toekomst.

Technische samenvatting

Probleemstelling

Machine learning (ML) methoden die de "fitness" (functionele kwaliteit) van eiwitten voorspellen op basis van hun aminozuursequentie, zijn momenteel erg gevoelig voor veranderingen in data-distributies. Dit beperkt hun generalisatievermogen in real-world scenario's voor eiwitengineering. Hoewel het eerdere FLIP-benchmark (Fitness Landscape Inference for Proteins) protocollen introduceerde om generalisatie te testen onder bepaalde domeinverschuivingen, had het twee grote beperkingen:

1. Beperkte functionaliteit: Het was voornamelijk gericht op thermostabiliteit, binding en virale capsid-viabiliteit, en miste belangrijke enzymatische functies en andere complexere interacties.
2. Irreële splitsingen: De train-test splitsingen in FLIP captureerden niet de praktische beperkingen van echte engineeringcampagnes. In de praktijk moeten modellen vaak generaliseren naar nieuwe wild-type achtergronden (wanneer er weinig data is voor een nieuw doelwit), naar mutaties op onbekende posities, of naar mutaties die verder weg liggen dan de trainingsdata.

De auteurs stellen dat bestaande benchmarks vaak leiden tot een overschatting van de prestaties van complexe modellen (zoals fine-tuned Protein Language Models of pLM's) omdat ze te vaak gebruikmaken van willekeurige splitsingen die niet de uitdagingen van echte experimentele campagnes simuleren.

Methodologie

De auteurs introduceren FLIP2, een uitgebreid benchmark-framework dat specifiek is ontworpen om realistische generalisatieproblemen in de eiwitengineering na te bootsen.

1. Datasets:
FLIP2 omvat zeven nieuwe datasets die een breder spectrum aan eiwitfuncties bestrijken:

• Enzymen: Alpha-amylase (Amylase), Imine-reductase (IRED), Nuclease B (NucB), en de β-subunit van tryptofaansynthase (TrpB).
• Lichtgevoelige eiwitten: Rhodopsine (Rhomax).
• Proteïne-Proteïne Interacties (PPIs): PDZ-domeinen (PDZ3) die interageren met intrinsiek ongeordende gebieden.
• Hydrofobe kern: Stabiliteitsdata voor de hydrofobe kern van drie verschillende eiwitten.

2. Splitsingsstrategieën (Generalisatie-regimes):
In plaats van willekeurige splitsingen, definieert FLIP2 vijf specifieke categorieën van generalisatie die corresponderen met echte engineeringuitdagingen:

• Aantal mutaties (Number): Trainen op varianten met weinig mutaties en testen op varianten met meer mutaties (extrapolatie naar hogere mutatie-dichtheid).
• Positie (Position): Trainen op mutaties op specifieke posities en testen op mutaties op onzichtbare posities (bijv. van actieve sites naar distale posities).
• Mutatie (Mutation): Trainen op specifieke mutaties en testen op andere mutaties op dezelfde posities.
• Fitness (Fitness): Trainen op varianten met lage fitness en testen op varianten met hoge fitness (simulatie van optimalisatiecampagnes).
• Wild-type (Wild Type): Trainen op varianten van de ene wild-type sequentie en testen op varianten van een andere wild-type sequentie (generalisatie over verschillende scaffolds).

3. Geëvalueerde Baselines:
De auteurs evalueren een reeks modellen om de effectiviteit van transfer learning te testen:

• Zero-shot pLM's: Likelihood-scores van voorgeprogrammeerde taalmodellen (Dayhoff, ESM2, CARP) zonder fine-tuning.
• Lineaire modellen: Ridge-regressie op one-hot encoded sequenties.
• Augmented lineaire modellen: Ridge-regressie die one-hot encoding combineert met zero-shot likelihood-scores van pLM's.
• Fine-tuned pLM's: Supervised fine-tuning van CARP-640M en ESMC-300M op de trainingsdata.

De prestaties worden gemeten met Spearman's ρ (rangcorrelatie) en NDCG (Normalized Discounted Cumulative Gain), waarbij NDCG extra gewicht geeft aan het correct rangschikken van de hoogst fitende varianten.

Belangrijkste Resultaten

De resultaten van FLIP2 bieden een schokkend inzicht in de huidige staat van de kunst:

1. Eenvoudige modellen winnen vaak: Simpele lineaire modellen (Ridge-regressie), vooral wanneer ze worden verrijkt met zero-shot likelihood-scores van pLM's, presteren vaak net zo goed of beter dan complexe, fine-tuned Protein Language Models.
2. Fine-tuning faalt bij generalisatie: Fine-tuning van pLM's leidt vaak tot een daling in prestaties op de meest uitdagende splitsingen, specifiek bij:
   • Generalisatie naar nieuwe posities (by-position).
   • Generalisatie naar nieuwe wild-types (by-wild-type).
   • In sommige gevallen zelfs bij het voorspellen van mutaties op dezelfde positie (by-mutation).
3. Zero-shot prestaties zijn context-afhankelijk: Zero-shot scores werken goed binnen één wild-type (bijv. Amylase), maar falen vaak wanneer ze varianten van verschillende eiwitten met elkaar moeten vergelijken (bijv. Hydro en Rhomax datasets).
4. De valkuil van willekeurige splitsingen: Modellen die goed presteren op willekeurige splitsingen, zakken dramatisch in prestatie op de FLIP2 splitsingen. Dit bevestigt dat willekeurige splitsingen de moeilijkheid van echte engineeringproblemen onderschatten.
5. Geen "one-size-fits-all" pLM: Er is geen enkele pLM-architectuur die consistent de beste prestaties levert over alle datasets en splitsen. De keuze van het model is taakafhankelijk.

Bijdragen

• FLIP2 Benchmark: Een openbaar beschikbaar dataset- en evaluatieframework (onder CC-BY 4.0 licentie) dat de functionaliteit en generalisatie-eisen van eiwitengineering veel beter afspiegelt dan eerdere benchmarks.
• Realistische Evaluatieprotocollen: De introductie van specifieke splitsingsstrategieën die de beperkingen van data-schaarste en domeinverschuiving in echte campagnes simuleren.
• Kritische Analyse van Transfer Learning: Het paper daagt de prevailing view uit dat fine-tuning van grote pLM's altijd superieur is. Het toont aan dat voor fitness-prediction, vooral in out-of-distribution scenario's, eenvoudige baselines vaak robuuster zijn.

Betekenis en Impact

De bevindingen van FLIP2 hebben grote implicaties voor het veld van computationele eiwitontwerp:

• Heroriëntatie van methoden: Onderzoekers moeten voorzichtig zijn met het blindelings vertrouwen op fine-tuned pLM's voor engineeringcampagnes. De resultaten suggereren dat we mogelijk de grenzen hebben bereikt van het huidige transfer learning-paradigma voor fitness-prediction.
• Focus op Generalisatie: De benchmark benadrukt dat het vermogen om te generaliseren naar nieuwe scaffolds en posities de echte uitdaging is, niet het voorspellen van mutaties binnen een bekende dataset.
• Praktische Toepasbaarheid: Door het gebruik van robuustere, eenvoudigere modellen (zoals lineaire regressie met pLM-features) kunnen ingenieurs mogelijk betrouwbaardere voorspellingen doen in situaties met weinig data, wat de efficiëntie van wet-lab experimenten kan verhogen.
• Veiligheid: Het paper wijst ook op de dubbelgebruikrisico's; betere generalisatie in fitness-prediction kan theoretisch worden gebruikt om zowel nuttige als schadelijke biologische agentia te ontwerpen, wat strikte biosafety-normen vereist.

Kortom, FLIP2 fungeert als een noodzakelijke "realiteitscheck" voor het veld, waarbij wordt aangetoond dat complexiteit niet altijd gelijkstaat aan betere prestaties in de praktijk van eiwitengineering.