High Diversity Gene Libraries Facilitate Machine Learning Guided Exploration of Fluorescent Protein Sequence Space

Dit onderzoek toont aan dat het experimenteel uitbreiden van trainingsdiversiteit via grote genbibliotheken machine learning-modellen in staat stelt om extrapolatie om te zetten in interpolatie, waardoor functionele fluorescerende eiwitten kunnen worden ontworpen die buiten de bekende natuurlijke sequenties liggen.

De kern

Hoe een digitale "superlezer" en een biologische "mix-and-match" machine samen nieuwe lichtgevende eiwitten vinden

Stel je voor dat je een enorme bibliotheek hebt met instructieboeken voor het bouwen van lampen die van nature in de zee groeien (de bekende groene en blauwe lichtgevende eiwitten, zoals GFP). De meeste mensen proberen nieuwe lampen te maken door alleen kleine veranderingen aan te brengen in één specifiek boekje. Maar wat als het beste nieuwe ontwerp ergens anders in de bibliotheek zit, of zelfs in een sectie die nog nooit is bezocht?

Dit onderzoek van de Universiteit van Oregon lost precies dit probleem op. Ze gebruiken een slimme combinatie van kunstmatige intelligentie (AI) en biotechnologie om niet alleen kleine aanpassingen te maken, maar om het hele "ontwerpgebied" van lichtgevende eiwitten te verkennen.

Hier is hoe ze dat deden, vertaald naar alledaagse taal:

1. Het probleem: De AI is te bang om te dromen

Stel je een AI voor die is opgeleid om nieuwe recepten te bedenken, maar die alleen heeft gelezen van de kookboeken van één specifieke familie. Als je de AI vraagt om een hele nieuwe soep te bedenken, zal ze waarschijnlijk vastlopen. Ze kan alleen voorspellen wat er binnen de bekende kookboeken past (interpolatie), maar niet wat er buiten die kookboeken ligt (extrapolatie).

In de biologie betekent dit: AI-modellen kunnen goed nieuwe varianten maken van bekende eiwitten, maar ze vinden het moeilijk om naar volledig nieuwe, functionele gebieden te springen waar de natuur nog nooit is geweest. Ze missen de "diversiteit" in hun training.

2. De oplossing: De "Mix-and-Match" machine (DNA-shuffling)

Om dit op te lossen, bouwden de onderzoekers eerst een gigantisch, divers trainingsbestand.

• Stap 1: De verzameling. Ze namen 620 verschillende bekende lichtgevende eiwitten en lieten een robot (DropSynth) deze allemaal synthetiseren.
• Stap 2: De grote mix. Vervolgens gebruikten ze een techniek genaamd DNA-shuffling. Denk hierbij aan een enorm potje met 620 verschillende recepten. Ze knippen deze recepten in stukjes en mixen ze willekeurig door elkaar. Je krijgt nu duizenden nieuwe "chimera's": eiwitten die een stukje van de ene familie hebben, een stukje van de andere, en weer een stukje van een derde.
• Het resultaat: In plaats van alleen kleine variaties op één thema, hadden ze nu een enorme, chaotische verzameling van nieuwe combinaties. Het is alsof je uit 100 verschillende auto's duizenden nieuwe auto's bouwt door wielen, motoren en carrosserieën van allemaal verschillende modellen te combineren.

3. De selectie: De "Blauwe" filter

Niet al die nieuwe combinaties werken. Veel zijn rommel. Daarom gebruikten ze een FACS-sorter (een soort super-snelheidslaser die cellen scant).

• Ze keken alleen naar de cellen die helder blauw licht gaven.
• Dit was als het filteren van een berg puin om alleen de diamanten over te houden.
• Ze kregen zo een "gouden lijst" van duizenden werkende, blauwe eiwitten die allemaal uniek waren.

4. De AI wordt slim: Leren van de chaos

Nu was het tijd voor de AI (ProtGPT2). In plaats van de AI te voeden met de oorspronkelijke, saaie lijst van 620 eiwitten, gaven ze ze de gouden lijst van duizenden nieuwe, blauwe combinaties.

• De AI leerde: "Oh, blauw licht kan dus op veel meer manieren ontstaan dan ik dacht!"
• Door deze enorme diversiteit te zien, veranderde de AI van een "voorspeller" in een "ontdekker". Ze kon nu niet meer alleen voorspellen wat er binnen de bekende lijnen zat, maar kon nu ook voorspellen wat er tussen de lijnen zat.

5. Het bewijs: Nieuwe lampen die de natuur niet kent

De AI genereerde 1.500 nieuwe ontwerpen. De onderzoekers bouwden deze in het lab en testten ze.

• Het verrassende resultaat: Veel van deze nieuwe ontwerpen gaven daadwerkelijk blauw licht!
• En nog belangrijker: Als je deze nieuwe ontwerpen vergelijkt met de oorspronkelijke 620 eiwitten, zitten ze op plekken in de "ontwerpbibliotheek" die de natuur nog nooit heeft bezocht. Ze zijn echt nieuw.

De grote les

De kernboodschap van dit papier is als volgt: Om AI echt slim te maken in het ontwerpen van nieuwe dingen, moet je haar eerst een enorm, divers trainingsbestand geven.

Als je een AI alleen leert van één type bloem, kan ze geen nieuwe soorten bloemen bedenken. Maar als je haar eerst duizenden hybriden laat zien (door biologische "mix-and-match"), leert ze de regels van het spel zo goed dat ze vervolgens zelf nieuwe, prachtige bloemen kan ontwerpen die zelfs de natuur nog niet heeft bedacht.

Kortom: Ze gebruikten biologie om de AI te trainen, en de AI om de biologie te verbeteren. Een perfecte cyclus van samenwerking tussen natuur en technologie.

Technische samenvatting

Probleemstelling

Machine Learning (ML) modellen voor eiwitontwerp, zoals Protein Language Models (PLMs), hebben grote vooruitgang geboekt in het voorspellen van eiwitstructuren en het genereren van nieuwe sequenties. Een fundamentele beperking van deze modellen is echter hun afhankelijkheid van de diversiteit en volledigheid van de trainingsdata.

• Extrapolatie vs. Interpolatie: ML-modellen presteren goed bij interpolatie (voorspellingen binnen de verdeling van de trainingsdata), maar falen vaak bij extrapolatie (voorspellingen buiten deze verdeling).
• Beperkte Diversiteit: Traditionele methoden voor eiwitengineering (zoals error-prone PCR of diepe mutatiescans) genereren vaak varianten die dicht bij een enkel oudermolecuul liggen. Dit beperkt het bereik van de trainingsdata tot lokale "fitness-landschappen".
• Het gevolg: Voor kleine of schaars bemonsterde eiwitfamilies (zoals fluorescente eiwitten) liggen de beste functionele varianten vaak in gedeelten van de sequentieruimte die ver verwijderd zijn van bekende natuurlijke homologen. Zonder voldoende diverse trainingsdata moet het ML-model extrapoleren, wat leidt tot onbetrouwbare voorspellingen en een gebrek aan succesvolle nieuwe ontwerpen.

Methodologie

De auteurs ontwikkelden een geïntegreerde workflow die experimentele gen-synthese combineert met ML-gestuurd ontwerp om de trainingsdiversiteit actief uit te breiden.

1. Uitgebreide Gen-Synthese (DropSynth):

   • Er werden 620 bekende $\beta$-buis fluorescente eiwitten (uit de FPBase-database) geselecteerd.
   • Met behulp van DropSynth-technologie werden deze gesynthetiseerd in twee verschillende codon-geoptimaliseerde versies, wat resulteerde in twee ouderbibliotheken (C1P en C2P) met in totaal 1.242 unieke genconstructen.
   • Dit zorgde voor een brede basis van natuurlijke homologen in plaats van mutaties rondom één oudermolecuul.

2. DNA-Shuffling voor Chimere Diversiteit:

   • De ouderbibliotheken werden gecombineerd en onderworpen aan DNA-shuffling (DNase I-fragmentatie en herassemblage via PCR).
   • Dit creëerde een enorme bibliotheek van chimere varianten (C12S) die segmenten van verschillende oudermoleculen combineren, waardoor nieuwe combinaties worden gegenereerd die niet door natuurlijke evolutie of puntmutaties zijn bereikt.

3. Functionele Screening (FACS):

   • De geschoorde bibliotheek werd gescreend met Fluorescentie-geactiveerde celsortering (FACS) om specifiek varianten met blauwe fluorescentie te isoleren.
   • Twee "bins" met de helderste fluorescentie werden geselecteerd.
   • Door barcoding en Next-Generation Sequencing (PacBio en Nanopore) werden de sequenties geanalyseerd. Variantes werden gefilterd op basis van barcodesteun en overlap tussen bins om een hoogwaardige, functioneel verrijkte dataset te creëren (7.812 sequenties).

4. Machine Learning Fine-tuning en Generatie:

   • Het generatieve taalmodel ProtGPT2 werd gefine-tuned op deze uitgebreide, functioneel verrijkte dataset.
   • Het model genereerde 11.000 de novo sequenties. Na verwijdering van redundante sequenties bleven 1.518 unieke ontwerpen over.
   • Deze ontwerpen werden experimenteel gesynthetiseerd (weer via DropSynth) en getest op functionaliteit.

Belangrijkste Bijdragen

• Paradigmaverschuiving in Data-augmentatie: Het artikel demonstreert dat het actief creëren van functioneel gekarakteriseerde, synthetische diversiteit (via shuffling) een effectievere strategie is dan het simpelweg vergroten van de datasetgrootte met redundante data.
• Van Extrapolatie naar Interpolatie: Door het "manifold" (het bereik) van de trainingsdata uit te breiden, worden veel sequenties die voorheen als "extrapolatie" voor het model golden, omgezet in "interpolatie". Dit verhoogt de betrouwbaarheid van de ML-voorspellingen aanzienlijk.
• Validatie van ML-generatie buiten natuurlijke clusters: Het succesvol genereren en valideren van functionele eiwitten die zich buiten de bekende evolutionaire clusters bevinden, bewijst dat ML-modellen, ondersteund door de juiste data, echt nieuwe ruimtes in de sequentieruimte kunnen verkennen.

Resultaten

• Diversiteitsuitbreiding: DNA-shuffling verhoogde het aantal unieke eiwitvarianten met een factor drie ten opzichte van de ouderbibliotheken, terwijl ongeveer 4% van de chimere varianten nog steeds functioneel (fluorescerend) bleef.
• ML-Genereerde Eiwitten: Van de 1.536 gegenereerde ontwerpen (inclusief controles) werden er 361 unieke ProtGPT2-ontwerpen experimenteel bevestigd als functioneel blauw fluorescerend.
• Structuur en Novelty:
  • Veel gegenereerde sequenties bevonden zich in gebieden van de sequentieruimte die niet overlappen met bekende natuurlijke fluorescente eiwitten (gevisualiseerd via UMAP en MDS).
  • Sommige succesvolle varianten hadden een zeer lage sequentie-identiteit (<30%) met de dichtstbijzijnde natuurlijke homologen, wat wijst op aanzienlijke evolutionaire afstand.
  • Interessant genoeg toonden sommige functionele varianten onvolledige of vervormde $\beta$-buisstructuren in AlphaFold3-predicties, wat suggereert dat deze modellen de vouwbaarheid van sterk afwijkende sequenties soms onderschatten.
• Mosaïek-structuur: De ML-generatie resulteerde in een hogere mate van "mosaïek-structuur" (wisselingen tussen ouderfamilies binnen één sequentie) dan zelfs de DNA-shuffling-bibliotheek, wat aantoont dat het model complexe, lang-range combinaties leert.

Betekenis en Conclusie

Dit werk biedt een schaalbaar kader voor het ontwerpen van eiwitten in kleine of schaars bemonsterde families. De kernboodschap is dat experimentele diversiteit de beperkingen van ML-modellen kan doorbreken.

• Oplossing voor "Data-honger": In plaats van te wachten op meer natuurlijke data (die vaak niet bestaat voor specifieke eigenschappen), kunnen onderzoekers synthetische, functionele bibliotheken bouwen om de trainingsruimte van het model te vullen.
• Toekomstperspectief: Deze aanpak maakt het mogelijk om naar globale fitness-optima te zoeken die ver weg liggen van standaard laboratoriumtemplates, wat essentieel is voor het ontwerpen van eiwitten met volledig nieuwe eigenschappen of verbeterde stabiliteit en helderheid.
• Reproduceerbaarheid: De auteurs hebben alle bibliotheken, sequenties en analyse-scripts openbaar gemaakt (via Addgene, FigShare en GitHub), wat de gemeenschap in staat stelt deze methode direct toe te passen op andere eiwitfamilies.

Samenvattend bewijst dit onderzoek dat de combinatie van high-diversity gene synthesis, functionele screening en generatieve AI een krachtige synergie vormt om de grenzen van het eiwitontwerp te verleggen.