Protein solubility depends on centrifugation: Aiki-Sol, a per-regime predictor for E. coli

Het artikel introduceert Aiki-Sol, een voorspeller voor eiwitsolubiliteit die de prestatieplateau's van bestaande modellen doorbreekt door centrifugeringsregimes expliciet te behandelen als een kritieke eigenschap in plaats van ruis, waardoor aanzienlijke nauwkeurigheidsverbeteringen worden bereikt op een nieuw vrijgegeven, op strengheid geannoteerde E. coli-dataset.

De kern

Stel je voor dat je probeert een computer te leren voorspellen of een specifiek eiwit (een tiny bouwsteen van het leven) mooi oplost in water of gaat samenklonteren tot een vast rommeltje wanneer het wordt geproduceerd in een bacterie genaamd E. coli. De afgelopen acht jaar hebben wetenschappers geavanceerde AI gebruikt om deze voorspellingen te doen, maar ze zijn op een muur gebotst. De computers worden niet beter, hoe slim ze ook worden.

Het verborgen probleem: de "spin"-verwarring
Het artikel stelt dat de computers niet falen omdat ze niet slim genoeg zijn; ze falen omdat ze worden misleid door een verborgen variabele: centrifugeren.

Stel je het maken van een eiwit voor als het maken van een smoothie met stukjes fruit.

• Als je de smoothie in een blender doet en langzaam draait, blijven de grote stukken onderaan liggen en ziet de vloeistof er bovenop helder uit. Je noemt dit "oplosbaar".
• Als je het supersnel draait, worden zelfs de kleinste stukjes naar de bodem gedwongen, waardoor je bijna geen vloeistof overhoudt. Je zou dit "onoplosbaar" kunnen noemen.

Het eiwit zelf is niet veranderd. Het is dezelfde smoothie. Maar de methode die wordt gebruikt om de vloeistof van de vaste stoffen te scheiden (het "centrifugeerregime") verandert het resultaat.

Jarenlang hebben wetenschappers hun AI-modellen gevoed met data waarbij de "draaisnelheid" verborgen was. Ze labelden alles gewoon als "oplosbaar" of "onoplosbaar". Het is alsof je probeert een student de weersvoorspelling te leren, maar je verbergt het feit dat sommige data van een zonnig strand komen en andere van een regenachtige berg. De student raakt in de war omdat de regels lijken te veranderen zonder reden. Het artikel noemt dit een "latente verwarring" – een verborgen valstrik in de data.

De oplossing: Aiki-Sol en de nieuwe dataset
De onderzoekers losten dit op door een enorme nieuwe databibliotheek te creëren, de Aiki-Sol Dataset. In plaats van alleen te zeggen "oplosbaar" of "onoplosbaar", labelden ze elk eiwit met precies hoe hard het werd geslingerd (de "stringentie").

Ze organiseerden dit in drie niveaus:

1. De Benchmark: Een strenge, hoogwaardige set van ongeveer 85.000 eiwitten waarbij de draaisnelheid bekend is.
2. De Extensie: Een grotere set van ongeveer 147.000 eiwitten met alleen de basislabels.
3. De Onderzoekspool: Een enorme verzameling van ongeveer 229.000 eiwitten uit verschillende bronnen.

De resultaten: Het gaat om de regels, niet om het brein
Toen ze oude AI-modellen testten op deze nieuwe, eerlijke data, waren de resultaten schokkend. Bij de groep met "hoge draaisnelheid" presteerden de beste bestaande modellen zelfs slechter dan willekeurig gokken (zoals een munt opgooien). Ze waren zo in de war door de verborgen draaisnelheden dat ze vaker fout zaten dan goed.

Vervolgens bouwden ze een nieuw model genaamd Aiki-Sol.

• De truc: In plaats van te proberen één enkel antwoord te raden, is Aiki-Sol getraind om vijf verschillende antwoorden te geven, afhankelijk van hoe hard het eiwit wordt geslingerd, plus één antwoord als de draaisnelheid onbekend is.
• De verrassing: Ze ontdekten dat het "groter" maken van de AI (meer rekenkracht toevoegen of complexe 3D-structuren gebruiken) niet hielp. De magie zat niet in de architectuur; het zat in de curatie. Door de AI te leren aandacht te besteden aan de regels van de "draaisnelheid", werd een standaardmodel plotseling veel slimmer.

Het resultaat
Toen getest op nieuwe groepen eiwitten die de AI nog nooit had gezien, steeg Aiki-Sol van een succespercentage van ongeveer 70% naar meer dan 82%. Nog indrukwekkender: bij groepen waar de AI geen enkele voorkennis had van de specifieke eiwitten, verbeterde het toch enorm.

In het kort
Het artikel stelt dat eiwitoplosbaarheidsvoorspellers jarenlang vastliepen omdat ze de in het lab gebruikte "draaisnelheid" negeerden. Door een nieuwe dataset te creëren die rekening houdt met deze verschillende labomstandigheden en de AI te leren zijn voorspellingen daarop aan te passen, hebben ze het prestatieplateau doorbroken. De sleutel lag niet in het bouwen van een groter, complexer brein, maar in het leren van het bestaande brein om de specifieke regels van het spel te begrijpen.

Technische samenvatting

Technische Samenvatting: Oplosbaarheid van eiwitten hangt af van centrifugatie: Aiki-Sol, een per-regime voorspeller voor E. coli

Probleemstelling

Op sequentie gebaseerde voorspellers voor de oplosbaarheid van recombinante eiwitten in Escherichia coli hebben een prestatieplateau bereikt, waarbij onafhankelijke test-AUC-scores gedurende acht jaar ontwikkeling van eiwit-taalmodellen (PLM) stagneerden tussen 0,760 en 0,80. De auteurs identificeren een latente verstorende factor die deze stagnatie veroorzaakt: het centrifugatieregime dat wordt gebruikt om oplosbare van onoplosbare fracties te scheiden, is een verborgen variabele die is samengevoegd tot één binaire "oplosbaar"-label. Hoewel de biochemie van het eiwit constant blijft, varieert het specifieke deel van het lysaat dat als "oplosbaar" wordt teruggevonden aanzienlijk op basis van de strengheid van de centrifugatie (bijvoorbeeld g-kracht). Bestaande voorspellers behandelen deze variërende regimes als labelruis in plaats van als een voorspellende eigenschap, en sequentie-overlap tussen trainings- en testsets maskeert de resulterende faalmodi, met name wanneer modellen worden toegepast op regimes die niet tijdens het trainen zijn gezien.

Methodologie

Om dit aan te pakken, introduceren de auteurs de Aiki-Sol Dataset, een getrapte corpus van E. coli-oplosbaarheidsdata:

• Benchmarktier: Een dataset van ongeveer 85.000 items met expliciete strengheidsannotaties.
• Extensietier: Een Apache-gelicenseerde dataset van ongeveer 147.000 items die binaire, enkel gelabelde eiwitten toevoegt.
• Onderzoekstier: Een pool van ongeveer 229.000 items die bronnen met niet-commerciële licenties integreert.

De auteurs hebben Aiki-Sol ontwikkeld, een model dat gezamenlijk vijf verschillende outputs superviseert die corresponderen met specifieke centrifugatiestrengheden, naast een marginale output voor eiwitten met onbekende strengheid. De architectuur maakt gebruik van een fijngefineerde ESM-2 650M-ruggengraat.

Belangrijke keuzes in het experimentele ontwerp waren:

• Partitie: Evaluatie werd uitgevoerd op sequentie-cluster-disjuncte partities om datalekken te voorkomen.
• Ablatiestudies: De auteurs testten of structuurbewuste voorspellers (met ESMFold-structuren) of een verhoogde modelcapaciteit (schalen naar 3 miljard parameters) de prestaties verbeterden ten opzichte van de sequentie-only, geconditioneerde 650M-ruggengraat.
• Basislijnvergelijking: Het model werd vergeleken met de sterkste gepubliceerde binaire comparators.

Belangrijkste Resultaten

• Falen van binaire modellen bij hoge strengheid: Op het 32.000 x g-stratum van de benchmark viel de sterkste gepubliceerde binaire comparator onder de kansprestatie (AUC 0,491 ± 0,020), wat wijst op een fundamenteel onvermogen om te generaliseren naar regimes met hoge strengheid wanneer getraind op gemengde data.
• Prestatiewinst: Een fijngefineerde ESM-2 650M-ruggengraat met vijf protocol-gekoppelde outputs verhoogde de gepoolde AUC met +0,108 (paired-bootstrap CI ondergrens ≥ +0,090).
• Architectuur versus curatie: De prestatiewinst werd toegeschreven aan data-curatie en regime-conditionering in plaats van architecturale complexiteit. Structuurbewuste voorspellers met ESMFold-structuren presteerden niet beter dan het sequentie-only raamwerk, en het schalen van parameters naar 3 miljard overtrof niet de prestaties van de geconditioneerde 650M-ruggengraat.
• Externe validatie: Op vijf externe cohorten tilde Aiki-Sol de cohort-gemiddelde AUC van een basislijn van 0,69–0,70 naar 0,825. Opmerkelijk is dat op drie cohorten met meetbaar nul overlap met de trainingspool, het model een winst van +0,10 tot +0,16 behaalde.

Betekenis

Het artikel stelt dat de stagnatie in de voorspelling van eiwitooplosbaarheid geen beperking is van de sequentiemodelleercapaciteit, maar een gevolg is van het negeren van de experimentele context (centrifugatieregime) in de trainingslabels. Door expliciet de afhankelijkheid van oplosbaarheid van centrifugatiestrengheid te modelleren, lost Aiki-Sol de faalmodi van eerdere binaire classifiers op. Het werk toont aan dat nauwkeurige voorspelling in dit domein vereist dat het experimentele protocol wordt behandeld als een primaire eigenschap in plaats van ruis, wat robuuste prestaties mogelijk maakt, zelfs op data zonder sequentie-overlap met de trainingsset.