Improved inference of multiscale sequence statistics in generative protein models

Deze studie introduceert de stochastische Boltzmann-machine (sBM), een nieuwe regularisatiestrategie die de inferentie van generatieve eiwitmodellen verbetert door multischaalcorrelaties nauwkeuriger te vangen, waardoor functionele en diverse eiwitsequenties kunnen worden gegenereerd zonder noodzaak aan post-hoc correcties.

De kern

De Kunst van het Ontwerpen van Levende Bouwstenen: Een Nieuwe Manier om Proteïnen te "leren"

Stel je voor dat je een gigantische bibliotheek hebt met miljarden recepten voor het koken van een perfecte maaltijd. Deze recepten zijn de proteïnen (eiwitten) in onze natuur. Elke proteïne is een lange keten van aminozuren, net zoals een recept een lijst van ingrediënten is. Sommige recepten werken perfect, andere zijn rot, en sommige zijn nog nooit eerder bedacht.

Wetenschappers willen graag een computerprogramma maken dat deze recepten kan "leren" en vervolgens nieuwe, unieke maar werkende recepten kan bedenken. Dit heet een generatief model. Het probleem is echter dat de bibliotheek niet compleet is. We hebben veel te weinig voorbeelden om alle regels van het koken perfect te begrijpen.

Het Probleem: De "Grote" en de "Kleine" Regels

In de natuur zijn er twee soorten regels die bepalen of een proteïne werkt:

1. De Grote Groepsregels: Sommige aminozuren werken samen als een team. Als je één verandert, moet je misschien tien anderen ook aanpassen om het werk te laten blijven doen. Dit is als een heel orkest dat perfect moet samen spelen.
2. De Kleine Contactregels: Andere aminozuren raken elkaar gewoon fysiek, zoals twee stenen die tegen elkaar liggen in een muur. Als je die verandert, stort de muur in.

Het oude computerprogramma (de Boltzmann Machine of BM) had een probleem: het was te bang om fouten te maken. Het gebruikte een "strafregelsysteem" (regularisatie) om de getallen in het model klein te houden. Maar dit strafregelsysteem was te dom: het strafte iedereen even hard.

• Het maakte de "Grote Groepsregels" (het orkest) te zwak.
• Het liet de "Kleine Contactregels" (de stenen) te sterk worden.

Het resultaat? Het programma bedacht nieuwe recepten die er op papier goed uitzagen, maar in de praktijk niet werkten. Of als je het probeerde te repareren, werden de recepten zo saai dat ze niks meer leken op de originele, creatieve maaltijden.

De Oplossing: De "Stochastische" Chef-kok (sBM)

De auteurs van dit papier hebben een nieuwe chef-kok bedacht: de Stochastische Boltzmann Machine (sBM).

In plaats van een strakke, saaie strafregel te gebruiken, laat deze nieuwe chef-kok het leerproces een beetje "willekeurig" en "onvolledig" verlopen. Dat klinkt gek, maar het is slim!

De Analogie van de Onvolledige Oefening:
Stel je voor dat je een sportteam traint.

• De oude methode (BM): Je laat het team 100 keer dezelfde oefening doen, maar je straft ze hard als ze ook maar iets verkeerd doen. Ze worden bang en stoppen met proberen. Ze spelen alleen nog maar de veiligste, saaiste moves.
• De nieuwe methode (sBM): Je laat het team oefenen met een paar geblesseerde spelers (onvolledige data) en je stopt de training op het moment dat ze net goed genoeg zijn, voordat ze overtraind raken.

Door het trainen te stoppen op het juiste moment en door te werken met "ruis" (willekeur), leert de nieuwe chef-kok automatisch het verschil tussen de Grote Groepsregels (het orkest) en de Kleine Contactregels (de stenen). Hij geeft de juiste gewichten aan beide soorten regels zonder ze te verstoren.

Wat is het Resultaat?

De nieuwe methode (sBM) heeft drie grote voordelen, die de auteurs testen met een specifiek enzym genaamd chorismate mutase (een soort biologische machine die in bacteriën voorkomt):

1. Betrouwbaarheid (Fidelity): De nieuwe recepten werken echt. Ze zijn functioneel, net als de natuur.
2. Nieuwigheid (Novelty): Ze zien er anders uit dan de recepten die we al kenden. Het programma is creatief.
3. Verscheidenheid (Diversity): De recepten zijn niet allemaal hetzelfde. Ze dekken een breed scala aan mogelijkheden.

De "Magische" Balans:
Met de oude methode moest je kiezen: of je kreeg werkende recepten (maar dan saai en saai), of je kreeg creatieve recepten (maar dan werkloos).
Met de nieuwe sBM-methode krijg je het beste van beide werelden: werkende, creatieve en diverse recepten, zonder dat je handmatig hoeft te knoeien met de instellingen.

Conclusie

Dit papier laat zien dat we beter kunnen leren van de natuur door niet te proberen alles perfect en strak te regelen. Door een beetje "ruis" en onvolledigheid toe te staan in het leerproces, kunnen computers de complexe, meerlagige regels van het leven beter begrijpen.

Het is alsof we eindelijk de juiste manier hebben gevonden om de taal van het leven te vertalen, zodat we in de toekomst zelf nieuwe, levenreddende medicijnen en materialen kunnen ontwerpen die de natuur zelf nooit had bedacht.

Technische samenvatting

Probleemstelling

Het modelleren van biologische data, zoals eiwitsequenties, vormt een fundamentele uitdaging vanwege de hoge dimensionaliteit en de aanwezigheid van statistische structuren op meerdere schalen. Generatieve modellen (zoals Potts-modellen) proberen de statistische verdeling van natuurlijke eiwitsequenties te leren om nieuwe, functionele sequenties te genereren.

De kern van het probleem ligt in ondersteuning (undersampling) en onregelmatige steekproeven:

1. Data-tekort: Het aantal beschikbare homologe sequenties is vaak veel kleiner dan het aantal te schatten modelparameters.
2. Meer-schaal structuur: Eiwitsequenties vertonen twee soorten correlaties:
   • Collectieve correlaties: Groepen van residuen die samenwerken voor functie (bijv. katalyse, allostery), vaak aangeduid als "sectors".
   • Lokale correlaties: Geïsoleerde contacten tussen residuen die voornamelijk de structurele stabiliteit bepalen.
3. Bias door regulering: Om overfitting te voorkomen, wordt standaard $L_2$-regulering gebruikt. Deze straalt echter alle parameters uniform af. Dit leidt tot een systematische bias: de regulering onder- of overschat de verschillende schalen van correlaties ongelijkmatig. Het resultaat is dat generatieve modellen vaak sequenties produceren die ofwel niet-functioneel zijn, ofwel te weinig diversiteit vertonen. Bestaande oplossingen vereisen vaak post hoc correcties (zoals het verlagen van de "temperatuur" tijdens het bemonsteren), wat ten koste gaat van de diversiteit en noviteit.

Methodologie: Stochastic Boltzmann Machine (sBM)

De auteurs introduceren een nieuwe inferentiestrategie, de Stochastic Boltzmann Machine (sBM), die de beperkingen van de traditionele Boltzmann Machine (BM) met $L_2$-regulering overwint.

In plaats van expliciete, uniforme regulering, maakt sBM gebruik van impliciete regulering die voortvloeit uit het inferentieproces zelf. Dit wordt bereikt door drie complementaire mechanismen te combineren:

1. Vroege stopzetting (Early Stopping): Het optimalisatieproces wordt gestopt na een beperkt aantal iteraties ($N_{iter}$), voordat het model volledig convergeert en overfit.
2. Benadering van kromming (Curvature Estimation): Het gebruik van het L-BFGS algoritme (Limited-memory Broyden-Fletcher-Goldfarb-Shanno). Dit algoritme schat de Hessian (kromming) van de log-waarschijnlijkheidsfunctie. Dit helpt om de anisotrope aard van de parameterruimte beter te navigeren, waarbij sommige richtingen "stijf" (kleine veranderingen hebben grote impact) en andere "slordig" (grote veranderingen hebben minimale impact) zijn.
3. Beperkte steekproeven (Limited Sampling): In plaats van exacte verwachtingen te berekenen (wat onmogelijk is), worden modelstatistieken geschat met een eindig aantal Monte Carlo-ketens ($N_{chains}$). Dit introduceert een stochastische ruis die fungeert als regulering, waarbij een kleiner $N_{chains}$ overeenkomt met sterkere regulering.

De update-regel voor de koppelingsparameters ($J$) in sBM wordt:
$$J^{(n+1)}_{ij} = J^{(n)}_{ij} - \alpha_n H^{(m)}_n \left[ f^{(n), N_{chains}}_{ij} - f^{data, M}_{ij} \right]$$
Waarbij $H^{(m)}_n$ de benaderde inverse Hessian is en $f^{(n), N_{chains}}$ de frequentie geschat met $N_{chains}$ ketens.

Belangrijkste Bijdragen

1. Nieuwe Regularisatiestrategie: De ontwikkeling van sBM die impliciete regulering gebruikt om bias over verschillende schalen van statistische patronen te verminderen.
2. Theoretisch en Experimenteel Bewijs: Validatie van de methode op zowel synthetische data (met bekende "ground truth" parameters) als op echte biologische data (de chorismate mutase familie).
3. Verbeterde Generatieve Prestaties: Het aantonen dat sBM sequenties kan genereren die tegelijkertijd hoog functioneel (fidelity), nieuw (novelty) en divers zijn, zonder de noodzaak van post hoc temperatuur-aanpassingen.

Resultaten

1. Synthetische Data (Mathematisch Model):

• Bij standaard BM-inferentie met $L_2$-regulering bleek dat er geen enkele reguleringssterkte bestond die zowel collectieve als geïsoleerde koppelingen correct kon schatten.
• sBM toonde aan dat er een bereik van hyperparameters ($N_{chains}$) bestaat waarbij de geschatte koppelingen nauwelijks vertekend zijn en dicht bij de ware waarden liggen.
• Generatieve capaciteit: Modellen getraind met sBM produceerden sequenties met een fideliteit (functioneel percentage) van ~84-88% en behielden een hoge diversiteit en noviteit. Standaard BM vereiste lage temperatuur-sampling om hoge fideliteit te bereiken, wat de diversiteit drastisch verlaagde.

2. Experimentele Data (Chorismate Mutase):

• De auteurs testten de gegenereerde sequenties experimenteel op hun vermogen om de groei van een E. coli stam te complementeren die het enzym mist.
• Fideliteit: sBM-modellen produceerden ongeveer 33% functionele sequenties (bij $N_{chains}=70$), een niveau vergelijkbaar met de beste BM-resultaten die echter met lage temperatuur ($T=0.66$) werden verkregen.
• Diversiteit en Noviteit: Cruciaal is dat de sBM-sequenties een diversiteitsscore van 37% behaalden, terwijl de BM-sequenties bij lage temperatuur slechts <25% diversiteit vertoonden.
• Conclusie: sBM lost het compromis op tussen fideliteit en diversiteit op. Het genereert sequenties die functioneel zijn en toch ver genoeg van de trainingsdata verwijderd zijn, zonder dat de energie-distributie kunstmatig wordt verschoven.

Betekenis en Conclusie

Deze studie toont aan dat de beperkingen van generatieve eiwitmodellen niet inherent zijn aan de data, maar voortkomen uit suboptimale inferentiestrategieën. De traditionele aanpak van uniforme regulering vervormt de complexe, meer-schaal statistiek van eiwitten.

De Stochastic Boltzmann Machine (sBM) biedt een robuust alternatief dat:

• De balans tussen collectieve en lokale correlaties beter herstelt.
• De noodzaak voor post hoc correcties elimineert.
• Een nieuwe richting aangeeft voor het modelleren van complexe biologische systemen waar data schaars is en structuren op meerdere schalen voorkomen.

Dit werk is een belangrijke stap voorwaarts in het ontwerp van kunstmatige eiwitten, omdat het modellen mogelijk maakt die zowel evolutionaire beperkingen nauwkeurig weerspiegelen als ruimte bieden voor innovatief, functioneel ontwerp.