🤖 AI

How to Spend Your Oracle Budget: Practical Guidance for Protein Structure Prediction Models

Dit artikel benchmarkt diverse methoden voor oracle-geleiding bij de voorspelling van eiwitstructuren, waarbij wordt onthuld dat hoewel geen enkele aanpak alle scenario's domineert, Optimisation Over Outputs (O3) het meest effectief is bij lage budgetten, terwijl FK-steering en DPO uitblinken naarmate de budgetten toenemen, waardoor het praktijkgebruikers bruikbare richtlijnen biedt voor de allocatie van kostbare biologische oracle-bronnen.

Oorspronkelijke auteurs: Aleksandra Kalisz, Jack Simons, Krisztina Sinkovics, Noam Ghenassia, Shikha Surana, Henry Moss, Paul Duckworth

Gepubliceerd 2026-08-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aleksandra Kalisz, Jack Simons, Krisztina Sinkovics, Noam Ghenassia, Shikha Surana, Henry Moss, Paul Duckworth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert het perfecte soufflé te bakken. Je hebt een receptenboek (een computermodel) dat je vertelt hoe je ingrediënten moet mengen om een structuur te creëren. Meestal werkt het recept geweldig. Maar soms is de oven lastig, en stort de soufflé in, verbrandt hij, of verandert hij in een vreemde, onsmakelijke klodder. In de wereld van de biologie gebruiken wetenschappers deze "receptenboeken" om de 3D-vormen van eiwitten te voorspellen, de piepkleine machines die onze lichamen draaiende houden. Het juist krijgen van deze vormen is cruciaal voor het ontwerpen van nieuwe medicijnen, maar de modellen zijn niet perfect. Ze kunnen een eiwit bouwen dat op papier oké lijkt, maar in de werkelijkheid uit elkaar valt.

Om dit op te lossen, gebruiken wetenschappers een "proever" genaamd een oracle. Dit is een supernauwkeurige, maar ongelooflijk trage en dure simulatie die controleert of een eiwitvorm stabiel is of dat het zal binden aan een virus. Denk aan de oracle als een beroemde, chagrijnige voedingscriticus die dagen nodig heeft om één enkel gerecht te proeven. Omdat het inhuren van deze criticus zo duur is, kun je hem niet vragen om elke enkele batch koekjes te proeven die je bakt. Je hebt een strikt "budget" voor het aantal keren dat je hem kunt vragen om te proeven. De grote vraag is: als je alleen geld hebt voor tien proeverijen, hoe moet je die dan besteden? Moet je duizend koekjes bakken en de criticus de beste tien laten kiezen? Moet je het recept aanpassen op basis van de eerste paar smaken? Of moet je een totaal andere strategie proberen? Dit is de puzzel die onderzoekers proberen op te lossen om het ontwerpen van eiwitten sneller en goedkoper te maken.

Dit artikel, getiteld "How to Spend Your Oracle Budget", fungeert als een praktische gids voor wetenschappers die precies dit probleem proberen op te lossen. De auteurs testten vier verschillende strategieën voor het gebruik van een beperkt aantal dure "proeverijen" (oracle calls) om eiwitvoorspellingen te verbeteren. Ze vergeleken drie gevestigde methoden met een nieuwe aanpak genaamd "Optimisation Over Outputs" (O3). Hun bevindingen suggereren dat er geen enkele "magische oplossing" is die in elke situatie het beste werkt; in plaats daarvan hangt de beste strategie volledig af van hoeveel geld (of rekenkracht) je hebt voor je budget.

De onderzoekers ontdekten een duidelijke afruil. Als je een zeer beperkt budget hebt — zeg, je kunt de criticus slechts 20 tot 100 monsters laten proeven — is de nieuwe O3-methode de duidelijke winnaar. O3 werkt als een slimme ontdekkingsreiziger die een paar initiële monsters neemt, een klein, beheersbaar "buurtje" van mogelijkheden in kaart brengt, en vervolgens een slim algoritme gebruikt om de beste plek binnen dat buurtje te vinden zonder dat hij elke optie hoeft te controleren. Het is efficiënt en levert geweldige resultaten op wanneer je niet veel kunt controleren.

Echter, naarmate het budget groter wordt (waardoor 200 tot পার 1.000 proeverijen mogelijk zijn), halen de andere methoden in en overtreffen ze O3 uiteindelijk. Twee van deze methoden, genaamd FK-steering en DPO, zijn meer als "trial and error"-leerlingen. Ze brengen geen klein buurtje in kaart; in plaats daarvan passen ze het recept of het bakproces voortdurend aan op basis van feedback van de criticus. Deze methoden hebben veel data nodig om effectief te leren, waardoor ze slecht presteren wanneer het budget klein is, maar ze blinken uit wanneer je meer proeven kunt uitvoeren.

Het artikel sluit ook de gedachte uit dat één methode altijd superieur is. Zo is een eenvoudige strategie zoals "Best K-of-N" (bak er 1.000 en kies de beste 10) redelijk, maar blijft deze steken op een middelmatig kwaliteitsniveau, ongeacht hoeveel je uitgeeft. De auteurs laten zien dat hoewel O3 domineert in scenario's met een laag budget, FK-steering en DPO noodzakelijk zijn in scenario's met een hoog budget om de hoogst mogelijke kwaliteit uit de laatste restjes te persen. Ze testten deze ideeën op echte eiwitdoelwitten, specifدiek calmodulin en een enzym uit E. coli, met behulp van een scoringssysteem genaamd TM-score om te meten hoe dicht de voorspelde vormen bij de werkelijkheid lagen. De resultaten wijzen erop dat voor wetenschappers met beperkte middelen de slimste zet is om O3 te gebruiken, maar voor hen met diepe zakken nog steeds de oudere, meer data-hongerige methoden de weg te gaan.

Technische Samenvatting: Hoe uw Oracle-budget te besteden voor Proteïnestructuurvoorspelling

Probleemstelling

Foundationmodellen voor proteïnestructuurvoorspelling (bijv. AlphaFold3, Chai-1, Boltz-2) hebben een hoge nauwkeurigheid aangetoond, maar blijven onbetrouwbaar bij specifieke targets, waarbij ze potentieel instorten naar enkele conformaties, fysiek onwaarschijnlijke geometrieën produceren of complexen verkeerd assembleren. Om dit te mitigeren, gebruiken onderzoekers externe "oracles" (bijv. moleculaire dynamica-simulaties of bindingsenergieberekeningen) om onbetrouwbare voorspellingen te scoren en te signaleren. Deze biologische oracles zijn echter computationeel duur en vaak niet-differentieerbaar, wat een kritische beperking vormt die bekend staat als het oracle-budget.

Hoewel bestaande sturingsmethoden—zoals inference-time steering (FK-steering), fine-tuning (DPO) en Best K-of-N sampling—oracle-scores gebruiken om outputs te verbeteren, is er geen systematische vergelijking van hoe deze methoden presteren onder variërende budgetbeperkingen. Het centrale probleem dat wordt geadresseerd is de vraag welke sturingsstrategie het meest effectief is gegeven een beperkt aantal oracle-evaluaties ( $N$ ).

Methodologie

De auteurs benchmarken vier sturingsstrategieën toegepast op het proteïnestructuurvoorspellingsmodel Boltz-2 over twee proteïne-targets: calmodulin (1CLL) en E. coli aspartaat carbamoyltransferase (9EEH). De methoden worden geëvalueerd onder een vast budget van $N$ oracle-oproepen om een batch van $K$ kandidaat-structuren terug te geven.

1. Bayesiaanse Optimalisatie via O3 (Optimisation Over Outputs)

Deze aanpak, aangepast van Willis et al. (2025), behandelt het sturingsprobleem als een laagdimensionale black-box optimalisatietaak.

Subspace Constructie: De methode selecteert eerst $M$ initiële structuren en kiest de top $d$ seeds op basis van oracle-scores. Er wordt een laagdimensionale subspace $\mathcal{U}$ geconstrueerd binnen de latente ruimte van het model met behulp van deze seeds.
Mapping: Een surrogaat chart $\phi$ brengt punten in $\mathcal{U}$ in kaart naar de latente ruimte via een Knothe–Rosenblatt transformatie (om gewichten op een simplex te genereren) en een LOL-projectie (om gewichten terug te mappen naar de latente ruimte).
Optimalisatie: Een Gaussian Process (GP) surrogaatmodel wordt gefit binnen $\mathcal{U}$ met behulp van de initiële seeds en willekeurige samples. Vervolgens wordt Bayesian Optimization (specifiek Log Expected Improvement) gebruikt om de resterende $N-M$ budget te benutten om optimale punten in deze subspace te vinden.

2. FK-Steering (Feynman-Kac)

Een inference-time methode die het sampling-traject wijzigt zonder de modelgewichten aan te passen.

Mechanisme: Het genereert $M$ interagerende deeltjes (stochastische processen) door het generatieve proces.
Resampling: Op tussenliggende denoising-stappen worden deeltjes opnieuw gesampled proportioneel aan de gewichten afgeleid van het oracle reward-signaal. Het verschil in reward tussen stappen wordt gebruikt om deeltjes te bevoordelen met toenemende rewards.
Budgetallocatie: Het totale budget $N$ wordt verdeeld over $M$ deeltjes, wat het aantal resampling-stappen bepaalt.

3. Direct Preference Optimisation (DPO)

Een fine-tuning aanpak die modelparameters bijwerkt op basis van oracle-gescorede paren.

Mechanisme: Het model wordt gefinetuned om de waarschijnlijkheid van geprefereerde structuren ( $x_w$ ) te verhogen ten opzichte van afgewezen structuren ( $x_l$ ) met behulp van een KL-regulariserend objectief.
Varianten: De paper evalueert zowel offline DPO (trainen op een vaste batch van $N$ samples) als online DPO (sampling en training afwisselen, waarbij het referentiemodel bij elke epoch wordt gereset).
Approximatie: Omdat diffusie log-likelihoods duur zijn om te berekenen, benadert de methode de log-likelihood ratio met behulp van verschillen in trainingsverliezen (LDSM).

4. Best K-of-N Sampling

Een baseline-aanpak waarbij $N$ samples onafhankelijk worden getrokken en de top $K$ structuren met de hoogste oracle-scores worden teruggegeven.

Experimentele Opzet

Oracle: Het primaire oracle is de TM-score (Template Modeling score) tegen een grondwaarheid PDB-structuur (1CLL), gekozen vanwege de computationele efficiëntie. Een secundair experiment gebruikt de MolProbity oracle op 9EEH.
Budgets: Evaluaties beslaan zes configuraties van $(N, K)$ : $(20, 2), (50, 5), (100, 10), (200, 20), (500, 50), (1000, 100)$ .
Metrieken: Prestaties worden gemeten via Mean-of-K (gemiddelde kwaliteit van de batch) en Max-of-K (kwaliteit van de beste enkele structuur).

Belangrijkste Resultaten

Prestaties over verschillende Budgets

De studie laat zien dat geen enkele methode domineert over alle budgetgroottes heen; effectiviteit is sterk afhankelijk van het beschikbare oracle-budget:

Lage- tot middelhoge Budgets ( $N \le 1000$ ): O3 presteert significant beter dan alle andere methoden. Bij $N=20$ presteren FK-steering en DPO slecht (nabij het baseliniveau), terwijl O3 een mean-of-K TM-score van $\sim0.81$ bereikt bij $N=1000$ , waarmee het ruim boven de Best K-of-N baseline ( $\sim0.60$ ) uitkomt.
Hoge Budgets: FK-steering en DPO vertonen een gestage verbetering naarmate $N$ toeneemt. FK-steering bereikt $\sim0.73$ bij $N=1000$ , waarmee het DPO ( $\sim0.71$ ) verslaat, maar blijft onder de prestaties van O3 in het geteste bereik.
Best K-of-N: Deze baseline blijft relatief vlak over alle budgetten en dient als ondergrens voor meer geavanceerde sturingsmethoden bij lage budgetten.

Methode-specifieke Bevindingen

O3: De prestatiewinst komt voort uit de combinatie van de laagdimensionale subspace-constructie en de Bayesian optimizer. De optimale subspace-dimensie ( $d$ ) varieert met het budget (bijv. $d=6$ is optimaal voor $N=20$ , terwijl $d=10$ beter is voor $N=200$ ), wat duidt op een afweging tussen de rijkdom van de subspace en de moeilijkheid van de optimalisatie.
FK-Steering: Het verhogen van de reward scaling coefficient ( $\lambda$ ) verbetert de prestaties, maar kan de output-diversiteit verminderen. Het verhogen van het aantal resampling-stappen (ten koste van het aantal deeltjes) levert over het algemeen betere resultaten op bij hogere budgetten.
DPO: Online DPO (het resetten van het referentiemodel) biedt een afweging: het verzacht de KL-regularisatie, maar verzwakt de invloed van het voorgetrainde model. Binnen de geteste instellingen presteerde DPO niet beter dan FK-steering of O3.

Betekenis en Claims

De paper claimt de eerste praktische referentie te bieden voor het selecteren van sturingsstrategieën op basis van oracle-budgetbeperkingen in de proteïnestructuurvoorspelling.

Praktische Begeleiding: De auteurs distilleren hun bevindingen tot actiegerichte aanbevelingen: beoefenaars met schaarse oracle-budgetten (gebruikelijk in biologische wet-lab settings) moeten O3 (Optimisation Over Outputs) gebruiken, omdat dit een klein aantal hoogwaardige seeds gebruikt om een efficiënte zoekruimte te definiëren. Wanneer het budget groter is, wordt FK-steering een competitief alternatief.
Methodologische Bijdrage: Het werk breidt het O3-framework, oorspronkelijk voorgesteld voor algemene generatieve modellen, uit naar het specifieke domein van proteïnestructuurvoorspelling, en demonstreert de effectiviteit ervan in een hoogdimensionale, niet-differentieerbare oracle-setting.
Beperkingen: De studie erkent dat hoewel TM-score werd gebruikt voor uitgebreide benchmarking, de geïdentificeerde afwegingen van toepassing zijn op dure, niet-differentieerbare biologische oracles. De resultaten zijn specifiek voor het Boltz-2 model en de geteste proteïne-targets, hoewel de auteurs suggereren dat de budgetafhankelijke afweging een algemeen fenomeen is.

Samenvattend betoogt de paper dat de keuze van de sturingsmethode niet universeel is, maar kritisch afhangt van de kosten van de oracle, waarbij O3 een duidelijk voordeel biedt in scenario's met beperkte middelen.