🤖 machine learning

BBOmix: A Tabular Benchmark for Hyperparameter Optimization of Unsupervised Biological Representation Learning

Het artikel introduceert BBOmix, de eerste open-source tabelvormige benchmark bestaande uit 105.000 evaluaties over diverse biologische datasets en architecturen, ontworpen om hyperparameteroptimalisatiemethoden voor ongesuperviseerd biologisch representatie-leren rigoureus te beoordelen en de beperkingen aan te pakken van het vertrouwen op reconstructieverlies als een proxy voor downstream nut.

Oorspronkelijke auteurs: Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de perfecte taart probeert te bakken, maar in plaats van bloem en suiker zijn je ingrediënten complexe biologische data zoals DNA en RNA. Je hebt een zeer krachtige oven (een computer die draait op een "Deep Learning"-model genaamd een Autoencoder) die je ruwe data kan omzetten in een vereenvoudigde, nuttige samenvatting. Maar er is een addertje onder het gras: de oven is extreem gevoelig. Als je de temperatuur of de mengsnelheid ook maar een klein beetje aanpast, kan de taart perfect worden of volledig aanbranden.

In de wereld van de biologie moeten onderzoekers vaak de juiste instellingen van deze oven raden. Meestal gebruiken ze de "standaardinstellingen" of raden ze op basis van eerdere ervaring, wat vaak leidt tot een matige taart. Ze beoordelen de taart meestal ook op hoe goed hij eruitziet (reconstructie), en niet op hoe goed hij smaakt (de bruikbaarheid voor toekomstige taken, zoals het voorspellen van ziekten).

Maak kennis met BBOmix.

De auteurs van dit paper hebben een enorme, open-source "proeverij" gebouwd om onderzoekers te helpen de perfecte oveninstellingen te vinden zonder dat ze duizenden taarten zelf hoeven te bakken. Hier is hoe ze het deden, uitgelegd aan de hand van eenvoudige concepten:

1. De enorme proeverij (De Benchmark)

Beschouw BBOmix als een enorme bibliotheek met vooraf gebakken taarten.

De Ingrediënten: Ze gebruikten echte data uit twee enorme bronnen: TCGA (een enorme collectie gegevens van kankerpatiënten) en SCHC (data van ontwikkelende menselijke hersencellen).
De Ovens: Ze testten vier verschillende soorten "ovens" (neurale netwerkarchitecturen), variërend van standaard ontwerpen tot ontwerpen die specifiek zijn gebouwd met biologische regels in gedachten.
Het Bakken: Ze bakten niet zomaar een paar taarten; ze bakten 105.000 verschillende versies. Ze probeerden elke combinatie van instellingen (hyperparameters) die ze konden bedenken, waarbij ze elke run drie keer uitvoerden om er zeker van te zijn dat de resultaten niet alleen geluk waren.
Het Resultaat: In plaats van dat onderzoekers maandenlang taarten moeten bakken en testen, kunnen ze nu gewoon de resultaten opzoeken in deze bibliotheek. Het is als een database die zegt: "Als je instelling X gebruikt op DNA-data, krijg je resultaat Y."

2. De "Ziet het er goed uit vs. Smaakt het goed" Test

Normaal gesproken beoordeel je een taart bij het bakken op basis van hoe goed hij eruitziet (reconstructieverlies). Als de taart een perfecte bol is, ga je ervan uit dat hij goed is. Maar in de biologie kan een taart die er perfect uitziet, je niet per se helpen bij het voorspellen of een patiënt kanker heeft (downstream prestaties).

De auteurs gebruikten hun enorme bibliotheek om dit te controleren.

De Bevinding: Voor de meeste soorten data geldt dat als de taart er goed uitziet (laag reconstructieverlies), hij meestal ook goed smaakt (hoge prestaties op medische taken). Dus het controleren van het "uiterlijk" is een redelijke afkorting.
De Uitzondering: Echter, ze ontdekten één specif kind van ingrediënten (DNA-mutatiegegevens van kankerpatiënten) waarbij een "goed uitziende" taart niet betekende dat hij goed smaakte. In dit specifieke geval kun je de visuele controle niet vertrouwen; je moet hem echt proeven.

3. Het Geheime Sausje (Belang van Hyperparameters)

De auteurs analyseerden hun 105.000 taarten om te ontdekken welke knoppen aan de oven het belangrijkst waren.

De Grote Hendels: Ze ontdekten dat twee instellingen het "geheime sausje" waren voor bijna elk recept: Dropout (een manier om te voorkomen dat het model de data te strikt onthoudt) en Learning Rate (hoe snel het model leert).
De Kleine Knoppen: Zaken zoals hoe diep de oven is of hoeveel "weight decay" (een regularisator) je gebruikt, deden er veel minder toe.
De Les: Als je een goede taart wilt bakken, focus je er eerst op om de temperatuur en de mengsnelheid goed te krijgen; de vorm van de bakvorm doet er minder toe.

4. De Slimme Bakkers (Optimalisatiemethoden)

Het paper testte ook verschillende "bakkers" (algoritmen) om te zien wie de beste instellingen het snelst kon vinden.

De Willekeurige Bakker: Gewoon instellingen willekeurig raden. Dit werkt in het begin oké, maar wordt traag.
De Slimme Bakker (Transfer Learning): Deze bakker kijkt naar de recepten die werkten voor andere soorten taarten (bijv. RNA-data) en gebruikt die kennis om de nieuwe taart (bijv. DNA-data) sneller te bakken. Het paper vond dat dit een enorme tijdbesparing was.
De Multi-Fidelity Bakker: Deze bakker proeft de taart halverwege het bakken. Als hij er verbrand uitziet, stopt hij direct met bakken en gaat door naar de volgende. Dit bespaart een enorme hoeveelheid tijd en elektriciteit.

Samenvatting

BBOmix is een tool die hoogwaardige wetenschap democratiseert. Het neemt het dure, tijdrovende proces van "trial and error" bij biologische data-analyse en verandert dit in een eenvoudige tabel om op te zoeken. Het vertelt ons:

We hebben een enorme database van 105.000 vooraf geteste resultaten.
Controleren of het model er "goed uitziet" is meestal een veilige afkorting, maar niet altijd.
Een paar specifieke instellingen (Dropout en Learning Rate) zijn het belangrijkst om goed te krijgen.
Het gebruik van "slimme bakkers" die leren van ervaringen uit het verleden of slechte experimenten vroegtijdig stoppen, is de meest efficiënte manier om de beste resultaten te behalen.

Het doel is niet om de taart voor je te bakken, maar om je het receptenboek te geven zodat je niet je eigen keuken in brand steekt terwijl je probeert uit te zoeken hoe het werkt.

Technische Samenvatting: BBOmix

Probleemstelling

De snelle vooruitgang in high-throughput sequencing heeft grote, hoogdimensionale omics-datasets (genomica, transcriptomica, proteomica) gegenereerd. Diepe unsupervised learning-architecturen, met name Autoencoders (AE's), worden steeds vaker gebruikt voor dimensionaliteitsreductie en representatie-leren in dit domein. Deze modellen zijn echter zeer gevoelig voor architecturale keuzes en hyperparameterconfiguraties.

Een cruciale uitdaging in dit veld is dat unsupervised optimalisatie doorgaans steunt op het minimaliseren van de reconstructieverlies (reconstruction loss), wat een slechte indicator kan zijn voor het werkelijke nut van de geleerde latente ruimte in downstream toepassingen (bijv. celtype-classificatie, ziekteprognose). Uitputtende hyperparameteroptimalisatie (HPO) op dergelijke grootschalige biologische data is computationeel zeer duur, waardoor onderzoekers vaak gedwongen worden om te vertrouwen op suboptimale standaardconfiguraties of handmatige afstemming. Bovendien richten bestaande HPO-benchmarks (bijv. NAS-Bench-201, TabRepo) zich op supervised settings waarbij het optimalisatiedoel direct overeenkomt met de downstream taak, of ze vertrouwen op synthetische of computer vision-data die er niet in slagen de specifieke ruis, schaarste en regulatoire patronen van biologische systemen te vangen. Er is een gebrek aan gestandaardiseerde, vooraf berekende benchmarks voor unsupervised representatie-leren op real-world biologische data.

Methodologie

De auteurs introduceren BBOmix, de eerste open-source tabulaire benchmark voor unsupervised HPO op real-world biologische data. De methodologie bestaat uit de volgende componenten:

1. Datasets en Modaliteiten

De benchmark maakt gebruik van twee gevestigde multi-omics datasets:

TCGA (The Cancer Genome Atlas): Een pan-cancer dataset met meer dan 10.000 patiëntmonsters over 32 kankertypes, inclusief transcriptomische (mRNA-seq), epigenetische (DNA-methylatie) en genomische (mutatiescores) modaliteiten.
SCHC (Single-Cell Human Cortex): Een dataset met meer dan 45.000 single-cell metingen, waaronder scRNA-seq en scATAC-seq, met annotaties voor celtype, leeftijd en geslacht.

2. Architecturen

Vier verschillende AE-architecturen werden geëvalueerd, variërend van standaard tot biologisch geïnformeerde modellen:

Vanillix: Een standaard volledig verbonden feed-forward AE met batch normalisatie, dropout en ReLU, die de MSE-reconstructieverlies minimaliseert.
Varix: Een standaard $\beta$ -Variational Auto-Encoder (VAE) die de standaard ELBO-loss minimaliseert.
Disentanglix: Een uitbreiding van VAE (gebaseerd op $\beta$ -TCVAE) die de KL-divergentie ontbindt om totale correlatie, wederzijdse informatie en per-dimensie KL te straffen.
Ontix: Een biologisch geïnformeerde VAE waarbij de decoder wordt beperkt door een ontologie (ofwel Reactome-pathways of chromosoom-gebaseerde genposities) om de verklaarbaarheid van de latente ruimte af te dwingen.

3. Experimenteel Ontwerp

Zoekruimte: Voor elke architectuur werden 1.000 configuraties uniform gesampled uit een zoekruimte die gedeelde hyperparameters bevat (inputdimensie, lagen, encoding factor, latente dimensie, leersnelheid, batchgrootte, dropout, weight decay) en architectuur-specifieke parameters (bijv. $\beta$ , $\beta_{tc}$ ).
Uitvoering: Elke configuratie werd getraind voor 300 epochs op zeven dataset-modaliteitstaken met drie onafhankelijke random seeds.
Schaal: Dit resulteerde in 105.000 individuele trainingsruns (4 architecturen $\times$ 1.000 configs $\times$ 3 seeds $\times$ 7 taken), wat ongeveer 10.000 GPU-uren op Nvidia H100's consumeerde.
Dataformaat: De resultaten zijn geserialiseerd in het tabulaire black-box formaat van de Syne Tune bibliotheek, wat 35 verschillende blackboxes biedt. Elke entry bevat per-epoch reconstructieverliezen, trainingstijd en downstream taakprestaties.

4. Evaluatiemetrieken

Primair Doel: Reconstructieverlies (geminimaliseerd tijdens training).
Downstream Nut: Het nut van de bevroren latente embeddings werd geëvalueerd via logistische regressie op diverse klinische en biologische classificatietaken (bijv. kankertype, celtype, overlevingsstatus). Prestaties werden gemeten met de Area Under the Receiver Operating Curve (AUC-ROC).

Belangrijkste Bijdragen

Eerste Grootschalige Unsupervised HPO Dataset: BBOmix biedt 105.000 evaluaties over 35 taken, wat het mogelijk maakt om HPO-algoritmen te benchmarken zonder de noodzaak van dure her-training.
Correlatieanalyse: De auteurs kwantificeren systematisch de correlatie tussen de reconstructieverlies (het trainingsdoel) en downstream taakprestaties, wat empirisch bewijs levert voor wanneer de reconstructieverlies een betrouwbare proxy is.
Uitgebreide HPO Benchmarking: Het artikel evalueert state-of-the-art (SOTA) optimalisatiemethoden over drie paradigma's:
- Single-fidelity: Random Search, TPE, BORE, REA, CQR.
- Multi-fidelity: ASHA, BOHB, en hybriden (ASHABORE, ASHACQR).
- Transfer Learning: Zero Shot, Bounding Box, Quantile Transfer.

Resultaten

Reconstructieverlies als Proxy

De studie vond dat de reconstructieverlies over het algemeen een sterke, maar niet perfecte voorspeller is van downstream prestaties.

Correlatie: Spearman rank correlaties ( $\rho$ ) tussen de reconstructieverlies en downstream AUC varieerden van $-0,72$ tot $-0,88$ voor Disentanglix, Vanillix en Varix op de meeste modaliteiten.
Uitzonderingen: De correlatie stortte significant in voor de TCGA-DNA (genomische mutatiescore) modaliteit, waar de correlaties nabij nul of zwak positief waren. Dit suggereert dat voor specifieke biologische modaliteiten zoals DNA-mutatiescores, het minimaliseren van de reconstructieverlies niet noodzakelijkerwijs leidt tot betere representaties voor downstream taken.

Hyperparameter Belang

Gebruikmakend van permutation importance analyse op random forest regressoren:

Dropout ( $p$ ): Was consistent de meest invloedrijke hyperparameter voor downstream predictieve prestaties voor Vanillix, Varix en Disentanglix.
Leersnelheid (Learning Rate): De dominante factor voor Ontix en een sterke secundaire factor voor anderen.
Input Dimensionaliteit ( $D$ ): Zeer invloedrijk voor de reconstructieverlies, maar minder beslissend voor downstream classificatie.
Architectuur-specifieke termen: Regularisatietermen zoals $\beta$ (in VAE's) en $\beta_{tc}$ (in Disentanglix) hadden een matige belangrijkheid voor downstream prestaties, maar een verwaarloosbare impact op de reconstructieverlies, wat suggereert dat ze de latente geometrie vormen in plaats van de reconstructiefidelity.

Optimizer Prestaties

Single-Fidelity: CQR (Conformalized Quantile Regression) behaalde de laagste genormaliseerde regret en de beste algehele prestaties. BORE en REA presteerden iets slechter maar presteerden beter dan TPE en Random Search.
Multi-Fidelity: Methoden die gebruikmaken van per-epoch leercurves (ASHA, BOHB en hybriden) behaalden vergelijkbare eindprestaties met single-fidelity methoden, maar met één tot twee ordes van grootte minder wandkloktijd. ASHACQR en ASHABORE vertoonden bijzonder sterke anytime prestaties.
Transfer Learning: Methoden zoals Bounding Box en Quantile Transfer verminderden de cold-start regret aanzienlijk ten opzichte van CQR door kennis te benutten van gerelateerde taken. Dit geeft aan dat de structuren van hyperparameter belangrijkheid (bijv. de dominantie van de leersnelheid) deels portabel zijn over verschillende biologische datatypen en modelfamilies. Zero Shot methoden boden een goede beginpositie, maar werden snel ingehaald door methoden die actief surrogaten bijwerken.

Betekenis en Claims

Het artikel beweert dat BBOmix de toegang tot grootschalig unsupervised HPO-onderzoek in de biologie democratiseert. Door een rigoureuze baseline te bieden, stelt het onderzoekers in staat om:

HPO-algoritmen te evalueren zonder de prohibitieve computationele kosten van het vanaf nul trainen van modellen.
De relatie tussen unsupervised doelen en biologisch nut te onderzoeken, waarbij wordt aangetoonings waar de reconstructieverlies faalt als proxy.
Aan te tonen dat transfer learning en multi-fidelity methoden zeer effectief zijn in dit domein, wat de snelle identificatie van hoogpresterende configuraties mogelijk maakt tegen een fractie van de kosten van standaard methoden.

De auteurs positioneren BBOmix als een fundament voor het ontwikkelen van domeinspecifieke HPO-aanbevelingsframeworks die optimale architecturen en hyperparameters kunnen suggereren voor nieuwe biologische datasets, waardoor de drempel voor beoefenaars in het veld wordt verlaagd.