🤖 machine learning

BBOmix: A Tabular Benchmark for Hyperparameter Optimization of Unsupervised Biological Representation Learning

Das Papier stellt BBOmix vor, den ersten Open-Source-Tabellen-Benchmark, der 105.000 Evaluierungen über diverse biologische Datensätze und Architekturen hinweg umfasst und darauf ausgelegt ist, Hyperparameter-Optimierungsmethoden für das unüberwachte biologische Repräsentationslernen rigoros zu bewerten sowie die Einschränkungen der Nutzung des Rekonstruktionsverlusts als Stellvertreter für die Downstream-Nützlichkeit zu adressieren.

Ursprüngliche Autoren: Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den perfekten Kuchen zu backen, aber anstelle von Mehl und Zucker sind Ihre Zutaten komplexe biologische Daten wie DNA und RNA. Sie haben einen sehr leistungsstarken Ofen (einen Computer, der ein „Deep Learning“-Modell namens Autoencoder ausführt), der Ihre Rohdaten in eine vereinfachte, nützliche Zusammenfassung verwandeln kann. Es gibt jedoch einen Haken: Der Ofen ist unglaublich empfindlich. Wenn Sie die Temperatur oder die Mischgeschwindigkeit auch nur ein winziges Stück verändern, könnte der Kuchen perfekt werden oder völlig anbrennen.

In der Welt der Biologie müssen Forscher oft die richtigen Einstellungen für diesen Ofen erraten. Meistens verwenden sie einfach die „Standardeinstellungen“ oder raten basierend auf vergangener Erfahrung, was oft zu einem mittelmäßigen Kuchen führt. Zudem beurteilen sie den Kuchen meist danach, wie gut er aussieht (Rekonstruktion), und nicht danach, wie gut er schmeckt (sein Nutzen für zukünftige Aufgaben, wie etwa die Vorhersage von Krankheiten).

Hier kommt BBOmix ins Spiel.

Die Autoren dieser Arbeit haben ein riesiges, Open-Source-„Degustationsmenü“ erstellt, um Forschern zu helfen, die perfekten Ofeneinstellungen zu finden, ohne selbst tausende von Kuchen backen zu müssen. Hier ist die Erklärung, wie sie das gemacht haben, unterteilt in einfache Konzepte:

1. Das massive Degustationsmenü (Der Benchmark)

Betrachten Sie BBOmix als eine riesige Bibliothek vorgebackener Kuchen.

Die Zutaten: Sie verwendeten reale Daten aus zwei riesigen Quellen: TCGA (eine massive Sammlung von Krebs patientendaten) und SCHC (Daten von sich entwickelnden menschlichen Gehirnzellen).
Die Öfen: Sie testeten vier verschiedene Arten von „Öfen“ (neuronale Netzwerkarchitekturen), die von Standarddesigns bis hin zu Modellen reichen, die speziell mit biologischen Regeln entwickelt wurden.
Das Backen: Sie haben nicht nur ein paar Kuchen gebacken; sie backten 105.000 verschiedene Versionen. Sie probierten jede Kombination von Einstellungen (Hyperparameter), die ihnen einfiel, und ließen jede davon drei Mal laufen, um sicherzustellen, dass die Ergebnisse nicht bloß Glück waren.
Das Ergebnis: Anstatt dass Forscher Monate damit verbringen, Kuchen zu backen und zu testen, können sie nun einfach die Ergebnisse in dieser Bibliothek nachschlagen. Es ist wie eine Datenbank, die sagt: „Wenn Sie Einstellung X für DNA-Daten verwenden, erhalten Sie Ergebnis Y.“

2. Der Test „Gut aussehen vs. Gut schmecken“

Normalerweise beurteilt man beim Backen einen Kuchen danach, wie gut er aussieht (Rekonstruktionsverlust). Wenn der Kuchen eine perfekte Kugel ist, geht man davon aus, dass er gut ist. Aber in der Biologie kann ein Kuchen, der perfekt aussieht, Ihnen vielleicht gar nicht dabei helfen, zu vorhersagen, ob ein Patient Krebs hat (Downstream-Performance).

Die Autoren nutzten ihre massive Bibliothek, um dies zu überprüfen.

Die Erkenntnis: Für die meisten Arten von Daten gilt: Wenn der Kuchen gut aussieht (geringer Rekonstruktionsverlust), schmeckt er meistens auch gut (hohe Performance bei medizinischen Aufgaben). Daher ist die Überprüfung des „Aussehens“ eine gute Abkürzung.
Die Ausnahme: Sie fanden jedoch eine spezifische Art von Zutat (DNA-Mutationsdaten von Krebspatienten), bei der ein „gut aussehender“ Kuchen nicht bedeutete, dass er auch gut schmeckte. In diesem speziellen Fall können Sie den visuellen Check nicht vertrauen; Sie müssen ihn tatsächlich probieren.

3. Die Geheimzutat (Wichtigkeit der Hyperparameter)

Die Autoren analysierten ihre 105.000 Kuchen, um herauszufinden, welche Regler am Ofen am wichtigsten sind.

Die großen Hebel: Sie fanden heraus, dass zwei Einstellungen die „Geheimzutat“ für fast jedes Rezept waren: Dropout (eine Methode, um zu verhindern, dass das Modell die Daten zu streng auswendig lernt) und die Lernrate (wie schnell das Modell lernt).
Die kleinen Knöpfe: Dinge wie die Tiefe des Ofens oder wie viel „Weight Decay“ (ein Regularisierer) man verwendet, spielten eine viel geringere Rolle.
Das Fazit: Wenn Sie einen guten Kuchen backen wollen, konzentrieren Sie sich zuerst darauf, die Temperatur und die Mischgeschwindigkeit richtig einzustellen; die Form der Backform spielt eine untergeordnete Rolle.

4. Die klugen Bäcker (Optimierungsmethoden)

Die Arbeit testete auch verschiedene „Bäcker“ (Algorithmen), um zu sehen, wer die besten Einstellungen am schnellsten findet.

Der zufällige Bäcker: Er rät einfach zufällig die Einstellungen. Das funktioniert anfangs ganz okay, wird aber langsam.
Der kluge Bäcker (Transfer Learning): Dieser Bäcker schaut sich die Rezepte an, die für andere Arten von Kuchen funktioniert haben (z. B. RNA-Daten), und nutzt dieses Wissen, um den neuen Kuchen (z. B. DNA-Daten) schneller zu backen. Die Arbeit fand heraus, dass dies eine enorme Zeitersparnis ist.
Der Multi-Fidelity-Bäcker: Dieser Bäcker probiert den Kuchen bereits während des Backvorgangs. Wenn er bereits angebrannt aussieht, stoppt er das Backen sofort und widmet sich dem nächsten. Das spart eine massive Menge an Zeit und Strom.

Zusammenfassung

BBOmix ist ein Werkzeug, das die High-Level-Wissenschaft demokratisiert. Es nimmt den teuren, zeitaufwendigen Prozess von „Versuch und Irrtum“ bei der Analyse biologischer Daten und verwandelt ihn in eine einfache Nachschlagetabelle. Es sagt uns:

Wir haben eine riesige Datenbank mit 105.000 vorgetesteten Ergebnissen.
Zu prüfen, ob das Modell „gut aussieht“, ist meist eine sichere Abkürzung, aber nicht immer.
Ein paar spezifische Einstellungen (Dropout und Lernrate) sind am wichtigsten, um sie richtig hinzubekommen.
Die Verwendung von „klugen Bäckern“, die aus vergangenen Erfahrungen lernen oder schlechte Experimente frühzeitig abbrechen, ist der effizienteste Weg, um die besten Ergebnisse zu erzielen.

Das Ziel ist nicht, den Kuchen für Sie zu backen, sondern Ihnen das Rezeptbuch zu geben, damit Sie nicht Ihre eigene Küche abfackeln müssen, während Sie versuchen, es herauszufinden.

Technisches Resümee: BBOmix

Problemstellung

Der rasante Fortschritt der Hochdurchsatz-Sequenzierung hat große, hochdimensionale Omics-Datensätze (Genomik, Transkriptomik, Proteomik) hervorgebracht. Tiefe unüberwachte Lernarchitekturen, insbesondere Autoencoder (AEs), werden in diesem Bereich zunehmend zur Dimensionsreduktion und Repräsentationslernung eingesetzt. Diese Modelle sind jedoch hochgradig sensitiv gegenüber architektonischen Entscheidungen und Hyperparameter-Konfigurationen.

Eine kritische Herausforderung in diesem Feld besteht darin, dass die unüberwachte Optimierung typischerweise auf der Minimierung des Rekonstruktionsverlusts basiert, was jedoch ein schlechter Stellvertreter (Proxy) für den tatsächlichen Nutzen des gelernten latenten Raums für nachgeschaltete Anwendungen (z. B. Zelltyp-Klassifizierung, Krankheitsprognose) sein kann. Eine erschöpfende Hyperparameteroptimierung (HPO) auf solch groß angelegten biologischen Daten ist rechenintensiv und zwingt Forscher oft dazu, sich auf suboptimalen Standardkonfigurationen oder manueller Feinabstimmung zu verlassen. Bestehende HPO-Benchmarks (z. B. NAS-Bench-201, TabRepo) konzentrieren sich auf überwachte Einstellungen, bei denen das Optimierungsziel direkt mit der nachgeschalteten Aufgabe übereinstimmt, oder sie stützen sich auf synthetische oder Computer-Vision-Daten, die nicht die spezifischen Rauschmuster, die Spärlichkeit (Sparsity) und die regulatorischen Muster biologischer Systeme erfassen. Es mangelt an standardisierten, vorberechneten Benchmarks für das unüberwachte Repräsentationslernen auf realen biologischen Daten.

Methodik

Die Autoren führen BBOmix ein, den ersten Open-Source-Tabellen-Benchmark für unüberwachte HPO auf realen biologischen Daten. Die Methodik umfasst die folgenden Komponenten:

1. Datensätze und Modalitäten

Der Benchmark nutzt zwei etablierte Multi-Omics-Datensätze:

TCGA (The Cancer Genome Atlas): Ein Pan-Cancer-Datensatz mit über 10.000 Patientenproben über 32 Krebsarten hinweg, einschließlich transkriptomischer (mRNA-seq), epigenetischer (DNA-Methylierung) und genomischer (Mutationsscores) Modalitäten.
SCHC (Single-Cell Human Cortex): Ein Datensatz, der über 45.000 Einzelzell-Messungen enthält, einschließlich scRNA-seq und scATAC-seq, mit Annotationen für Zelltyp, Alter und Geschlecht.

2. Architekturen

Vier verschiedene AE-Architekturen wurden evaluiert, die von Standardmodellen bis hin zu biologisch informierten Modellen reichen:

Vanillix: Ein Standard-Feed-Forward-Autoencoder mit voller Konnektivität, Batch-Normalisierung, Dropout und ReLU, der den MSE-Rekonstruktionsverlust minimiert.
Varix: Ein Standard- $\beta$ -Variational Autoencoder (VAE), der den Standard-ELBO-Verlust minimiert.
Disentanglix: Eine Erweiterung von VAE (basierend auf $\beta$ -TCVAE), die die KL-Divergenz zerlegt, um die totale Korrelation, die gegenseitige Information (Mutual Information) und die pro Dimensionen KL zu bestrafen.
Ontix: Ein biologisch informierter VAE, bei dem der Decoder durch eine Ontologie (entweder Reactome-Signalwege oder Chromosomen-basierte Genpositionen) eingeschränkt ist, um die Erklärbarkeit des latenten Raums zu erzwingen.

3. Experimentelles Design

Suchraum: Für jede Architektur wurden 1.000 Konfigurationen gleichmäßig aus einem Suchraum gezogen, der gemeinsame Hyperparameter (Eingangsdimension, Schichten, Kodierungsfaktor, latente Dimension, Lernrate, Batch-Größe, Dropout, Weight Decay) sowie architekturspezifische Parameter (z. B. $\beta$ , $\beta_{tc}$ ) abdeckt.
Ausführung: Jede Konfiguration wurde für 300 Epochen auf sieben Datensatz-Modalitäts-Aufgaben unter Verwendung von drei unabhängigen Random Seeds trainiert.
Skalierung: Dies resultierte in 105.000 einzelnen Trainingsläufen (4 Architekturen $\times$ 1.000 Konfigurationen $\times$ 3 Seeds $\times$ 7 Aufgaben), was etwa 10.000 GPU-Stunden auf Nvidia H100-Systemen beanspruchte.
Datenformat: Die Ergebnisse sind im tabellarischen Black-Box-Format der Syne Tune Library serialisiert und stellen 35 verschiedene Blackboxes bereit. Jeder Eintrag enthält pro Epoche den Rekonstruktionsverlust, die Trainingslaufzeit und die Leistung bei nachgeschalteten Aufgaben.

4. Evaluierungsmetriken

Primäres Ziel: Rekonstruktionsverlust (während des Trainings minimiert).
Nachgeschalteter Nutzen: Der Nutzen der eingefrorenen latenten Einbettungen wurde mittels logistischer Regression für verschiedene klinische und biologische Klassifizierungsaufgaben (z. B. Krebsart, Zelltyp, Überlebensstatus) evaluiert. Die Leistung wurde mittels der Area Under the Receiver Operating Curve (AUC-ROC) gemessen.

Wichtigste Beiträge

Erster groß angelegter unüberwachter HPO-Datensatz: BBOmix bietet 105.000 Evaluationen über 35 Aufgaben hinweg und ermöglicht so das Benchmarking von HPO-Algorithmen, ohne dass ein teures erneutes Training erforderlich ist.
Korrelationsanalyse: Die Autoren quantifizieren systematisch die Korrelation zwischen dem Rekonstruktionsverlust und der Leistung nachgeschalteter Aufgaben und liefern empirische Belege dafür, wann der Rekonstruktionsverlust ein zuverlässiger Proxy ist.
Umfassendes HPO-Benchmarking: Die Arbeit evaluiert modernste (SOTA) Optimierungsmethoden über drei Paradigmen hinweg:
- Single-Fidelity: Random Search, TPE, BORE, REA, CQR.
- Multi-Fidelity: ASHA, BOHB und Hybride (ASHABORE, ASHACQR).
- Transfer Learning: Zero Shot, Bounding Box, Quantile Transfer.

Ergebnisse

Rekonstruktionsverlust als Proxy

Die Studie ergab, dass der Rekonstruktionsverlust im Allgemeinen ein starker, wenn auch nicht perfekter Prädiktor für die nachgeschaltete Leistung ist.

Korrelation: Die Spearman-Rangkorrelationen ( $\rho$ ) zwischen dem Rekonstruktionsverlust und dem nachgeschalteten AUC lagen für Disentanglix, Vanillix und Varix auf den meisten Modalitäten zwischen $-0,72$ und $-0,88$.
Ausnahmen: Die Korrelation brach signifikant für die TCGA-DNA (genomische Mutationsscore)-Modalität zusammen, wo die Korrelationen nahe Null oder schwach positiv waren. Dies deutet darauf hin, dass bei spezifischen biologischen Modalitäten wie DNA-Mutationsscores die Minimierung des Rekonstruktionsverlusts nicht zwangsläufig zu besseren Repräsentationen für nachgeschaltete Aufgaben führt.

Hyperparameter-Wichtigkeit

Unter Verwendung einer Permutation-Importance-Analyse mit Random Forest Regressoren:

Dropout ( $p$ ): War konsistent der einflussreichste Hyperparameter für die nachgeschaltete Vorhersageleistung über Vanillix, Varix und Disentanglix hinweg.
Lernrate: War der dominante Faktor für Ontix und ein starker sekundärer Faktor für andere.
Eingangsdimensionalität ( $D$ ): War hochgradig einflussreich für den Rekonstruktionsverlust, aber weniger entscheidend für die nachgeschaltete Klassifizierung.
Architekturspezifische Terme: Regularisierungsterme wie $\beta$ (in VAEs) und $\beta_{tc}$ (in Disentanglix) hatten eine moderate Bedeutung für die nachgeschaltete Leistung, aber einen vernachlässigbaren Einfluss auf den Rekonstruktionsverlust, was darauf hindeutet, dass sie eher die latente Geometrie als die Rekonstruktionstreue formen.

Optimizer-Leistung

Single-Fidelity: CQR (Conformalized Quantile Regression) erreichte den niedrigsten normalisierten Regret und die beste Gesamtleistung. BORE und REA schnitten etwas schlechter ab, übertrafen jedoch TPE und Random Search.
Multi-Fidelity: Methoden, die per-Epoche-Lernkurven nutzen (ASHA, BOHB und Hybride), erreichten eine vergleichbare Endleistung zu Single-Fidelity-Methoden, benötigten jedoch einen bis zwei Größenordnungen weniger Wandzeit (Wall-Clock Time). ASHACQR und ASHABORE zeigten besonders starke Anytime-Leistung.
Transfer Learning: Methoden wie Bounding Box und Quantile Transfer reduzierten den Cold-Start-Regret im Vergleich zu CQR signifikant, indem sie Wissen von verwandten Aufgaben nutzten. Dies zeigt, dass die Struktur der Hyperparameter-Wichtigkeit (z. B. die Dominanz der Lernrate) teilweise über verschiedene biologische Datentypen und Modellfamilien hinweg portabel ist. Zero-Shot-Methoden boten einen guten Ausgangspunkt, wurden aber schnell von Methoden übertroffen, die aktiv Surrogatmodelle aktualisierten.

Bedeutung und Ansprüche

Das Paper behauptet, dass BBOmix den Zugang zu groß angelegter unüberwachter HPO-Forschung in der Biologie demokratisiert. Durch die Bereitstellung einer rigorosen Baseline ermöglicht es Forschern:

HPO-Algorithmen ohne die prohibitiven Rechenkosten eines Trainings von Grund auf zu evaluieren.
Den Zusammenhang zwischen unüberwachten Zielen und biologischem Nutzen zu untersuchen und aufzuzeigen, wo der Rekonstruktionsverlust als Proxy versagt.
Zu demonstrieren, dass Transfer-Learning- und Multi-Fidelity-Methoden in diesem Bereich hocheffektiv sind, was die schnelle Identifizierung leistungsstarker Konfigurationen zu einem Bruchteil der Kosten herkömmlicher Methoden ermöglicht.

Die Autoren positionieren BBOmix als Fundament für die Entwicklung domänenspezifischer HPO-Empfehlungsrahmen, die optimale Architekturen und Hyperparameter für neue biologische Datensätze vorschlagen können, wodurch die Eintrittsbarriere für Praktiker in diesem Bereich gesenkt wird.