NUBO: A Transparent Python Package for Bayesian Optimization

NUBO ist ein transparentes, quelloffenes Python-Paket für das Newcastle University, das Forschern aus allen Disziplinen einen benutzerfreundlichen und flexiblen Rahmen für die effiziente Optimierung teurer Black-Box-Funktionen durch modulare Bausteine und rigoros validierte Algorithmen bietet.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Koch, der das perfekte Rezept für einen Kuchen sucht. Das Problem ist: Jeder Versuch, den Kuchen zu backen, kostet Sie eine Stunde Zeit, teure Zutaten und Ihre ganze Konzentration. Sie können nicht einfach 1.000 verschiedene Varianten ausprobieren, um zu sehen, welche am besten schmeckt. Sie müssen mit wenigen Versuchen auskommen und dabei klug vorgehen.

Genau dieses Problem löst das in diesem Papier vorgestellte Werkzeug namens NUBO.

Hier ist die Erklärung in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das Problem: Der teure Versuch

In der Wissenschaft (z. B. beim Design von Flugzeugen, der Entwicklung neuer Medikamente oder beim Training von KI) gibt es viele "Black-Box"-Probleme. Das sind Funktionen, bei denen man einen Input (z. B. eine Einstellung) hineingibt und einen Output (z. B. die Leistung) herausbekommt. Aber man weiß nicht, wie die Maschine innerhalb funktioniert, und jeder Test ist extrem teuer oder langsam.

Früher haben Forscher oft einfach "blind" herumgetestet (wie beim Roulette) oder mathematische Formeln benutzt, die hier aber nicht funktionieren, weil sie zu kompliziert sind.

2. Die Lösung: NUBO – Der kluge Assistent

NUBO (Newcastle University Bayesian Optimisation) ist ein Computerprogramm, das wie ein sehr erfahrener Detektiv oder ein kluger Koch-Assistent agiert.

Statt blind zu raten, macht NUBO folgendes:

• Die Landkarte (Der Surrogat-Modell): Nach ein paar wenigen Versuchen zeichnet NUBO eine "Landkarte" des Problems. Diese Landkarte ist nicht perfekt, aber sie sagt dem Assistenten: "Hier oben ist es wahrscheinlich gut, und dort unten ist es wahrscheinlich schlecht."
• Die Entscheidung (Die Akquisitionsfunktion): NUBO muss nun entscheiden: Soll ich in einem Gebiet suchen, von dem ich schon weiß, dass es gut ist (Ausbeutung), oder soll ich in ein unbekanntes Gebiet gehen, wo es vielleicht noch viel Besseres gibt (Erkundung)?
  • Analogie: Stellen Sie sich vor, Sie suchen nach einem Schatz. Entweder Sie graben weiter an der Stelle, wo Sie schon einen kleinen Stein gefunden haben (sicher), oder Sie gehen zu einer neuen Stelle im Wald, wo niemand je gegraben hat (riskant, aber vielleicht gibt es dort den ganzen Schatz). NUBO balanciert diese beiden Strategien perfekt aus.

3. Warum ist NUBO besonders? (Transparenz und Einfachheit)

Es gibt schon andere solche Programme (wie BoTorch oder SMAC3). Aber diese sind oft wie riesige, verschachtelte Labyrinthe aus Millionen Zeilen Code. Wenn Sie als Forscher (der vielleicht kein Computer-Experte ist) etwas anpassen wollen, müssen Sie durch diese Labyrinthe waten, um zu verstehen, was da passiert.

NUBO ist anders:

• Es ist wie ein offenes Werkzeugkasten: Der Code ist kurz, klar und verständlich (nur ca. 1.300 Zeilen im Vergleich zu 38.000 bei anderen). Sie können genau sehen, wie die Zahnräder funktionieren.
• Flexibilität: Sie können die Bausteine selbst zusammenstecken. Wenn Sie einen anderen Algorithmus wollen, tauschen Sie einfach ein Teil aus, ohne das ganze Haus neu bauen zu müssen.
• Kein Expertenwissen nötig: Sie müssen kein Python-Genie sein. NUBO ist so gebaut, dass Forscher aus der Biologie, Physik oder Chemie es sofort nutzen können, um ihre teuren Experimente zu optimieren.

4. Was kann NUBO alles?

Das Programm ist sehr vielseitig:

• Parallel arbeiten: Wenn Sie einen Simulator haben, der mehrere Tests gleichzeitig laufen lassen kann (wie ein Team von Köchen, die gleichzeitig backen), kann NUBO mehrere "Rezepte" gleichzeitig vorschlagen.
• Asynchrones Arbeiten: Wenn ein Test lange dauert und ein anderer kurz, kann NUBO warten und trotzdem weiterarbeiten, ohne die Zeit zu verschwenden.
• Mischformen: Es kann mit kontinuierlichen Zahlen (wie Temperatur: 20,5 Grad) und diskreten Werten (wie Zutaten: Mehl oder Zucker) gleichzeitig umgehen.

5. Das Fazit

Die Autoren haben NUBO entwickelt, um die Transparenz wieder in die Wissenschaft zu bringen. Es ist ein Werkzeug, das nicht nur funktioniert, sondern das man auch versteht.

Zusammengefasst:
Stellen Sie sich NUBO als einen klugen, ehrlichen und durchsichtigen Navigator vor. Er hilft Ihnen, das beste Ergebnis mit dem geringsten Aufwand zu finden, ohne Sie in einem undurchsichtigen Code-Dschungel zu verlieren. Er ist leichtgewichtig, schnell zu verstehen und trotzdem so stark, dass er mit den riesigen, komplizierten Konkurrenten mithalten kann.

Das Ziel ist einfach: Damit Forscher aus allen Disziplinen ihre teuren Experimente und Simulationen effizienter und besser gestalten können.

Technische Zusammenfassung

1. Problemstellung

Die Optimierung teurer Black-Box-Funktionen (z. B. physikalische Experimente oder Computersimulationen) ist eine häufige Herausforderung in Wissenschaft und Technik. Diese Funktionen zeichnen sich durch unbekannte oder nicht analytisch lösbare mathematische Ausdrücke sowie durch hohe Evaluierungskosten (Zeit, Material, Rechenleistung) aus.
Herkömmliche Optimierungsalgorithmen (wie Gradienten-basierte Verfahren oder Differential Evolution) sind oft ungeeignet, da sie entweder Ableitungsinformationen benötigen oder eine sehr große Anzahl an Funktionsauswertungen erfordern.
Bestehende Python-Pakete für Bayes-Optimierung (wie BoTorch, SMAC3 oder GPyOpt) bieten zwar umfangreiche Funktionen, leiden jedoch oft unter:

• Mangelnder Transparenz: Sehr große Codebasen (z. B. BoTorch mit über 38.000 Zeilen Code) erschweren das Verständnis und die Nachvollziehbarkeit der Algorithmen.
• Komplexität: Die Fülle an Optionen überfordert Nutzer ohne tiefgehende Kenntnisse in Statistik oder Informatik.
• Eingeschränkte Flexibilität: Viele Pakete unterstützen keine parallele oder asynchrone Optimierung oder sind nicht modular aufgebaut.

2. Methodik und Architektur

NUBO (Newcastle University Bayesian Optimisation) ist ein Open-Source-Paket, das speziell darauf ausgelegt ist, Transparenz und Benutzerfreundlichkeit in den Vordergrund zu stellen, ohne auf Leistungsfähigkeit zu verzichten.

• Grundlegende Architektur: NUBO basiert auf dem PyTorch-Ökosystem (für Tensor-Operationen und GPU-Beschleunigung) und nutzt GPyTorch für die Implementierung von Gauß-Prozessen. Es integriert Optimierer aus SciPy (L-BFGS-B, SLSQP) und nutzt NumPy für Datenverarbeitung.
• Modularität: Das Paket ist modular aufgebaut und besteht aus fünf Submodulen:
  1. Gaussian Processes (GP): Für die Surrogatmodellierung.
  2. Acquisition Functions: Für die Steuerung der Punktauswahl.
  3. Optimisers: Für die Maximierung der Akquisitionsfunktionen.
  4. Test Functions: Eine Bibliothek von Testfunktionen.
  5. Utilities: Hilfsfunktionen für Daten-Transformationen.
• Surrogatmodell: NUBO verwendet standardmäßig einen Gauß-Prozess mit einer konstanten Mittelwertfunktion und einem Matérn 5/2 ARD-Kernel (Automatic Relevance Determination). Dies ermöglicht die flexible Modellierung verschiedener realer Zielfunktionen und die automatische Gewichtung relevanter Eingabedimensionen.
• Akquisitionsfunktionen:
  • Analytisch: Expected Improvement (EI) und Upper Confidence Bound (UCB) für sequenzielle Einzel-Punkt-Optimierung.
  • Monte-Carlo (MC): Für parallele Multi-Punkt-Batches und asynchrone Optimierung. Hier werden die analytischen Funktionen durch Stichprobenziehung aus der Posterior-Verteilung approximiert, was die Berechnung intractabler Erwartungswerte ermöglicht.
• Optimierungsstrategien:
  • Sequenziell (Single-Point): Ein Punkt wird nach dem anderen bewertet.
  • Parallel (Multi-Point): Berechnung von Batches (z. B. 4 Punkte gleichzeitig) mittels Joint oder Greedy Sequential Strategie.
  • Asynchron: Fortsetzung der Optimierung, während andere Punkte noch evaluiert werden (Pending Points werden als fixiert behandelt).
  • Eingeschränkt (Constrained): Unterstützung von Gleichheits- und Ungleichheitsnebenbedingungen via SLSQP.
  • Gemischt (Mixed): Optimierung über gemischte Räume (kontinuierlich und diskret) durch Iteration über diskrete Kombinationen und Optimierung der kontinuierlichen Parameter.

3. Schlüsselbeiträge

• Transparenz: NUBO ist mit nur 1.322 Zeilen Code (Kernpaket) extrem kompakt im Vergleich zu Konkurrenten wie BoTorch (~38.419 Zeilen). Dies ermöglicht es Nutzern, die gesamte Logik leicht nachzuvollziehen und zu modifizieren.
• Benutzerfreundlichkeit: Das Design priorisiert eine einfache Syntax und klare Dokumentation, sodass Forscher aus nicht-statistischen Disziplinen (z. B. Ingenieurwesen, Chemie) die Methode effektiv nutzen können.
• Flexibilität: Nutzer können den Optimierungsloop selbst zusammenstellen, indem sie Bausteine (GP, Akquisitionsfunktion, Optimierer) austauschen.
• Umfassende Unterstützung: NUBO ist eines der wenigen Pakete, das gleichzeitig sequenzielle, parallele und asynchrone Optimierung sowie gemischte und eingeschränkte Suchräume unterstützt.
• Open Source: Verteilung unter der BSD 3-Clause Lizenz.

4. Ergebnisse

Die Autoren führten einen Vergleich von NUBO mit vier anderen Paketen (BoTorch, SMAC3, bayes_opt, pyGPGO) durch, basierend auf synthetischen Testfunktionen (Levy und Hartmann) in 2D und 6D.

• Performance: NUBO erreicht eine konkurrenzfähige Leistung. Obwohl es für die 6D-Hartmann-Funktion etwas mehr Evaluierungen benötigt als BoTorch, konvergiert es in allen Fällen zum globalen Optimum und zeigt eine geringe Varianz. In einfachen Szenarien (z. B. 2D Levy) übertrifft es Pakete ähnlicher Komplexität (wie pyGPGO).
• Laufzeit: Die Zeit pro Iteration ist bei NUBO aufgrund der Python-Implementierung und der Monte-Carlo-Schätzung leicht höher als bei hochoptimierten C++/PyTorch-Kernen von BoTorch (z. B. 2,20 s vs. 0,19 s für parallele 6D-Hartmann). Die Autoren argumentieren jedoch, dass dieser Unterschied bei teuren Black-Box-Funktionen (wo eine Evaluierung Minuten oder Stunden dauern kann) vernachlässigbar ist.
• Robustheit: Die Ergebnisse zeigen, dass die Einfachheit der Implementierung nicht zu Lasten der Effektivität geht.

5. Bedeutung und Ausblick

NUBO füllt eine wichtige Lücke im Ökosystem der Bayes-Optimierung, indem es eine transparente, verständliche und dennoch leistungsfähige Alternative zu komplexen Frameworks bietet. Es ist besonders wertvoll für wissenschaftliche Anwendungen, bei denen das Verständnis des zugrunde liegenden Algorithmus entscheidend ist (z. B. zur Validierung von Ergebnissen oder zur Anpassung an spezifische physikalische Modelle).

Zukünftige Arbeiten: Die Autoren planen, NUBO um Strategien für Multi-Fidelity-Optimierung, Multi-Objective-Optimierung und hochdimensionale Probleme zu erweitern.

Fazit: NUBO demonstriert, dass ein schlankes, gut dokumentiertes Python-Paket in der Lage ist, komplexe Optimierungsprobleme effizient zu lösen und dabei die Barriere für den Einstieg in die Bayes-Optimierung für ein breites wissenschaftliches Publikum signifikant zu senken.