🤖 machine learning

Automated Kernel Discovery Towards Understanding High-dimensional Bayesian Optimization

Dieser Beitrag stellt Kernel Discovery vor, ein von großen Sprachmodellen gesteuertes evolutionäres Framework, das die Grenzen bestehender automatisierter Kernel-Entwürfe in der hochdimensionalen bayesschen Optimierung überwindet, indem es einen breiteren mathematischen Raum ohne Rückgriff auf Rohbeobachtungen durchsucht und dabei eine überlegene Leistung mit einem durchschnittlichen Rang von 1,2 von 17 auf Benchmark-Tests erzielt.

Ursprüngliche Autoren: Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das perfekte Rezept für einen Kuchen zu finden, doch die Küche verfügt über tausende von Zutaten (Dimensionen) statt nur über Mehl und Zucker. Sie können nicht jede mögliche Kombination probieren, da dies ewig dauern würde. Dies ist die Herausforderung der hochdimensionalen Bayesschen Optimierung (BO): die beste Lösung in einem riesigen, komplexen Raum mit sehr wenigen Versuchen zu finden.

Um dies zu lösen, verwenden Wissenschaftler einen „intelligenten Rater" namens Gaußscher Prozess (GP). Betrachten Sie den GP als einen Koch, der basierend auf den bereits probierten Kuchen eine mentale Karte der Küche erstellt. Der wichtigste Teil dieser Karte ist der Kernel – eine mathematische Regel, die entscheidet, wie ähnlich sich zwei Zutaten (oder Punkte in der Küche) zueinander verhalten.

Das Problem: Der Koch steckt fest

Seit Jahren ist das Entwerfen dieser „Ähnlichkeitsregeln" (Kernels) für riesige Küchen ein Albtraum.

Die manuelle Falle: Experten mussten diese Regeln von Hand entwerfen, was langsam und fehleranfällig ist.
Die „zu viel Information"-Falle: Einige neuere Versuche nutzten KI (Large Language Models oder LLMs), um zu helfen, doch sie versuchten, der KI alle Rohdaten (tausende von Zahlen) auf einmal zuzuführen. Es ist, als würde man einem Koch versuchen, ein komplexes Rezept zu erklären, indem man ihm eine Liste von 10.000 Zutaten zuruft. Der Koch wird überwältigt, vergisst den Anfang und kann das Muster nicht erkennen.
Die „Keksform"-Falle: Andere KI-Methoden konnten bestehende Regeln nur auf einfache Weise mischen (durch Addition oder Multiplikation), ähnlich wie man nur Mehl und Zucker mischen darf, aber niemals eine neue Gewürzkombination erfinden kann.

Die Lösung: „Kernel Discovery"

Die Autoren dieses Papiers entwickelten ein neues System namens Kernel Discovery. Sie erkannten, dass die Aufforderung an eine KI, direkt Code zu schreiben, oft dazu führt, dass die KI lediglich Variablen umbenennt oder dieselbe Mathematik in einer anderen Schriftart wiedergibt (wie „2+2" versus „1+1+2"). Es sieht anders aus, macht aber exakt dasselbe.

Um dies zu beheben, bauten sie eine Zweistufige Fließbandproduktion:

Der Architekt (Stufe 1): Zuerst bitten sie die KI, als Mathematiker zu agieren. Statt Code zu schreiben, schlägt die KI eine neue mathematische Form oder Formel vor. Es ist, als würde der Architekt einen Bauplan für eine neue Art von Kuchenform zeichnen.
Der Baumeister (Stufe 2): Dann nimmt ein zweiter KI-Aufruf diesen Bauplan und wandelt ihn in tatsächlichen, funktionierenden Computercode um.

Diese Trennung zwingt die KI, über die Struktur nachzudenken, anstatt nur die Syntax zu kopieren. Es ermöglicht dem System, völlig neue Arten von „Ähnlichkeitsregeln" zu erfinden, an die Menschen vielleicht nie gedacht hätten.

Der „Geschmackstest" (Auswahl)

Sobald die KI einen neuen Kernel erfindet, wie wissen sie dann, dass er gut ist?
Normalerweise wählen Systeme den Kernel aus, der die aktuellen Daten perfekt passt. Doch dies ist wie ein Koch, der sich die bereits probierten Kuchen genau merkt, aber versagt, einen neuen zu backen. Dies nennt man Überanpassung (Overfitting).

Die Autoren führten einen neuen „Geschmackstest" namens LOO-CRPS ein.

Die Analogie: Stellen Sie sich vor, der Koch probiert einen Kuchen, legt ihn dann beiseite und versucht zu erraten, wie er geschmeckt hat, ohne ihn erneut anzusehen. Wenn der Koch immer noch richtig rät, ist das Rezept robust. Wenn der Koch nur richtig rät, weil er den spezifischen Bissen auswendig gelernt hat, ist das Rezept schlecht.
Diese Methode bestraft zu komplexe oder auswendig gelernte Kernels und stellt sicher, dass das System Regeln auswählt, die sich tatsächlich auf neue Bereiche des Suchraums verallgemeinern lassen.

Die Ergebnisse: Ein neuer Champion

Das Team testete dieses System in fünf verschiedenen „Küchen" (Benchmarks) mit Dimensionen von 100 bis über 6.000.

Die Punktzahl: Von 17 verschiedenen Methoden (darunter alte manuelle Regeln und andere KI-Versuche) landete ihre Methode auf Platz 1 mit einem durchschnittlichen Rang von 1,2.
Die Entdeckung: Sie stellten fest, dass die besten Kernels oft geometrische Verformungen (das Verbiegen des Raums wie eines Gummibretts) beinhalteten und verschiedene mathematische Ideen auf unerwartete Weise kombinierten. Zum Beispiel fanden sie Kernels, die gut funktionierten, obwohl sie „nicht-stationäre" Regeln verwendeten (Regeln, die sich ändern, je nachdem, wo man sich in der Küche befindet), was zuvor als riskant galt.

Zusammenfassung

Kurz gesagt sagt das Papier: „Fragen Sie die KI nicht einfach, Code basierend auf einer Wand voller Daten zu schreiben. Fragen Sie sie stattdessen, zuerst einen mathematischen Bauplan zu entwerfen und ihn dann zu bauen. Und wählen Sie nicht einfach die Regel aus, die die Vergangenheit perfekt passt; wählen Sie diejenige aus, die beweist, dass sie die Zukunft erraten kann."

Dieser Ansatz ermöglicht es Computern, automatisch bessere „Karten" zur Lösung unglaublich komplexer, hochdimensionaler Probleme zu erfinden, ohne dass ein menschlicher Experte die schwere Arbeit leisten muss.

Technischer Überblick: Automatisierte Kernel-Entdeckung zur Untersuchung hochdimensionaler Bayesscher Optimierung

Problemstellung

Hochdimensionale Bayessche Optimierung (BO) ist entscheidend für Anwendungen wie Hyperparameter-Optimierung, Suche nach neuronalen Architekturen und das Design biologischer Sequenzen. Allerdings leidet BO unter dem „Fluch der Dimensionalität", bei dem große Abstände zwischen Beobachtungen eine genaue Surrogatmodellierung erschweren und zu einer übermäßigen Exploration der Suchraumgrenzen führen.

Während neuere Arbeiten nahelegen, dass einfache Kernel (z. B. RBF, Matérn) mit angemessen skalierten Längenskalen-Priors oder geometrischen Eingabewarpings gut funktionieren können, erfordert die Identifizierung effektiver Priors oder Transformationen nach wie vor umfangreiche manuelle Ingenieursarbeit durch Domänenexperten. Bestehende automatisierte Ansätze stoßen in hohen Dimensionen auf zwei Hauptengpässe:

Ausdrucksstärken-Engpass: Aktuelle Kernel-Suchmethoden beschränken sich auf additive und multiplikative Kompositionen vordefinierter Basiskernel, was die Entdeckung neuer Strukturen, die für hochdimensionale Probleme geeignet sind, begrenzt.
Schnittstellen-Engpass: Auf Large Language Models (LLM) basierende BO-Methoden konditionieren typischerweise auf rohe Beobachtungen, um die Suche zu steuern. In hohen Dimensionen übersteigt das schiere Volumen numerischer Daten die Kontextgrenzen von LLMs und macht die Extraktion von Mustern unmöglich.

Methodik: Kernel-Entdeckung

Die Autoren schlagen Kernel Discovery vor, ein von LLMs gesteuerter evolutionärer Rahmen, der darauf ausgelegt ist, das Design effektiver Gaußscher Prozess- (GP) Kernel für hochdimensionale BO zu automatisieren. Der Rahmen arbeitet durch eine iterative Schleife, die Populationsinitialisierung, Kernel-Entdeckung, Validierung und Selektion umfasst.

1. Zwei-Stufen-Entdeckungs-Pipeline

Um die Einschränkung zu überwinden, dass LLMs syntaktisch variierenden, aber funktional identischen Code generieren, verfolgen die Autoren einen Zwei-Stufen-Ansatz:

Stufe 1 (Mathematische Formulierung): Ein LLM wird aufgefordert, neue mathematische Formen von Kerneln basierend auf einer Population bestehender Kernel vorzuschlagen. Entscheidend ist, dass diese Stufe nicht auf rohen Beobachtungen konditioniert; stattdessen verlässt sie sich auf die mathematischen Schlussfolgerungsfähigkeiten des LLM, um strukturell innovative Formen zu generieren. Der Prompt enthält spezifische Anleitungen zu Strategien für hohe Dimensionen (z. B. Eingabeprojektionen, Dimensions-Skalierung) und Einschränkungen (z. B. positive Semidefinitheit).
Stufe 2 (Code-Konvertierung): Ein zweiter LLM-Aufruf wandelt die vorgeschlagene mathematische Form in ausführbaren Python-Code um (speziell für das GPyTorch-Framework).

2. Populationsinitialisierung und Evolution

Der Prozess beginnt mit einer initialen Population ( $P_0$ ) von Kerneln, die sich in hohen Dimensionen als effektiv erwiesen haben, darunter RBF, Matérn52, Rational Quadratic (RQ), BOCK (zylindrische Kernel) und SL (sphärisch-lineare Kernel).

Komposition: Zusätzlich zur Zwei-Stufen-Entdeckung umfasst der Rahmen eine Kompositionsstufe, in der das LLM die besten Kernel durch Addition oder Multiplikation kombiniert.
Validierung: Neu generierte Kernel durchlaufen zwei empirische Prüfungen:
- Agnostische Ausführung ( $V_{agn}$ ): Stellt sicher, dass der Code über verschiedene Eingabeformen und Batch-Größen hinweg korrekt ausgeführt wird.
- Positive Semidefinitheit ( $V_{psd}$ ): Verifiziert, dass der Kernel eine gültige Kovarianzmatrix durch Cholesky-Zerlegung erzeugt.
Selektionskriterium (LOO-CRPS): Um den besten Kernel für die nächste BO-Iteration ohne Überanpassung auszuwählen, führen die Autoren den Leave-One-Out Continuous Ranked Probability Score (LOO-CRPS) ein. Im Gegensatz zur marginalen Log-Likelihood (MLL), die übermäßig komplexe Kernel begünstigen kann, die aktuelle Daten überanpassen, bestraft LOO-CRPS übermäßig selbstbewusste Anpassungen, indem es Vorhersageverteilungen auf zurückgehaltenen Datenpunkten bewertet.

3. Evolutionäre Schleife

In jeder Iteration generiert der Rahmen neue Kandidaten, validiert sie und wählt den Kernel mit dem niedrigsten LOO-CRPS aus, um den GP-Surrogat anzupassen. Die Akquisitionsfunktion (LogEI) wird dann maximiert, um den nächsten Abfragepunkt vorzuschlagen. Die Population wird aktualisiert, indem die Top- $N$ Kernel mit dem niedrigsten LOO-CRPS beibehalten werden, wodurch sichergestellt wird, dass sich die Population hin zu besser kalibrierten und effektiveren Surrogatmodellen entwickelt.

Hauptbeiträge

Neuer Rahmen: Vorstellung von „Kernel Discovery", dem ersten von LLMs gesteuerten evolutionären Rahmen, der einen breiteren Kernel-Raum jenseits einfacher additiver/multiplikativer Kompositionen durchsucht und darauf verzichtet, auf rohen hochdimensionalen Beobachtungen zu konditionieren.
Zwei-Stufen-Zerlegung: Eine methodische Erkenntnis, dass die Trennung der mathematischen Formulierung von der Code-Generierung funktionale Redundanz reduziert und die Entdeckung wirklich neuer Kernel-Strukturen fördert.
Robustes Selektionsmaß: Der Vorschlag von LOO-CRPS als Selektionskriterium, um Überanpassung im Prozess der Kernel-Auswahl zu mindern und eine bekannte Schwäche der MLL bei der automatisierten Kernel-Suche zu adressieren.
Empirische Validierung: Umfassende Evaluierung an fünf hochdimensionalen Benchmarks (Dimensionen von 100 bis 6.392), die eine überlegene Leistung gegenüber 16 Baselines nachweisen, einschließlich Basiskernel, suchbasierter Methoden und anderer LLM-basierter BO-Ansätze.

Experimentelle Ergebnisse

Die Methode wurde an fünf Standard-Benchmarks evaluiert: Rover ( $D=100$ ), Mopta08 ( $D=124$ ), Lasso-DNA ( $D=180$ ), SVM ( $D=388$ ) und Humanoid ( $D=6392$ ).

Leistung: Kernel Discovery erreichte einen durchschnittlichen Rang von 1,2 von 17 Methoden über alle Benchmarks hinweg und übertraf damit deutlich den Zweitplatzierten, Compositional Search (Rang 4,4).
Vergleich mit Baselines:
- Es übertraf alle festen Basiskernel (RBF, Matérn usw.).
- Es übertraf suchbasierte Methoden wie Greedy Search und Compositional Search signifikant, was die Begrenzung hervorhebt, den Suchraum auf einfache Kompositionen zu beschränken.
- Es übertraf LLM-basierte Baselines wie CAKE, ARM und LMABO deutlich. Die Autoren führen das Versagen von CAKE auf dessen Abhängigkeit von rohen Beobachtungen als Kontext zurück, was in hohen Dimensionen die Leistung verschlechtert.
Ablationsstudien: Das Entfernen einer beliebigen Komponente (Initialisierung, Entdeckungsstufe oder das LOO-CRPS-Maß) führte zu einer Leistungsverschlechterung, was die Notwendigkeit der gesamten Pipeline bestätigt. Der Zwei-Stufen-Ansatz erwies sich als in der Lage, funktional diversere Kernel zu produzieren als die direkte Code-Generierung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Automatisierung des Kernel-Designs mit einem System, das mathematische Schlussfolgerungen ziehen kann, die Hürde der manuellen Ingenieursarbeit in der hochdimensionalen BO erheblich senken kann.

Jenseits von Kompositionen: Die Studie zeigt, dass effektive Kernel für hohe Dimensionen nicht auf einfache Kompositionen von Basiskernel beschränkt sind. Die entdeckten Kernel beinhalten oft komplexe geometrische Warpings (z. B. Arcus-Tangens-Transformationen) und nicht-stationäre Komponenten, die in der initialen Population nicht vorhanden waren.
Einblick in hochdimensionale BO: Durch die Analyse der entdeckten Kernel liefern die Autoren neue Erkenntnisse darüber, was eine effektive Surrogatmodellierung vorantreibt. Sie fanden heraus, dass Kompositionen von geometrisch gewarpften Kerneln und nicht-stationären Komponenten (wie tanh-Polynomen) zu Verbesserungen führen können, was die vorherrschende Intuition herausfordert, dass einfache Kernel mit skalierten Priors ausreichen.
Übertragbarkeit: Die Autoren zeigen, dass Kernel, die auf einem Benchmark entdeckt wurden (z. B. SVM), effektiv auf andere Benchmarks übertragen werden können, was darauf hindeutet, dass die entdeckten Strukturen generalisierbare Eigenschaften hochdimensionaler Optimierungslandschaften erfassen.

Die Autoren schließen, dass ihr aktueller Rahmen zwar Kernel pro Benchmark optimiert, die Ergebnisse jedoch darauf hindeuten, dass die LLM-gesteuerte Kernel-Entdeckung eine vielversprechende Strategie für hochdimensionale BO darstellt und einen Weg zu ausdrucksstärkerer und automatisierter Surrogatmodellierung ebnet.