🤖 machine learning

Automated Kernel Discovery Towards Understanding High-dimensional Bayesian Optimization

Dit artikel introduceert Kernel Discovery, een door LLM's aangedreven evolutionair kader dat de beperkingen van bestaande geautomatiseerde kernelontwerp in Bayesiaanse optimalisatie met hoge dimensie overwint door een bredere wiskundige ruimte te verkennen zonder afhankelijk te zijn van ruwe waarnemingen, en dat superieure prestaties behaalt met een gemiddelde rang van 1,2 van de 17 op benchmarks.

Oorspronkelijke auteurs: Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Taeyoung Yun, Woocheol Shin, Inhyuck Song, Jaewoo Lee, Jinkyoo Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het perfecte cake-recept te vinden, maar de keuken heeft duizenden ingrediënten (dimensies) in plaats van alleen bloem en suiker. Je kunt niet elke mogelijke combinatie proeven, want dat zou eeuwen duren. Dit is de uitdaging van Bayesiaanse Optimalisatie (BO) in hoge dimensies: het vinden van de beste oplossing in een enorme, complexe ruimte met zeer weinig pogingen.

Om dit op te lossen, gebruiken wetenschappers een "slimme gever" genaamd een Gaussisch Proces (GP). Denk aan de GP als een chef die een mentale kaart van de keuken bouwt op basis van de cakes die je al hebt geproefd. Het belangrijkste deel van deze kaart is de Kernel – een wiskundige regel die bepaalt hoe vergelijkbaar twee ingrediënten (of punten in de keuken) met elkaar zijn.

Het Probleem: De Chef zit vast

Jarenlang was het ontwerpen van deze "gelijkheidsregels" (kernels) voor enorme keukens een nachtmerrie.

De Handmatige Valstrik: Experts moesten deze regels met de hand maken, wat traag is en vatbaar voor fouten.
De "Te Veel Informatie"-Valstrik: Sommige recente pogingen gebruikten AI (Grote Taalmodellen of LLM's) om te helpen, maar ze probeerden de AI alle ruwe data (duizenden getallen) tegelijk te voeden. Het is alsof je een chef probeert uit te leggen hoe een complex recept werkt door een lijst van 10.000 ingrediënten tegen hen te schreeuwen. De chef raakt overweldigd, vergeet het begin en kan het patroon niet vinden.
De "Koekjesvorm"-Valstrik: Andere AI-methoden konden alleen bestaande regels op simpele manieren mengen (optellen of vermenigvuldigen), alsof je alleen bloem en suiker mag mengen maar nooit een nieuw kruid mag uitvinden.

De Oplossing: "Kernel Discovery"

De auteurs van dit artikel hebben een nieuw systeem ontwikkeld dat Kernel Discovery heet. Ze realiseerden zich dat het vragen aan een AI om direct code te schrijven vaak resulteert in de AI die alleen variabelen hernoemt of dezelfde wiskunde in een ander lettertype herschrijft (zoals "2+2" versus "1+1+2" zeggen). Het ziet er anders uit, maar doet precies hetzelfde.

Om dit op te lossen, bouwden ze een Twee-Fasen Assemblagelijn:

De Architect (Fase 1): Eerst vragen ze de AI om als wiskundige te handelen. In plaats van code te schrijven, stelt de AI een nieuwe wiskundige vorm of formule voor. Het is alsof de architect een blauwdruk tekent voor een nieuw type cakevorm.
De Bouwer (Fase 2): Vervolgens neemt een tweede AI-aanroep dat blauwdruk en zet het om in daadwerkelijke, werkende computercode.

Deze scheiding dwingt de AI om na te denken over structuur in plaats van alleen syntaxis te kopiëren. Het stelt het systeem in staat om volledig nieuwe soorten "gelijkheidsregels" uit te vinden waar mensen misschien nooit aan zouden denken.

De "Smaaktest" (Selectie)

Zodra de AI een nieuwe kernel heeft uitgevonden, hoe weten ze dan of het goed is?
Meestal kiezen systemen de kernel die perfect past bij de huidige data. Maar dit is als een chef die de specifieke cakes die je al hebt geproefd uit het hoofd leert, maar faalt bij het bakken van een nieuwe. Dit heet overfitting.

De auteurs introduceerden een nieuwe "Smaaktest" genaamd LOO-CRPS.

De Analogie: Stel je voor dat de chef een cake proeft, deze dan opzij legt en probeert te raden hoe het smaakte zonder er nog eens naar te kijken. Als de chef nog steeds correct kan raden, is het recept robuust. Als de chef alleen correct kan raden omdat hij de specifieke hap uit het hoofd heeft geleerd, is het recept slecht.
Deze methode straft kernels die te complex zijn of uit het hoofd geleerd, af, waardoor het systeem regels kiest die daadwerkelijk generaliseren naar nieuwe gebieden van de zoekruimte.

De Resultaten: Een Nieuwe Kampioen

Het team testte dit systeem op vijf verschillende "keukens" (benchmarks) met dimensies variërend van 100 tot meer dan 6.000.

De Score: Van de 17 verschillende methoden (inclusief oude handgemaakte regels en andere AI-pogingen) kwam hun methode op de 1e plaats met een gemiddelde rang van 1,2.
De Ontdekking: Ze ontdekten dat de beste kernels vaak geometrische vervorming (het buigen van de ruimte als een rubberen vel) en het combineren van verschillende wiskundige ideeën op onverwachte manieren omvatten. Bijvoorbeeld, ze vonden kernels die goed werkten, zelfs als ze "niet-stationaire" regels gebruikten (regels die veranderen afhankelijk van waar je je in de keuken bevindt), wat voorheen als riskant werd beschouwd.

Samenvatting

Kortom, het artikel zegt: "Vraag de AI niet alleen om code te schrijven op basis van een muur aan data. Vraag haar in plaats daarvan eerst een wiskundig blauwdruk te ontwerpen en bouw het daarna op. En kies niet alleen de regel die perfect past bij het verleden; kies degene die bewijst dat ze de toekomst kan raden."

Deze aanpak stelt computers in staat om automatisch betere "kaarten" uit te vinden voor het oplossen van ongelooflijk complexe, hoog-dimensionale problemen zonder dat een menselijk expert het zware werk hoeft te doen.

Technische Samenvatting: Geautomatiseerde Kernel-ontdekking gericht op het begrijpen van Bayesiaanse optimalisatie in hoge dimensies

Probleemstelling

Bayesiaanse optimalisatie (BO) in hoge dimensies is cruciaal voor toepassingen zoals het afstemmen van hyperparameters, het zoeken naar neurale architecturen en het ontwerpen van biologische sequenties. BO lijdt echter onder de "vloek van de dimensionaliteit", waarbij grote afstanden tussen observaties nauwkeurige surrogate-modellering bemoeilijken en leiden tot overmatige verkenning van de randen van de zoekruimte.

Hoewel recente studies suggereren dat eenvoudige kernels (bijv. RBF, Matérn) met correct geschaalde lengteschaal-priors of geometrische input-warpings goed kunnen presteren, vereist het identificeren van effectieve priors of transformaties nog steeds uitgebreide handmatige engineering door domeinexperts. Bestaande geautomatiseerde benaderingen ondervinden twee primaire knelpunten in hoge dimensies:

Expressiviteitsknelpunt: Huidige methoden voor kernel-zoeken zijn beperkt tot additieve en multiplicatieve composities van vooraf gedefinieerde basiskernels, wat de ontdekking van nieuwe structuren geschikt voor problemen in hoge dimensies beperkt.
Interface-knelpunt: BO-methoden gebaseerd op Large Language Models (LLM's) conditioned doorgaans op ruwe observaties om de zoektocht te sturen. In hoge dimensies overschrijdt de schaal van numerieke data de contextlimieten van LLM's en maakt patroonextractie onhaalbaar.

Methodologie: Kernel-ontdekking

De auteurs stellen Kernel Discovery voor, een door LLM's aangedreven evolutionair raamwerk dat is ontworpen om het ontwerp van effectieve Gaussian Process (GP)-kernels voor BO in hoge dimensies te automatiseren. Het raamwerk werkt via een iteratieve lus die populatie-initialisatie, kernel-ontdekking, validatie en selectie omvat.

1. Tweestaps Ontdekkingstroom

Om de beperking te overwinnen dat LLM's syntactisch gevarieerde maar functioneel identieke code genereren, hanteren de auteurs een tweestapsbenadering:

Stap 1 (Wiskundige Formulering): Een LLM wordt gevraagd om nieuwe wiskundige vormen van kernels voor te stellen op basis van een populatie bestaande kernels. Cruciaal is dat deze stap niet conditioneert op ruwe observaties; in plaats daarvan vertrouwt het op het wiskundige redeneervermogen van de LLM om structureel innovatieve vormen te genereren. De prompt bevat specifieke richtlijnen voor strategieën in hoge dimensies (bijv. input-projecties, schaling van dimensionaliteit) en beperkingen (bijv. positief semi-definitheid).
Stap 2 (Codeconversie): Een tweede LLM-aanroep converteert de voorgestelde wiskundige vorm naar uitvoerbare Python-code (specifiek voor het GPyTorch-framework).

2. Populatie-initialisatie en Evolutie

Het proces begint met een initiële populatie ( $P_0$ ) van kernels die bekend staan om hun effectiviteit in hoge dimensies, waaronder RBF, Matérn52, Rational Quadratic (RQ), BOCK (cilindrische kernels) en SL (sferische lineaire kernels).

Compositie: Naast de tweestaps-ontdekking omvat het raamwerk een compositiestap waarbij de LLM de best presterende kernels combineert via optelling of vermenigvuldiging.
Validatie: Nieuw gegenereerde kernels ondergaan twee empirische checks:
- Agnostische Executie ( $V_{agn}$ ): Zorgt ervoor dat de code correct draait over variërende input-vormen en batchgroottes.
- Positief Semi-definitheid ( $V_{psd}$ ): Verifieert dat de kernel een geldige covariantiematrix produceert via Cholesky-decompositie.
Selectiecriteria (LOO-CRPS): Om de beste kernel voor de volgende BO-iteratie te selecteren zonder overfitting, introduceren de auteurs de Leave-One-Out Continuous Ranked Probability Score (LOO-CRPS). In tegenstelling tot de marginale log-likelihood (MLL), die te complexe kernels kan begunstigen die de huidige data overfitten, straft LOO-CRPS overzekere fits door voorspellende verdelingen te evalueren op vastgehouden datapunten.

3. Evolutionaire Lus

In elke iteratie genereert het raamwerk nieuwe kandidaten, valideert deze en selecteert de kernel met de laagste LOO-CRPS om de GP-surrogaat te fitten. Vervolgens wordt de acquisitie-functie (LogEI) gemaximaliseerd om het volgende query-punt voor te stellen. De populatie wordt bijgewerkt door de top- $N$ kernels met de laagste LOO-CRPS te behouden, waardoor de populatie evolueert naar meer gekalibreerde en effectieve surrogaatmodellen.

Belangrijkste Bijdragen

Nieuw Raamwerk: Introductie van "Kernel Discovery", het eerste door LLM's aangedreven evolutionaire raamwerk dat een bredere kernel-ruimte doorzoekt dan eenvoudige additieve/multiplicatieve composities en afziet van conditionering op ruwe observaties in hoge dimensies.
Tweestaps Decompositie: Een methodologisch inzicht dat het scheiden van wiskundige formulering van codegeneratie functionele redundantie vermindert en de ontdekking van echt nieuwe kernel-structuren stimuleert.
Robuust Selectiemetriek: Het voorstellen van LOO-CRPS als selectiecriterium om overfitting in het kernel-selectieproces te mitigeren, waarmee een bekende zwakte van MLL in geautomatiseerd kernel-zoeken wordt aangepakt.
Empirische Validatie: Uitgebreide evaluatie op vijf benchmarks in hoge dimensies (dimensies variërend van 100 tot 6.392), waarbij superieure prestaties worden aangetoond ten opzichte van 16 baselines, waaronder basiskernels, op zoeken gebaseerde methoden en andere op LLM's gebaseerde BO-benaderingen.

Experimentele Resultaten

De methode werd geëvalueerd op vijf standaard benchmarks: Rover ( $D=100$ ), Mopta08 ( $D=124$ ), Lasso-DNA ( $D=180$ ), SVM ( $D=388$ ) en Humanoid ( $D=6392$ ).

Prestaties: Kernel Discovery behaalde een gemiddelde rang van 1,2 van de 17 methoden over alle benchmarks, wat significant beter is dan de nummer twee, Compositional Search (rang 4,4).
Vergelijking met Baselines:
- Het presteerde beter dan alle vaste basiskernels (RBF, Matérn, enz.).
- Het overtrof aanzienlijk op zoeken gebaseerde methoden zoals Greedy Search en Compositional Search, wat de beperking benadrukt van het beperken van de zoekruimte tot eenvoudige composities.
- Het presteerde opvallend beter dan op LLM's gebaseerde baselines zoals CAKE, ARM en LMABO. De auteurs schrijven het falen van CAKE toe aan de afhankelijkheid van ruwe observaties als context, wat de prestaties in hoge dimensies verslechtert.
Ablatiestudies: Het verwijderen van een component (initialisatie, ontdekkingsstap of de LOO-CRPS-metriek) resulteerde in prestatieverlies, wat de noodzaak bevestigt van de volledige pijplijn. De tweestapsbenadering bleek meer functioneel diverse kernels te produceren dan directe codegeneratie.

Betekenis en Claims

De paper claimt dat het automatiseren van kernel-ontwerp met een systeem dat wiskundig redeneert de drempel van handmatige engineering in BO in hoge dimensies aanzienlijk kan verlagen.

Voorbij Composities: De studie toont aan dat effectieve kernels voor hoge dimensies niet beperkt zijn tot eenvoudige composities van basiskernels. De ontdekte kernels omvatten vaak complexe geometrische warpings (bijv. arctan-transformaties) en niet-stationaire componenten die niet aanwezig waren in de initiële populatie.
Inzicht in BO in Hoge Dimensies: Door de ontdekte kernels te analyseren, bieden de auteurs nieuwe inzichten in wat effectieve surrogaatmodellering drijft. Zij vonden dat composities van geometrisch gewarpde kernels en niet-stationaire componenten (zoals tanh-polynomen) tot verbeteringen kunnen leiden, wat de heersende intuïtie uitdaagt dat eenvoudige kernels met geschaalde priors voldoende zijn.
Overdraagbaarheid: De auteurs tonen aan dat kernels die op één benchmark zijn ontdekt (bijv. SVM) effectief kunnen worden overgedragen naar andere benchmarks, wat suggereert dat de ontdekte structuren generaliseerbare eigenschappen van optimalisatielandschappen in hoge dimensies vastleggen.

De auteurs concluderen dat hoewel hun huidige raamwerk kernels per benchmark optimaliseert, de resultaten suggereren dat door LLM's aangedreven kernel-ontdekking een veelbelovende strategie is voor BO in hoge dimensies, en een weg biedt naar expressievere en geautomatiseerde surrogaatmodellering.