📊 statistics

On the Brittleness of Maximum Likelihood Estimation for Gaussian Process Hyperparameter Optimization

Dit artikel onderzoekt de broosheid van Maximum Likelihood Estimation (MLE) bij het trainen van Gaussian Processes, waarbij wordt aangetoond dat wanneer onderliggende aannames worden geschonden, MLE leidt tot slechte generalisatie, en stelt het theoretisch gefundeerde, praktische oplossingen voor die bestaande methoden overtreffen in nauwkeurigheid, onzekerheidskwantificering en inferentiekosten voor downstream engineering-taken.

Oorspronkelijke auteurs: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Gepubliceerd 2026-08-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict kijk je naar een rommelige stapel datapunten die verspreid liggen op een tafel. Je doel is om een vloeiende lijn (of een complexe vorm) door deze stippen te trekken om te voorspellen wat er hierna gebeurt. In de wereld van engineering en wetenschap wordt dit "machine learning" genoemd, en het is het geheime ingrediënt achter alles, van het ontwerpen van veiligere bruggen tot het voorspellen van hoe een nieuw medicijn zal reageren.

Om die lijn te tekenen, heeft de detective een regelboek nodig, of een "loss function", die vertelt hoe dicht hun gok bij de waarheid ligt. Decennialang was het meest populaire regelboek genaamd Maximum Likelihood Estimation (MLE). Denk aan MLE als een zeer strenge leraar die zegt: "Jouw taak is om je model de data die je hebt perfect te laten verklaren." Als de data een vloeiende curve vormen, probeert MLE een vloeiende curve te fitten. Als de data ruizig zijn, probeert MLE de ruis te verklaren. Het is intuïtief en krachtig, maar het heeft een geheim zwak punt: het gaat ervan uit dat de wereld precies zo is als de leraar denkt dat hij is. Als de data rommelig zijn, raakt de leraar in de war, en het model kan perfect lijken in de klas (op de trainingsdata), maar falen bij het eindexamen (wereldwijde voorspellingen).

Onlangs is er een nieuw soort detective gearriveerd: het "Foundation Model". Dit zijn superintelligente, vooraf getrainde AI-systemen (zoals TabPFN) die al miljoenen verzonnen problemen hebben gezien. Ze hoeven niet vanaf nul te leren; ze kijken simpelweg naar je data en raden direct het antwoord. Ze zijn snel en vaak erg goed. Maar hier is de grote vraag: is de oude, strikte leraar (MLE) werkelijk kapot, of kunnen we hem gewoon beter leren? En is de nieuwe super-detective werkelijk beter, of is hij gewoon geluksvogel?

Dit artikel, geschreven door een team van engineers van de University of California, Irvine, duikt diep in dit debat. Ze behandelen de "broosheid" van de oude leraar (MLE) als een fragiele glazen vaas. Ze vragen zich af: "Als we de vaas een beetje schudden (ruis toevoegen) of er vanuit een vreemde hoek naar kijken (hoge dimensies), breekt hij dan?"

De auteurs voerden een massaal experiment uit met meer dan 3.000 verschillende simulaties. Ze testten de oude leraar (Gaussian Processes getraind met MLE) tegen de nieuwe super-detective (TabPFN) op allerlei soorten puzzels, van eenvoudige curven tot complexe, meerdimensionale engineering-problemen.

Dit is wat ze vonden. Eerst bevestigden ze dat de oude leraar inderdaad broos is. Wanneer de data schaars zijn of het probleem ingewikkeld is, komt MLE vaak vast te zitten in een "lokaal optimum". Stel je een wandelaar voor die probeert de hoogste top te vinden in een mistig berglandschap. MLE is als een wandelaar die alleen naar de grond direct om zijn voeten kijkt. Als hij in een klein dal begint, kan hij denken dat hij de top heeft bereikt omdat hij de hogere toppen in de buurt niet kan zien. Dit leidt tot modellen die geweldig lijken op de data waarop ze zijn getraind, maar verschrikkelijk zijn in het voorspellen van nieuwe dingen.

Het artikel zegt echter niet: "Gooi MLE in de prullenbak." In plaats daarvan ontdekten ze dat als je de wandelaar een betere kaart en een zaklamp geeft, hij nog steeds kan winnen. Door de manier waarop de leraar naar de getallen kijkt te veranderen (een "log-schaal" transformatie) en door de leraar op veel verschillende plekken te laten beginnen (meerdere initialisaties), wordt de oude leraar veel robuuster. Met deze eenvoudige aanpassingen werden de met MLE getrainde modellen ongelooflijk accuraat en versloegen ze vaak de nieuwe super-detective in het voorspellen van niet alleen het antwoord, maar ook hoe zeker ze waren van dat antwoord.

De studie vergeleek deze modellen ook in een scenario uit de echte wereld genaamd "Bayesian Optimization", wat lijkt op het proberen te vinden van het beste recept voor een cake door slechts een paar hapjes te proeven. Hier was de oude leraar (wanneer correct afgesteld) vaak sneller en efficiënter dan de nieuwe super-detective. De super-detective is goed in het raden zonder training, maar wordt traag en duur wanneer je hem een miljoen vragen moet stellen. De oude leraar, eenmaal getraind, is razendsnel.

Uiteindelijk suggereert het artikel dat we de oude, vertrouwde methoden niet blindelings moeten verlaten voor de glimmende nieuwe. De "broosheid" van Maximum Likelihood Estimation is geen fataal defect; het is een bug die kan worden opgelost met betere instrumenten en een beetje meer geduld. Hoewel de nieuwe foundation models indrukwekkend zijn, kan een zorgvuldig afgestelde Gaussian Process nog steeds de kampioen zijn van nauwkeurigheid, onzekerheid en snelheid voor veel engineering-taken. De sleutel is niet om van team te wisselen, maar om ervoor te zorgen dat je coach weet hoe hij de speler goed moet trainen.

Technische Samenvatting: Over de Broosheid van Maximum Likelihood Estimatie voor Gaussian Process Hyperparameter Optimalisatie

Probleemstelling

Machine learning (ML) is integraal geworden in engineering design workflows, waarbij het vaak dient als surrogaat voor dure simulaties of experimenten. Een cruciale stap bij het trainen van deze modellen is de selectie van een verliesfunctie, waarbij Maximum Likelihood Estimation (MLE) de meest breed geadopteerde benadering is vanwege de statistische fundamenten en computationele hanteerbaarheid. MLE is echter inherent broos: de theoretische garanties rusten op aannames zoals een correcte modelspecificatie, onafhankelijke observaties en voldoende grote datasets—condities die in praktische engineering design problemen frequent worden geschonden.

Wanneer deze aannames falen, kunnen door MLE geoptimaliseerde modellen de trainingsdata goed fitten, maar generaliseren ze slecht, een mismatch die bijzonder schadelijk is in workflows die vereisen dat onzekerheidskwantificering (UQ) wordt toegepast, zoals Bayesian Optimization (BO). Deze broosheid beïnvloedt zelfs Gaussian Processes (GPs), die vaak onterecht als robuust tegen overfitting worden beschouwd. Bovendien roept de opkomst van foundation models (FMs) zoals TabPFN, die gebruikmaken van vooraf getrainde inferentiemechanismen om per-probleem training te omzeilen, vragen op over de relatieve effectiviteit van traditionele MLE-getrainde GPs versus moderne FMs.

Methodologie

De auteurs evalueren systematisch de broosheid van MLE bij het trainen van GPs voor regressie- en classificatietaken, waarbij ze deze vergelijken met TabPFN (versies 2.0 en 2.5). De studie omvat 3.170 onafhankelijke simulaties over variërende ruisniveaus, datasetgroottes ( $N = 5D_x$ en $N = 20D_x$ ) en input-dimensionaliteiten ( $D_x \in \{4, 10, 20, 40, 80\}$ ).

Voorgestelde Mitigaties voor MLE

In plaats van MLE op te geven, stelt het artikel praktische strategieën voor om de broosheid ervan te mitigeren:

Reparametrisatie: Het transformeren van hyperparameters naar een log-schaal (bijvoorbeeld het representeren van lengteschalen als $10^\omega$ ) om grotere gradiënten te garanderen en beperkingen te verwijderen, wat betere convergentie faciliteert.
Soft Clamping: Het introduceren van een soft clamp-functie om hyperparameters te begrenzen tijdens optimalisatie, wat numerieke instabiliteit voorkomt zonder niet-gladde gedragingen bij de grenzen te veroorzaken.
Multi-Initialisatie: Het toepassen van space-filling designs voor meerdere willekeurige initialisaties (standaard ingesteld op 16) om het risico op convergentie naar slechte lokale optima te verminderen.
Alternatieve Verliesfuncties: De studie evalueert alternatieven zoals Leave-One-Out (LOO) log-pseudo-likelihood, Kernel Flows en passende scoring regels (NIS, CRpsis), hoewel zij opmerkt dat LOO gevoelig kan zijn en Kernel Flows geen natuurlijke UQ-mogelijkheden hebben.

Experimentele Opzet

Regressie: Negen benchmarkproblemen (bijv. Ackley, Rosenbrock, Buckling) werden getest met behulp van RRMSE voor nauwkeurigheid en de genormaliseerde interval score (NIS) voor UQ.
Bayesian Optimization: BO-trials werden uitgevoerd op dezelfde benchmarks, waarbij GP-gebaseerde BO (herverwerking via MLE bij elke stap) werd vergeleken met TabPFN-gebaseerde BO (in-context learning).
Classificatie: Vier datasets (Electrical Grid, Truss 6D, Stellar, Steel Plates) werden gebruikt om nauwkeurigheid en Expected Calibration Error (ECE) te evalueren, waarbij een Dirichlet target constructie werd gebruikt om classificatie als een regressieprobleem voor GPs te casten.
Baselines: Vergelijkingen omvatten GPyTorch (standaard MLE), GP+ (de implementatie van de auteurs met voorgestelde mitigaties) en TabPFN-versies.

Belangrijkste Resultaten

Regressieprestaties

MLE vs. Alternatieven: GPs getraind met de voorgestelde MLE-mitigaties (GP+) presteerden over het algemeen gelijkwaardig aan of beter dan TabPFN 2.5 in termen van voorspellingsnauwkeurigheid (RRMSE) en UQ (NIS).
Kernel en Verliesgevoeligheid: Hoewel GP+ (PE) (Power Exponential kernel) en GP+ (LOO) superieure prestaties lieten zien in specifieke hoog-dimensionale of lage-data regimes, waren zij inconsistent. GP+ (LOO) leed vaak aan slechte UQ in lage-data regimes door overbezinning (smalle voorspellingsintervallen).
Data Regime: In scenario's met weinig data en hoge ruis faalde standaard GPyTorch vaak (het leerde constante waarden), terwijl GP+ met mitigaties robuust bleef. In hoog-data regimes presteerden GP+ varianten consistent beter dan TabPFN in de meeste benchmarks, behalve bij de Zakharov-functie waar TabPFN uitblonk door een betere afhandeling van de observatieschaal.
Preprocessing: Log-schaal target preprocessing verbeterde de GP-prestaties op de Buckling-probleem aanzienlijk, terwijl TabPFN robuust bleef tegen dergelijke schaalverkiezen.

Bayesian Optimization

Efficiëntie vs. Nauwkeurigheid: GP-gebaseerde BO benaderde optima in de meeste benchmarks (bijv. Buckling, Borehole) over het algemeen sneller dan TabPFN-gebaseerde BO.
Computationele Afweging: TabPFN elimineert de kosten van herverwerking per iteratie maar brengt hoge inferentiekosten met zich mee wanneer acquisitiefuncties worden geëvalueerd over grote kandidaatpools (omdat gradiënt-gebaseerde optimalisatie onhaalbaar is). Daarentegen vereisen GPs herverwerking maar ondersteunen zij analytische acquisitiefuncties en snelle voorspellingen. In kleine-data regimes waar GP-herverwerking goedkoop is, bleken GPs computationeel concurrerend of superieur.

Classificatieprestaties

Kernel Selectie: De relatie tussen trainingsverlies en testprestaties was niet strikt. Bijvoorbeeld, de Matérn kernel ( $\nu=0.5$ ) had het hoogste trainingsverlies maar behaalde de laagste ECE en de hoogste nauwkeurigheid op de Steel Plates Faults dataset.
TabPFN vs. GP+: TabPFN 2.5 behield een licht voordeel in nauwkeurigheid en kalibratie over de meeste classificatietaken, met name bij taken die categorische variabelen en multi-class settings bevatten. Dit voordeel nam echter af naarmate de trainingssetgrootte ( $N$ ) toenam, waarbij GP+ varianten TabPFN inhaalden qua nauwkeurigheid op de Electrical Grid Stability dataset voor $N \ge 200$ .

Betekenis en Bijdragen

Het artikel stelt dat hoewel MLE het dominante paradigma is voor GP-training, de effectiviteit ervan sterk afhankelijk is van implementatiedetails die in de praktijk vaak over het hoofd worden gezien. De primaire bijdragen zijn:

Demonstratie van Broosheid: De studie levert uitgebreid empirisch bewijs dat door MLE getrainde GPs systematisch kunnen falen in engineering contexten door non-convexe optimalisatielandschappen en modelmisspecificatie, met name in kleine-data, hoog-dimensionale settings.
Praktische Remedies: De auteurs demonstreren dat eenvoudige, praktische interventies (log-schaal reparametrisatie, soft clamping, multi-initialisatie) de MLE-fouten substantieel kunnen mitigeren zonder het framework te verlaten.
Vergelijkende Analyse met Foundation Models: Het werk biedt een rigoureuze vergelijking tussen klassieke probabilistische methoden (GPs) en opkomende foundation models (TabPFN). Het concludeert dat zorgvuldig geïmplementeerde MLE-getrainde GPs nog steeds zeer competitief blijven en vaak TabPFN overtreffen in voorspellingsnauwkeurigheid, UQ-kwaliteit en inferentiekosten, met name in de onderzochte dimensionaliteitsbereiken ( $D_x < 100$ ).
Blauwdruk voor Praktici: Het artikel biedt een blauwdruk voor het bouwen van nauwkeurige en robuuste GPs die foundation models kunnen evenaren of zelfs overtreffen, waarbij wordt benadrukt dat investeren in een juiste MLE-implementatie vaak effectiever is dan het volledig wisselen van verliesfuncties of modellen.

De auteurs merken op dat hun bevindingen gebaseerd zijn op analytische benchmarks met Gaussische ruis en suggereren dat toekomstig werk uitgebreid moet worden naar niet-Gaussische ruis, real-world datasets en downstream taken zoals multi-fidelity modellering. Ze benadrukken ook de potentiële waarde van meta-learning GP-hyperpriors, geïnspireerd door het TabPFN-trainingsparadigma, om de gevoeligheid voor initialisatie verder te verminderen.