🤖 machine learning

Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets?

Diese Arbeit zeigt auf, dass die Anwendung von Bayes’scher Optimierung innerhalb einer niedrigdimensionalen, zufälligen linearen Einbettung des Gewichtsraums ein effizientes, gradientenfreies Post-Training von LLMs ermöglicht, wobei eine Leistung erzielt wird, die mit bestehenden Methoden wie RandOpt vergleichbar oder sogar besser ist, während gleichzeitig fünfmal weniger Kandidatenbewertungen erforderlich sind.

Ursprüngliche Autoren: Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

Veröffentlicht 2026-08-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein riesiges, superintelligentes Robotergehirn, das bereits fast alles im Internet gelesen hat. Dieses Gehirn ist ein „Large Language Model“. Normalerweise, wenn man ihm einen neuen Trick beibringen möchte – wie zum Beispiel das Lösen von mathematischen Rätseln oder das Spielen eines bestimmten Spiels –, muss man eine Methode namens „Gradientenbasierte Optimierung“ anwenden. Das ist so, als würde man versuchen, den Gipfel eines Berges in dichtem Nebel zu finden, indem man die Neigung unter den Füßen fühlt und winzige, vorsichtige Schritte macht. Es funktioniert, aber es ist langsam, teuer und erfordert viel Rechenleistung.

Kürzlich entdeckten Wissenschaftler einen anderen Weg, diese Gehirne anzupassen, ohne diese schwere Bergausrüstung zu benötigen. Sie fanden heraus, dass es ausreicht, die Einstellungen des Gehirns ein wenig zufällig zu schütteln, und dass einige dieser zufälligen Schüttelbewegungen das Gehirn bei einer spezifischen Aufgabe tatsächlich intelligenter machen. Es ist wie das Schütteln einer Kiste mit LEGO-Steinen; meistens entsteht nur ein Durcheinander, aber gelegentlich setzt sich zufällig ein perfektes kleines Raumschiff zusammen. Diese Idee wird als „Neural Thickets“ bezeichnet. Das Problem dabei ist: Das perfekte Raumschiff durch bloßes zufälliges Schütteln der Kiste zu finden, ist wie die Suche nach der Nadel im Heuhaufen mit verbundenen Augen. Man muss tausende Schüttelbewegungen ausprobieren, jede testen und hoffen, dass man Glück hat. Diese Arbeit stellt eine einfache Frage: Können wir beim Schütteln klüger vorgehen? Anstatt blind zu raten, können wir einen „intelligenten Ratgeber“ nutzen, um herauszufinden, in welche Richtung wir als Nächstes schütteln müssen, damit wir mit viel weniger Versuchen das beste Ergebnis erzielen?

Der Smarte Schüttler: Die Nadel finden, ohne die Augenbinde

Die Forscher hinter dieser Studie, die mit Modellen namens Qwen2.5 arbeiteten, entschieden sich für eine Methode namens Bayesianische Optimierung (BO). Um zu verstehen, was sie getan haben, stellen Sie sich vor, die Einstellungen des Robotergehirns wären eine riesige, mehrdimensionale Landkarte. Die Methode des „zufälligen Schüttelns“ (genannt RandOpt) ist wie das Werfen von Dartpfeilen auf diese Karte aus der Ferne. Man wirft tausende Dartpfeile, sieht, welche die „guten“ Stellen treffen, und behält die besten. Es funktioniert, ist aber verschwenderisch.

Die Autoren schlugen eine andere Strategie vor: Bayesianische Optimierung (BO). Stellen Sie sich das wie einen magischen, unsichtbaren Führer vor, der einige Ihrer Dartwürfe gesehen hat. Nachdem Sie ein paar Darts geworfen haben, erstellt dieser Führer eine grobe Karte davon, wo die guten Stellen liegen könnten. Anstatt Dartpfeile zufällig zu werfen, sagt Ihnen der Führer genau, wohin Sie als Nächstes werfen müssen, um am meisten zu lernen. Es ist wie ein Spiel von „Heiß oder Kalt“, aber der Führer ist so gut darin zu raten, dass Sie den Schatz in nur wenigen Zügen finden, anstatt in Hunderten.

Um dies umsetzbar zu machen, betrachtete das Team nicht die ganze riesige Landkarte. Sie erkannten, dass die „guten“ Änderungen am Robotergehirn wahrscheinlich in einem sehr kleinen, schmalen Korridor innerhalb dieses massiven Raums stattfinden. Also bauten sie einen winzigen, 64-dimensionalen „Schnitt“ der Landkarte, um darin zu suchen. Dann nutzten sie ihren smarten Führer, um diesen Schnitt zu erkunden.

Was sie fanden: Klüger, nicht härter

Die Ergebnisse waren recht aufregend, aber mit wichtigen Einschränkungen. Als sie dies bei Denkaufgaben wie Countdown (ein Zahlenspiel), GSM8k (Mathematik-Textaufgaben) und MATH500 (schwierigere Mathematikprobleme) testeten, tat der „Smarte Schüttler“ (BO) etwas Bemerkenswertes.

Mit nur 200 Versuchen (Evaluierungen) erreichte die Methode der Bayesianischen Optimierung die Leistung des „Zufälligen Schüttlers“ (RandOpt), der 1.000 Versuche benötigte, oder übertraf sie sogar. Das ist eine fünffache Reduzierung des Aufwands!

Bei der Countdown-Aufgabe mit einem Modell mit 1,5 Milliarden Parametern erreichte der Smarte Schüttler einen Wert von 15,05, während der Zufällige Schüttler mit fünfmal mehr Aufwand nur 14,60 erreichte.
Bei GSM8k erzielte der Smarte Schüttler 67,78 und schlug damit die 66,13 des Zufälligen Schüttlers.

Dies deutet darauf hin, dass man durch die Nutzung eines smarten Führers zur Navigation im Suchraum nicht so viele Dartpfeile werfen muss, um ein starkes, einzelnes Expertenmodell zu finden. Man kann einen „Super-Roboter“ erhalten, der bereit ist, alleine zu agieren, ohne dass man die Antworten von fünfzig verschiedenen Versionen durch Abstimmung ermitteln muss.

Der Haken: Das Problem mit dem „Falschen Schatz“

Die Arbeit warnt jedoch auch davor, dass dieser magische Führer nicht perfekt ist. Es gibt einen tückischen Teil, den man den „Fluch des Gewinners“ nennt.

Stellen Sie sich vor, Sie suchen den besten Apfel in einem Obstgarten. Wenn Sie den Apfel aussuchen, der in der Sonne am glänzendsten aussieht, könnte es sich nur um ein glückliches Lichtspiel handeln und nicht um den tatsächlich süßesten Apfel. Die Forscher fanden heraus, dass der „Smarte Schler“ Modelle fand, die zwar fantastisch aussah bei den Testfragen, auf denen sie trainiert wurden (dem „Selection Set“), aber bei neuen, ungesehenen Fragen tatsächlich schlechter abschnitten.

Beispielsweise fand der Smarte Schüttler bei der MATH500-Aufgabe Modelle, die bei den Übungsfragen unglaublich hoch punkteten (über 63 %), aber als sie mit echten Problemen getestet wurden, schnitten sie tatsächlich schlechter ab als das Basismodell! Der Führer hatte sich zu sehr auf die „glänzenden Äpfel“ verlassen, die nur durch Glück entstanden waren. Die Arbeit legt nahe, dass man ab einem gewissen Punkt einfach nur noch den Test auswendig lernt, anstatt die eigentliche Fähigkeit zu erlernen.

Das Fazteit

Diese Arbeit zeigt, dass Bayesianische Optimierung ein leistungsfähiges Werkzeug ist, um starke Einzel-Experten in neuronalen Netzen zu finden, ohne dass teure Hin-und-Her-Berechnungen nötig sind. Sie beweist, dass man mit fünfmal weniger Aufwand als beim zufälligen Raten bessere Lösungen finden kann, vorausgesetzt, man stoppt, bevor die Suche beginnt, den Test auswendig zu lernen („Overfitting“).

Obwohl die Methode nicht bei jeder einzelnen Aufgabe Wunder wirkt (besonders wenn die „guten“ Lösungen sehr selten oder der Test irreführend sind), deutet sie auf eine vielversprechende Zukunft hin. Anstatt uns mit Millionen von Zufallsversuchen den Weg zu bahnen, können wir intelligente, geführte Suchen nutzen, um die besten Versionen unserer KI-Gehirne zu finden, wodurch wir Zeit und Energie sparen und dennoch Spitzenleistungen erzielen. Die Autoren schlagen vor, dass dieser Ansatz mit größeren Budgets und besseren Wegen, um das Problem des „glücklichen Lichts“ zu handhaben, zu einem Standardweg werden könnte, um die nächste Generation von KI feinzustimmen.

Technisches Resümee: Bayesianische Optimierung zur Identifizierung starker Einzel-Experten in neuronalen Dickichten

Problemstellung

Gradientenfreie Post-Training-Verfahren haben sich als kosteneffiziente Alternative zu gradientenbasierten Methoden (wie PPO und GRPO) für Large Language Models (LLMs) etabliert. Bestehende Ansätze, wie etwa RandOpt (Neural Thickets), basieren auf dem Sampling zufälliger Gaußscher Perturbationen der vortrainierten Gewichte, deren Bewertung auf einem Selektionssatz erfolgt, und dem anschließenden Ensembling der Top- $K$ Modelle mittels Mehrheitsentscheidung. Während dieser Ansatz effektiv ist, weist er zwei primäre Ineffizienzen auf:

Suchkosten: Die Evaluierung einer Population von $N$ Kandidaten erfordert $N \times |D_{sel}|$ autoregressive Generationen. Um starke Ergebnisse zu erzielen, benötigt RandOpt typischerweise große Populationen (z. B. $N=5.000$ ), was die Suche rechenintensiv macht.
Deployment-Kosten: Die stärksten Ergebnisse hängen von der Kombination von $K$ Modellen ab (z. B. $K=50$ ). Das Deployment einer einzelnen Abfrage erfordert das Generieren von $K$ distinkten Outputs, und die Vorhaltung von $K$ Gewichtskonfigurationen ist ressourcenintensiv. Ein Rückfall auf ein einzelnes Modell ( $K=1$ ) führt zu signifikanten Genauigkeitsverlusten (z. B. 11,2 Punkte bei MATH-500).

Die zentrale Forschungsfrage lautet: Kann eine strukturierte, gradientenfreie Methode bei einem festen und moderaten Evaluierungsbudget einen einzelnen starken Experten identifizieren, der besser abschneidet als das Zufallssampling, um dadurch sowohl die Such- als auch die Deployment-Kosten zu senken?

Methodik

Die Autoren schlagen vor, Bayesianische Optimierung (BO) innerhalb einer zufälligen linearen Einbettung des Gewichtsraums anzuwenden. Die Methode ist darauf ausgelegt, vollständig gradientenfrei zu sein, indem sie einen Gauß-Prozess (GP) als Surrogatmodell nutzt, um die Suche zu leiten.

Suche in einem niedrigdimensionalen Unterraum: Anstatt isotrop im vollen $D$ $D$ -dimensionalen Gewichtsraum zu sampeln, konstruiert die Methode eine zufällige lineare Einbettung $A \in \mathbb{R}^{D \times d}$ $A \in R^{D \times d}$ (wobei $d=64$ $d = 64$ ). Kandidaten werden durch einen Koeffizientenvektor $\alpha \in \mathbb{R}^d$ $α \in R^{d}$ und einen Skalierungsfaktor $\sigma \in \mathbb{R}_{>0}$ $σ \in R_{> 0}$ definiert.
- Die Perturbation wird wie folgt formuliert: $\theta' = \theta_0 + \sigma \cdot \sqrt{D} \cdot \frac{A\alpha}{\|A\alpha\|}$ .
- Diese Normalisierung stellt sicher, dass die Norm der Perturbation der von Standard-RandOpt entspricht ( $\sigma\sqrt{D}$ ), was einen fairen Vergleich der Perturbationsskala ermöglicht.
Surrogat-gestützte Suche:
- Ein Gauß-Prozess (GP) wird an die beobachteten Belohnungen (Genauigkeit auf dem Selektionssatz $D_{sel}$ ) angepasst.
- Der nächste Kandidat $(\alpha, \sigma)$ wird durch Maximierung einer Akquisitionsfunktion (z. B. logEI) vorgeschlagen, die eine Balance zwischen Exploration und Exploitation herstellt.
- Selektionsregel: Das finale Modell wird entweder nach der höchsten beobachteten Belohnung oder dem höchsten GP-Posterior-Mittelwert ausgewählt. Letzteres soll den „Winner's Curse“ mildern, indem Kandidaten bestraft werden, deren hohe Scores lediglich auf Rauschen oder glücklichen Treffern auf dem Selektionssatz zurückzuführen sind.
Evaluierungsprotokoll: Die Methode wurde an Qwen2.5-Instruct Modellen (0,5B, 1,5B, 3B Parameter) über drei Reasoning-Benchmarks getestet: Countdown, GSM8k und MATH500. Das Budget wurde auf 200 Kandidaten-Evaluierungen für BO und Random Search festgelegt, im Vergleich zu RandOpt mit Budgets von 200 und 1.000.

Kernergebnisse

Die Experimente zeigen, dass BO mit deutlich weniger Evaluierungen kompetitive oder überlegene Leistungen erzielen kann:

Sample-Effizienz: Mit 5-mal weniger Kandidaten-Evaluierungen (200 vs. 1.000) erreicht BO bei $K=1$ $K = 1$ (Einzel-Experte) in den meisten Settings die Leistung von RandOpt-1000 oder übertrifft diese sogar.
- Countdown-0.5B: BO (9,34 %) vs. RandOpt-1000 (6,81 %).
- GSM8k-1.5B: BO (67,78 %) vs. RandOpt-1000 (66,13 %).
- MATH500-1.5B: BO (40,43 %) vs. RandOpt-1000 (39,80 %).
Subspace vs. Surrogate: Innerhalb desselben 64-dimensionalen Unterraums erzielt BO konsistent höhere Selektionsbelohnungen als die Zufallssuche, was bestätigt, dass die Gewinne durch die Effizienz des Surrogatmodells und nicht durch die Reduktion der Dimensionalität selbst getrieben werden.
Ensemble-Leistung ( $K=20$ ): BO erreicht bei gleichem Budget (200 Evaluierungen) vergleichbare Werte bei $K=20$ , liegt jedoch hinter RandOpt-1000 zurück, was darauf hindeutet, dass die Qualität eines Ensembles von einem breiteren Pool an Kandidaten profitieren kann, den eine konzentrierte Suche möglicherweise nicht vollständig erfasst.
Limitierungen und Overfitting:
- MATH500-Anomalie: Bei MATH500 erzielte BO die höchsten Selektionsbelohnungen, aber die niedrigsten Test-Genauigkeiten. Die Autoren führen dies auf Overfitting zurück: Wenn die „Nachbarschaft“ keine genuin besseren Modelle enthält, passt sich die Suche an das Rauschen im Selektionssatz ( $D_{sel}$ ) an, statt an die eigentliche Aufgabe.
- Sättigungsschwelle: Eine Analyse von 200 Kandidaten auf GSM8k-1.5B zeigte, dass die Selektionsbelohnungen selbst dann noch steigen, wenn Validierungs- und Testgenauigkeiten bereits ein Plateau erreicht haben. Die obersten 8 Punkte der Selektionsbelohnung führten zu keiner messbaren Verbesserung auf den Hold-out-Sets, was auf einen Sättigungspunkt hindeutet, an dem das Selektionsziel nicht mehr informativ ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass die surrogat-gestützte Suche die Evaluierungskosten der gradientenfreien Post-Training-Phase erheblich reduzieren kann, während gleichzeitig stärkere deploybare Einzel-Experten erzeugt werden.

Effizienz statt Machbarkeit: Die Arbeit argumentiert, dass die Herausforderung nicht darin besteht, ob gradientenfreie Methoden funktionieren, sondern wie man sie effizient einsetzt. BO bietet einen Mechanismus, um verfügbare Gewinne aus dem Gewichtsraum zu einem Bruchteil des Budgets zu extrahieren, das für das Zufallssampling erforderlich wäre.
Denoising-Effekt: Die Verwendung des GP-Posterior-Mittelwerts für die Selektion liefert eine rauschbereinigte Schätzung der wahren Fitness, was hilft, Kandidaten zu vermeiden, die lediglich auf dem Selektionssatz „Glück hatten“.
Begrenzter Umfang: Die Autoren weisen vorsichtig darauf hin, dass ihre Ergebnisse von dem spezifisch gewählten 64-dimensionalen Slice abhängen. Sie behaupten nicht, dass dieser Unterraum optimal ist, sondern nur, dass BO ihn effizient ausnutzt. Zudem räumen sie ein, dass die Methode keine Gewinne generiert, die durch Sampling nicht erreichbar wären; sie findet sie lediglich schneller. Die Schwierigkeit liegt darin, „gute Regionen“ innerhalb des Unterraums zu lokalisieren, da die Performance je nach Random Seed und Basis-Wahl stark variiert.

Zusammenfassend lässt sich sagen, dass das Paper etabliert, dass die Bayesianische Optimierung – angewandt innerhalb einer niedrigdimensionalen zufälligen Einbettung des Gewichtsraums – eine viable und effiziente Strategie ist, um hochperformante Einzel-Experten in LLMs zu identifizieren. Dies bietet einen Weg zu günstigerem Training und Deployment im Vergleich zu aktuellen ensemble-basierten gradientenfreien Methoden.