🤖 machine learning

Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning

Dieses Paper schlägt SEEMOO vor, ein durch Reinforcement Learning unterstütztes Ensemble-Framework, das ein Deep Q-Network nutzt, um Surrogatmodelle innerhalb eines einzigen Optimierungsprozesses dynamisch auszuwählen und zu planen, wodurch die Leistung bei teuren Multi-Objective-Optimierungsproblemen durch die Eliminierung menschlicher Voreingenommenheit bei der Modellauswahl gesteigert wird.

Ursprüngliche Autoren: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das perfekte Rezept für ein komplexes Gericht zu finden, aber das Probieren des Essens ist unglaublich teuer und zeitaufwendig. Sie haben nur genug Zutaten für 550 Geschmackstests, bevor Ihnen die Ressourcen ausgehen. Dies ist die Herausforderung der teuren Multi-Objective-Optimierung: das beste Gleichgewicht zwischen mehreren gegensätzlichen Zielen (wie Geschmack, Kosten und Gesundheit) zu finden, wenn man es sich nicht leisten kann, jede Möglichkeit zu testen.

Normalerweise verwenden Wissenschaftler einen „Surrogat“ (eine günstige, schnelle Schätzung), um vorherzusagen, wie ein Rezept schmecken wird, bevor sie es tatsächlich kochen. Es gibt jedoch ein Problem: Verschiedene Surrogate sind gut darin, unterschiedliche Dinge vorherzusagen. Eines könnte hervorragend darin sein, süße Aromen vorherzusagen, aber schrecklich bei scharfen Aromen. Traditionell muss ein menschlicher Experte einen Surrogat auswählen, der für den gesamten Prozess verwendet wird. Wenn er den falschen wählt, scheitert die gesamte Suche.

Hier kommt SEEMOO ins Spiel: Betrachten Sie SEEMO als einen intelligenten, lernenden Sous-Chef, der nicht nur ein Werkzeug auswählt, sondern ein ganzes Werkzeugset verwaltet.

So funktioniert SEEMOO, unterteilt in einfache Konzepte:

1. Das Werkzeugset (Der Modell-Pool)

Anstatt sich auf einen einzelnen Schätzer zu verlassen, bewahrt SEEMOO einen „Pool“ aus fünf verschiedenen Surrogaten (wie einem Gauß-Prozess, einigen Arten von Neuronalen Netzen und anderen) auf. Jedes davon hat eine andere Art der Schätzung. Einige sind gut darin, glatte, einfache Trends vorherzusagen; andere sind gut darin, komplexe, gezackte Muster vorherzusagen.

2. Der intelligente Manager (Der Deep Q-Learning Agent)

Dies ist das Gehirn des Betriebs. Stellen Sie sich einen Manager vor, der den Kochprozess in Echtzeit beobachtet.

Der Zustand (Was er sieht): Der Manager blickt auf ein Dashboard, das zeigt, wie die Suche voranschreitet. Kommen wir dem Ziel näher? Wird die Population der Rezepte ein ähnlicher? Wie genau waren die letzten paar Schätzungen?
Die Aktion (Was er tut): Basierend auf dem, was er sieht, wählt der Manager das beste Werkzeug aus dem Werkzeugset für den nächsten Schritt. Wenn die Suche in einem komplexen Bereich feststeckt, wechselt er vielleicht zu einem Werkzeug, das gut mit Komplexität umgehen kann. Wenn die Verläufe glatt sind, wechselt er vielleicht zu einem schnelleren, einfacheren Werkzeug.
Das Lernen (Die Belohnung): Nachdem der Manager eine Entscheidung getroffen hat, testet das System einige echte Rezepte. Wenn die neuen Schätzungen zu besseren Ergebnissen führen, erhält der Manager eine „positive Belohnung“ (wie einen goldenen Stern). Wenn die Schätzungen schlecht waren, erhält er eine negative Belohnung. Mit der Zeit lernt der Manager genau, welches Werkzeug er in welcher Situation verwenden muss, um die besten Ergebnisse mit den wenigsten Geschmackstests zu erzielen.

3. Der Prozess (Der Arbeitsablauf)

Das Paper beschreibt einen Tanz auf zwei Ebenen:

Die untere Ebene (Der Koch): Der Hauptalgorithmus (NSGA-II) versucht, bessere Lösungen unter Verwendung der vorhergesagten Werte eines gewählten Surrogats zu entwickeln. Er verschwendet noch keine teuren echten Tests.
Die obere Ebene (Der Manager): Der KI-Manager beobachtet den Koch, wählt den besten Surrogat für die nächste Runde aus und lernt aus den Ergebnissen.

Warum ist das besser?

Das Paper behauptet, dass menschliche Experten oft voreingenommene Entscheidungen treffen, indem sie ein Werkzeug wählen, das gut für ihr spezifisches Problem funktioniert, aber bei anderen versagt. SEEMOO entfernt diese menschliche Voreingenommenheit. Es lernt eine „universelle“ Strategie.

Die Analogie: Stellen Sie sich einen menschlichen Chef vor, der immer einen Hammer benutzt, um alles zu reparieren. Wenn er auf eine Schraube stößt, scheitert er. SEEMOO ist wie ein Koch, der lernt, auf das Problem zu schauen, zu erkennen, dass es eine Schraube ist, und sofort einen Schraubendreher zu greifen. Wenn es ein Nagel ist, greift er den Hammer. Er hält nicht nur an einem Werkzeug fest; er passt sich dynamisch an.

Die Ergebnisse

Die Forscher haben dies an 24 verschiedenen komplexen „Rezepten“ (mathematischen Problemen) getestet.

Leistung: SEEMOO fand konsistent bessere Lösungen als die Verwendung eines einzelnen Werkzeugs allein.
Generalisierung: Selbst als die KI auf einem kleinen Satz von Problemen trainiert und dann auf völlig neuen, unbekannten Problemen getestet wurde, schnitt sie immer noch gut ab. Sie hat nicht nur die Antworten auswendig gelernt; sie hat gelernt, wie man Werkzeuge auswählt.
Ablationsstudien: Wenn die Forscher Teile des Systems entfernten (wie den „intelligenten Manager“ oder das Entfernen eines der Werkzeuge aus dem Werkzeugset), sank die Leistung. Dies bewies, dass sowohl die Vielfalt der Werkzeuge als auch die Fähigkeit der KI, zwischen ihnen zu wechseln, essenziell sind.

Kurz gesagt: SEEMOO ist ein System, das Künstliche Intelligenz nutzt, um als dynamischer Manager zu fungieren, der ständig zwischen verschiedenen Vorhersagemodellen wechselt, um komplexe, teure Probleme effizienter zu lösen, als es ein einzelnes Modell allein könnte.

Technisches Resümee: SEEMOO – Surrogate-Ensemble in der teuren Multi-Objective-Optimierung mittels Deep Q-Learning

Problemstellung

Teure Multi-Objective-Optimierungsprobleme (EMOO), die in komplexen Ingenieurs- und Designszenarien häufig vorkommen, beinhalten Zielfunktionen, die kostspielige Simulationen oder physische Experimente erfordern. Traditionelle evolutionäre Multi-Objective-Algorithmen (MOEAs) wie NSGA-II und MOEA/D haben in diesen Kontexten Schwierigkeiten, da die Kosten für Funktionsauswertungen prohibitiv hoch sind. Surrogate-gestützte evolutionäre Algorithmen (SAEAs) mildern dies durch den Einsatz leichtgewichtiger Modelle (z. B. Gauß-Prozesse, Radial Basis Functions) zur Approximation von Zielen ab, doch ihre Effektivität hängt stark von der Strategie des Surrogate-Managements ab.

Bestehende SAEAs verlassen sich überwiegend auf statische, vom Menschen definierte Surrogatmodelle oder feste Ensemble-Schemata. Dies führt zu einer starken Designer-Bias, was die Generalisierbarkeit und Robustheit des Algorithmus einschränkt, wenn dieser auf Aufgaben außerhalb des ursprünglichen Fokus oder auf Probleme mit variierenden Landschaftskomplexitäten angewendet wird. Darüber hinaus bleibt die Integration von Meta-Black-Box-Optimierungstechniken (MetaBBO), insbesondere Reinforcement Learning (RL), in den Prozess der Surrogatauswahl für Multi-Objective-Probleme im Vergleich zu Single-Objective-Domänen weitgehend unerforscht.

Methodik: Das SEEMOO-Framework

Um diese Einschränkungen zu adressieren, schlagen die Autoren SEEMOO vor, ein durch Reinforcement Learning unterstütztes Surrogate-Ensemble-Framework. SEEMOO operiert innerhalb einer bi-level Struktur, die den Optimierungsprozess als sequenzielles Entscheidungsproblem behandelt, bei dem ein Meta-Level-RL-Agent dynamisch Surrogatmodelle für einen Low-Level-evolutionären Optimierer plant.

1. Low-Level-Optimierer

Der Basisoptimierer ist ein Surrogat-gestütztes NSGA-II. Der Prozess umfasst:

Initialisierung: Erzeugung einer initialen Population mittels Latin Hypercube Sampling (LHS) und Auswertung dieser mittels echter Zielfunktionen.
Evolution: In jedem Schritt wird ein ausgewähltes Surrogatmodell auf der aktuellen Datenbank trainiert, um die Zielwerte vorherzusagen. Die Population entwickelt sich unter Verwendung dieser Vorhersagen (via Tournament-Selektion, Crossover und Mutation), ohne dass echte Auswertungskosten anfallen.
Infilling: Eine Batch von vielversprechenden Kandidaten wird für die wahre Auswertung ausgewählt. Diese neuen Stichproben aktualisieren die Trainingsdatenbank und das externe Archiv der nicht-dominierten Lösungen.

2. Meta-Level-RL-Design

Die Kerninnovation liegt in der dynamischen Auswahl des Surrogatmodells in jedem Optimierungsschritt mittels eines Deep Q-Networks (DQN).

Zustandsraum ( $s_t$ ): Um Probleme mit variierenden Anzahlen von Zielen zu handhaben, wird ein auf Attention basierender State-Extraktor eingesetzt. Für jedes Kandidatenmodell im Pool wird ein 8-dimensionaler Feature-Vektor konstruiert, der Folgendes erfasst:
- Nutzungshistorie (kumulative Nutzung, jüngste Häufigkeit).
- Leistungsmetriken (IGD-basierte Verbesserung, globale schrittweise Verbesserung).
- Konvergenzdynamik (Änderungen der Dichte im Entscheidungsraum und Zielfunktionsraum).
- Modellspezifische Genauigkeit (Variation des Surrogatfehlers).
- Suchfortschritt (Schrittverhältnis).
  Diese Features werden durch eine gemeinsame lineare Schicht und einen Multi-Head-Attention-Mechanismus verarbeitet, um die Beziehungen zwischen den Surrogaten zu erfassen, gefolgt von einer Layer-Normalisierung.
Aktionsraum: Der Agent wählt eine Aktion aus einem Pool von fünf verschiedenen Surrogatmodellen:
- Gauß-Prozesse (GP)
- Multi-Layer Perceptrons (MLP1: geringes Budget, MLP2: hohes Budget)
- K-Nächste Nachbarn (KNN)
- Radial Basis Function Networks (RBFN)
Belohnungsfunktion: Die Belohnung ( $r_t$ ) leitet sich aus der normalisierten Verbesserung der Inverted Generational Distance (IGD) des externen Archivs zwischen aufeinanderfolgenden Schritten ab. Dies liefert ein dichtes, kontinuierliches Signal, das Aktionen begünstigt, welche die Approximation der Pareto-Front verbessern.
Training: Der DQN wird über eine Verteilung von Benchmark-Problemen trainiert. Der Agent lernt eine Policy, um den aktuellen Optimierungszustand auf das am besten geeignete Surrogatmodell abzubilden und so die langfristige Optimierungsleistung zu maximieren.

Wesentliche Beiträge

SEEMOO-Framework: Der Vorschlag eines RL-gestützten Frameworks, das eine dynamische Planung von Surrogatmodellen unter begrenzten Auswertungsbudgets für die teure Multi-Objective-Optimierung ermöglicht.
Adaptive Architektur: Die Integration eines diversen Surrogatmodell-Pools, eines Attention-basierten State-Extraktors für eine universelle Problemrepräsentation (Unterstützung variierender Zielzahlen) und eines DQN-basierten Selektors, der adaptiv das beste Modell an jedem Schritt wählt.
Empirische Validierung: Umfassende Vergleichsstudien und Ablationsanalysen innerhalb des NSGA-II-Frameworks, die zeigen, dass SEEMOO verschiedene statische Einzel-Surrogatmodelle übertrifft und die Notwendigkeit seiner Kernkomponenten validiert.

Experimentelle Ergebnisse

Das Framework wurde auf einer Benchmark-Suite von 24 Multi-Objective-Problemen (ZDT, DTLZ, WFG, OmniTest, Kursawe) mit Entscheidungsvariablen von 2 bis 80 und bis zu 5 Zielen evaluiert.

Leistung: SEEMOO zeigte eine generell überlegene Leistung gegenüber den Familien ZDT, DTLZ und WFG im Vergleich zu fünf statischen Baseline-Modellen (GP, MLP1, MLP2, KNN, RBFN). Es erreichte bemerkenswerte IGD-Reduktionen, insbesondere bei komplexen multimodalen Instanzen.
Generalisierung: Experimente unter zwei Daten-Partitionierungs-Einstellungen (3:1 und 1:3 Trainings-zu-Test-Verhältnis) zeigten, dass SE-EMOO auch dann eine stabile Leistung beibehält, wenn es auf einer begrenzten Teilmenge von Problemen trainiert und auf ungesehenen Domänen getestet wird. Dies deutet darauf hin, dass die gelernte Meta-Policy invariante Optimierungszustands-Features erfasst und nicht spezifische Instanzen auswendig lernt.
Ablationsstudien:
- Surrogat-Pool: Das Entfernen eines spezifischen Surrogatmodells (z. B. GP, MLPs, KNN, RBFN) verschlechterte die Leistung konsistent, was bestätigt, dass ein heterogener Pool komplementäre Informationen liefert, die für die Scheduling-Policy essenziell sind.
- Belohnungsdesign: Die IGD-basierte Belohnung übertraf sowohl binäre Belohnungen (spärliches Feedback) als auch Hypervolume (HV)-basierte Belohnungen, was darauf hindeutet, dass dichtes, glatt variierendes Feedback entscheidend für effektives Meta-Learning ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass SEEMOO die Lücke zwischen statischem Surrogat-Management und den dynamischen Anforderungen komplexer Optimierungslandschaften effektiv schließt. Durch die Automatisierung des Surrogatauswahlprozesses mittels einer lerngetriebenen Policy reduziert das Framework den Bias des menschlichen Designers und erhöht die Adaptivität.

Die Autoren positionieren SEEMOO als vielversprechenden Weg für die Meta-Black-Box-Optimierung und zeigen auf, dass die Modellierung des Surrogat-Managements als Meta-RL-Aufgabe die Einschränkungen statischer Ensemble-Designs überwinden kann. Die Arbeit validiert, dass dynamisches Scheduling die Effizienz der Optimierung in Szenarien steigern kann, in denen die Auswertungsbudgets streng begrenzt sind. Als zukünftige Arbeiten werden die Erweiterung des Surrogat-Pools, die Integration in verschiedene MOEA-Architekturen und die Validierung des Frameworks auf realen Ingenieursaufgaben identifiziert.