🤖 machine learning

Beyond Numerical Features: CNN-Driven Algorithm Selection via Contour Plots for Continuous Black-Box Optimization

Dieser Artikel schlägt eine neuartige per-Instanz-Algorithmusauswahlmethode für die kontinuierliche Black-Box-Optimierung vor, die ein CNN zur Analyse von Konturplot-Visualisierungen abgetasteter Landschaften nutzt, und zeigt, dass dieser bildbasierte Ansatz den einzelnen besten Solver übertrifft und mit traditionellen merkmalsbasierten Methoden konkurrieren kann, ohne auf handgefertigte Deskriptoren zurückzugreifen.

Ursprüngliche Autoren: Yiliang Yuan, Xiang Shi, Mustafa Misir

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yiliang Yuan, Xiang Shi, Mustafa Misir

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, den perfekten Kuchen zu backen. Sie haben eine riesige Speisekammer voller verschiedener Rezepte (Algorithmen), wissen aber nicht, welches davon für die spezifischen Zutaten am besten funktioniert, die Sie heute vor sich haben. Manche Rezepte funktionieren hervorragend mit Mehl und Eiern, während andere besser für Schokolade und Nüsse geeignet sind.

In der Welt der Informatik nennt man dies kontinuierliche Black-Box-Optimierung. Sie haben eine „Black Box" (ein komplexes Problem), bei der Sie nur das Ergebnis schmecken können (eine Bewertung erhalten), aber das Rezept im Inneren nicht sehen können. Das Ziel ist es, den besten „Solver" (Rezept) für das spezifische Problem auszuwählen, mit dem Sie konfrontiert sind.

Der alte Weg: Eine Liste von Zahlen lesen

Traditionell versuchten Computer, dies zu lösen, indem sie einige Stichproben des Problems entnahmen und diese in eine lange Liste von Zahlen umwandelten (wie „es ist wellig", „es ist gekrümmt", „es ist spitz"). Diese werden als numerische Merkmale bezeichnet. Es ist, als würde man versuchen, eine Bergkette zu beschreiben, indem man nur eine Liste ihrer durchschnittlichen Höhe, Steigung und Temperatur liest. Es liefert Ihnen Daten, aber es verpasst das große Ganze.

Der neue Weg: Eine Karte betrachten

Dieser Artikel schlägt einen einfacheren, visuelleren Ansatz vor. Anstatt das Problem in eine Liste von Zahlen zu verwandeln, verwandeln die Autoren es in ein Bild.

Stellen Sie sich das Problem als eine hügelige Landschaft vor. Die Autoren nehmen eine „Sonde" (eine Reihe von Messungen) und zeichnen eine Höhenlinienkarte dieser Landschaft, genau wie eine Wanderkarte, die Gipfel und Täler zeigt.

Die Eingabe: Sie generieren diese Karten mithilfe eines Gitters aus 300x300 Punkten.
Das Gehirn: Sie füttern diese Bilder in ein CNN (Convolutional Neural Network). Man kann sich ein CNN als einen superklugen Roboter vorstellen, der sehr gut darin ist, Bilder zu betrachten und Muster zu erkennen, genau so, wie Ihr Gehirn ein Gesicht in einer Menschenmenge erkennt.

Wie es funktioniert

Das Setup: Sie haben ein Portfolio von 12 verschiedenen „Solver"-Algorithmen (die 12 Rezepte).
Die Ansicht: Für jedes neue Problem generieren sie ein paar verschiedene „Ansichten" (Höhenlinienkarten) der Landschaft.
- Für 2D-Probleme: Sie sehen die gesamte Karte.
- Für komplexe 3D+-Probleme: Sie nehmen einen „Schnitt" durch den hochdimensionalen Raum, um ein 2D-Bild zu erstellen, ähnlich wie man einen Laib Brot schneidet, um die Textur im Inneren zu sehen.
Die Vorhersage: Das CNN betrachtet diese Bilder und sagt voraus: „Wenn ich Rezept A verwende, erhalte ich eine Bewertung von X. Wenn ich Rezept B verwende, erhalte ich eine Bewertung von Y."
Die Wahl: Das System wählt das Rezept aus, von dem vorhergesagt wird, dass es die beste Bewertung liefert.

Was sie fanden

Die Forscher testeten dies an einem Standardset schwieriger mathematischer Probleme (genannt BBOB).

Das „Ein-Rezept-für-alles" schlagen: Sie verglichen ihr visuelles System mit dem „Single Best Solver" (SBS) – was einfach bedeutet, das eine beste Rezept auszuwählen, das im Durchschnitt für alles funktioniert. Ihr visuelles System schlug den SBS, indem es viel häufiger das richtige Werkzeug für die spezifische Aufgabe fand.
Mit den Experten konkurrieren: Sie verglichen es auch mit den alten „Liste von Zahlen"-Methoden (ELA und Deep-ELA). Ihre bildbasierte Methode funktionierte genauso gut und manchmal sogar besser, insbesondere bei Problemen mittlerer Schwierigkeit.
Die Auflösung ist wichtig: Sie stellten fest, dass das Betrachten eines Bildes mit höherer Auflösung (300x300 Pixel) dem Roboter half, bessere Entscheidungen zu treffen als ein unscharfes, niedrig aufgelöstes Bild (64x64 Pixel), obwohl dies etwas mehr Rechenleistung zur Verarbeitung benötigte.

Die Grenzen (Das „Kleingedruckte")

Die Autoren sind ehrlich darüber, wo diese Methode ihre Grenzen hat:

Die Kartenerstellung ist etwas teuer: Das Erstellen dieser hochwertigen Bilder erfordert viel initiales „Probieren" (Berechnungen). Sie geben zu, dass dies großartig für die Offline-Planung ist (wo Sie Zeit zur Vorbereitung haben), aber möglicherweise zu langsam für Echtzeit-Entscheidungen im Bruchteil einer Sekunde ist.
Das „Schnitt"-Problem: Bei sehr komplexen, hochdimensionalen Problemen könnte ein einzelner 2D-Schnitt der Karte einige versteckte Details übersehen, weshalb es bei den absolut schwierigsten Problemen nicht gewann.
Spezifisch für diesen Test: Sie testeten dies an einem spezifischen Satz von Problemen und einer spezifischen Liste von 12 Solvern. Es ist ein Beweis dafür, dass „Bilder funktionieren", aber es wurde noch nicht an jedem möglichen Problemtyp der Welt getestet.

Das Fazit

Dieser Artikel zeigt, dass man ein komplexes Problem nicht immer in eine langweilige Liste von Zahlen verwandeln muss, um es zu lösen. Manchmal ermöglicht es dem Computer, einfach das Problem als Bild zu zeigen, die Struktur der Landschaft zu „sehen" und das perfekte Werkzeug für die Aufgabe auszuwählen, wobei es oft die alten, zahlenlastigen Methoden übertrifft.

Technischer Zusammenfassung: CNN-gesteuerte Algorithmusauswahl mittels Höhenlinienplots

Problemstellung
Kontinuierliche Black-Box-Optimierung (BBO) umfasst die Minimierung oder Maximierung von Zielfunktionen, bei denen keine Gradienteninformationen verfügbar sind und sich die Verfahren ausschließlich auf Funktionsauswertungen stützen. Obwohl derivativefreie Solver (z. B. CMA-ES-Varianten) gut abschneiden, schreibt das No-Free-Lunch-Theorem vor, dass kein einzelner Algorithmus universell gegenüber allen anderen über alle Probleminstanzen hinweg überlegen ist. Folglich zielt die Automatisierte Algorithmusauswahl (AAS) darauf ab, für eine spezifische Probleminstanz den am besten geeigneten Solver aus einem festen Portfolio auszuwählen.

Bestehende AAS-Ansätze in der kontinuierlichen BBO stützen sich überwiegend auf die Explorative Landschaftsanalyse (ELA), die numerische Merkmalsvektoren (z. B. Krümmung, Separierbarkeit) aus abgetasteten Auswertungen konstruiert, oder auf Deep-ELA, das gelernte Einbettungen aus vortrainierten Transformern verwendet. Die Autoren argumentieren, dass diese numerischen Deskriptoren möglicherweise die in visualisierten Landschaften offensichtliche räumliche Struktur nicht erfassen können. Während CNN-basierte AAS in diskreten Domänen mit direkten Instanzkodierungen untersucht wurde, ist ihre Anwendung auf kontinuierliche BBO – bei der Repräsentationen durch Abtastung konstruiert werden müssen – noch wenig erforscht.

Methodik
Der Artikel schlägt einen repräsentationsgesteuerten AAS-Ansatz vor, der abgetastete Landschaften als Bilder und nicht als numerische Vektoren behandelt.

Instanzrepräsentation (Höhenlinienplots):
- Einzelzieloptimierung (SOO): Jede Probleminstanz wird als 2D-Grayscale-Höhenlinienkarte dargestellt, indem die Zielfunktion auf einem festen $300 \times 300$ -Gitter ausgewertet wird. Für Dimensionen $d > 2$ wird ein 2D-Schnitt erstellt, indem zwei Koordinaten zufällig ausgewählt werden, um einen Unterraum zu spannen, während die anderen auf Null gesetzt werden (unter Ausnutzung des symmetrischen Bereichs von BBOB).
- Multi-Objektiv-Optimierung (MOO): Für bi-objektive Probleme ( $d=2, m=2$ ) wird eine Sub-Kontur-Abtaststrategie verwendet. Fünf achsenparallele rechteckige Fenster werden innerhalb des Bereichs für jedes Ziel abgetastet, um mehrere Ansichten zu generieren und die Abhängigkeit von einer einzigen globalen Darstellung zu verringern.
- Eingabevarianten: Um die Eingabetreue zu untersuchen, werden die Plots auf Auflösungen $r \in \{64, 128, 300\}$ skaliert.
CNN-Architekturen:
Zwei Modellvarianten werden vorgeschlagen, um die relative Leistung (Erwartete Laufzeit für SOO, relativer Hypervolumen für MOO) von Algorithmen in einem Portfolio vorherzusagen:
- Kombiniertes Modell: Die fünf instanzspezifischen Ansichten (oder Fenstersamples) werden entlang der Kanäldimension gestapelt und direkt in einen CNN-Encoder eingespeist.
- Getrenntes Modell: Jede Ansicht wird individuell von einem Encoder mit gemeinsamen Gewichten verarbeitet, und die resultierenden Merkmalsvektoren werden vor dem Weitergeben an einen Regressionskopf konkateniert.
- SOO-Architektur: Ein CNN-Encoder mit drei Schichten.
- MOO-Architektur: Ein ResNet-18-Encoder aufgrund höherer Repräsentationsanforderungen.
Auswahlmechanismus:
Das Modell sagt die Leistungsmetrik (z. B. relative ERT) für jeden Algorithmus im Portfolio voraus. Der Solver mit dem besten vorhergesagten Wert (minimale ERT oder maximales HV) wird ausgewählt.

Hauptbeiträge

Abtastungsbasierte Bildrepräsentation: Die Autoren führen eine neuartige AAS-Formulierung für kontinuierliche BBO ein, die Höhenlinienkarten abgetasteter Landschaften als Instanzrepräsentationen verwendet und damit die Notwendigkeit handgefertigter ELA-Merkmale eliminiert.
Empirische Evaluation: Die Studie bietet eine umfassende Analyse an Standard-BBOB-2009-Einzelziel-Benchmarks und einer bi-objektiven Einstellung gemäß dem Deep-ELA-Protokoll. Sie analysiert die Effekte der Ansichtsaggregation (Kombiniert vs. Getrennt) und der Eingabeauflösung.
Leistungsbenchmarking: Die Arbeit positioniert die konturbasierte Auswahl gegenüber etablierten merkmalsbasierten Baselines (ELA mit MLP/RF und Deep-ELA-Varianten).

Experimentelle Ergebnisse

Einzelzieloptimierung (SOO):
- Auf dem BBOB-2009-Benchmark (96 Konfigurationen) übertraf das kombinierte CNN mit einer Eingabeauflösung von $300 \times 300$ den Single Best Solver (SBS) signifikant und reduzierte die mittlere relative ERT von 30,37 (SBS) auf 5,60.
- Der CNN-Ansatz war mit den stärksten merkmalsbasierten Baselines konkurrenzfähig (ELA-MLP: 5,72; Deep-ELA Medium-kNN: 6,04).
- Die Leistung verbesserte sich im Allgemeinen mit höherer Eingabeauflösung ( $r=300$ ), was jedoch die Trainingskosten erhöhte.
- Die Methode zeigte starke Gewinne bei Funktionsgruppen F1–F19, während die Leistung bei der schwierigsten Gruppe (F20–F24) im Vergleich zu merkmalsbasierten Methoden gemischt blieb.
Multi-Objektiv-Optimierung (MOO):
- Unter dem Deep-ELA-Evaluierungssetting waren CNN-basierte Selektoren mit Deep-ELA-Baselines konkurrenzfähig.
- Das getrennte CNN erzielte die besten mittleren relativen HV-Werte (0,971–0,974) und übertraf Deep-ELA-Varianten (0,904).
- Die Methode war insbesondere bei ZDT-Instanzen effektiv (Erzielung nahezu perfekter Werte), während die Ergebnisse bei DTLZ und MMF stark waren, aber leicht unter den besten Deep-ELA-Einstellungen lagen.

Bedeutung und Behauptungen
Der Artikel behauptet, dass einfache Vision-Modelle die räumliche Struktur abgetasteter Landschaften für die Algorithmusauswahl nutzen können, ohne auf handgefertigte ELA-Merkmale angewiesen zu sein. Die Ergebnisse deuten darauf hin, dass Höhenlinienplots ausreichende Signale enthalten, um eine effektive AAS in der kontinuierlichen BBO anzutreiben, und bieten eine komplementäre Repräsentation zu numerischen Deskriptoren.

Limitationen und Umfang
Die Autoren weisen explizit auf mehrere Einschränkungen hin:

Abtastbudget: Der aktuelle Ansatz erfordert ein beträchtliches Abtastbudget (fünf $300 \times 300$ -Karten pro Konfiguration), was ihn für Offline-Analysen geeignet macht, aber nicht für strikte Low-Budget-Online-Einsätze.
Darstellung in hohen Dimensionen: Für $d > 2$ ist die 2D-Schnitt-Repräsentation nur ein partieller Blick auf die Landschaft, was möglicherweise zu schwächerer Leistung bei den schwierigsten Funktionsgruppen beiträgt.
Feste Protokolle: Die Evaluation ist an spezifische Portfolios und Protokolle gebunden (einschließlich Fensterabtastung für MOO), und die MOO-Studie ist auf $d=2, m=2$ beschränkt.

Die Arbeit wird als Proof-of-Concept präsentiert, das die Machbarkeit bildbasierter Repräsentationen demonstriert, wobei zukünftige Richtungen auf kostensensitives Abtasten, Multi-View-Designs und hybride visuell-numerische Merkmale abzielen.