🤖 machine learning

ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion

ParetoPilot ist ein neuartiges Zero-Surrogate-Diffusionsframework für die offline-basierte Multi-Objective-Optimierung, das den Bedarf an externen Surrogatmodellen eliminiert, indem es eine Infer-Perturb-Guide-Engine in den Denoising-Prozess einbettet, um die Generierung dynamisch in Richtung diverser Pareto-optimaler Lösungen zu steuern.

Ursprüngliche Autoren: Ruiqing Sun, Sen Yang, Dawei Feng, Bo Ding, Yijie Wang, Huaimin Wang

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruiqing Sun, Sen Yang, Dawei Feng, Bo Ding, Yijie Wang, Huaimin Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein neues, perfektes Rezept zu erfinden. Sie besitzen ein riesiges, altes Kochbuch (Ihren statischen Datensatz) mit tausenden existierenden Rezepten und deren Bewertungen. Sie ist jedoch verboten, neue Gerichte während des Kochens zu probieren (keine Online-Interaktionen); Sie können nur in das alte Buch schauen. Ihr Ziel ist es, eine neue Gruppe von Rezepten zu kreieren, die „Pareto-optimal“ sind – das heißt, die bestmögliche Balance zwischen gegensätzlichen Zielen bieten, wie etwa „leckerst“ vs. „billigsten“ oder „gesündesten“ vs. „schnellsten“.

Das Problem ist, dass das alte Buch nicht das perfekte Rezept enthält, das Sie sich vorstellen. Sie müssen erraten, wie es aussehen würde.

Der alte Weg: Einen fehlerhaften Berater engagieren

Die meisten bisherigen Methoden versuchten dies zu lösen, indem sie einen „Berater“ (ein Surrogat-Modell) engagierten.

Sie trainieren diesen Berater darauf, zu erraten, wie gut ein neues Rezept wäre, basierend auf dem alten Buch.
Sie bitten den Berater, Ihr Kochen zu leiten.

Der Haken:

Kostspielig: Das Trainieren eines neuen Beraters für jedes neue Ziel ist teuer und langsam.
Täuschend: Wenn Sie den Berater nach einem wilden, verrückten Rezept fragen, das nicht wie etwas im alten Buch aussieht, erfindet der Berater oft einen falschen Wert. Er sagt vielleicht: „Diese verrückte Suppe ist fantastisch!“, obwohl sie eigentlich Müll ist. Dies führt dazu, dass Sie Zeit mit schlechten Ideen verschwenden.
Datenschutz: Manchmal dürfen Sie dem Berater das alte Buch aufgrund von Datenschutzregeln gar nicht erst zeigen.

Der neue Weg: ParetoPilot (Der „selbststeuernde“ Koch)

Die Autoren schlagen ParetoPilot vor, eine Methode, die keinen Berater benötigt. Stattdessen nutzt sie die „Intuition“, die bereits in einem vortrainierten KI-Koch (einem Diffusionsmodell) eingebaut ist.

Betrachten Sie das Diffusionsmodell als einen Koch, der das alte Kochbuch so gut auswendig gelernt hat, dass er jedes Gericht daraus reproduzieren kann. Normalerweise reproduziert dieser Koch Gerichte exakt so, wie sie waren. ParetoPilot lehrt diesen Koch, wie er die alten Rezepte verbessern kann, ohne ein neues Handbuch zu konsultieren.

Dies geschieht durch eine drei-stufige Engine namens IPG (Infer-Perturb-Guide):

1. INFER: Den „Nordstern“ finden

Stellen Sie sich vor, der Koch hält eine verschwommene, verrauschte Version eines Rezepts in der Hand.

Der Koch fragt: „Wenn ich dies exakt so mache (unbedingt), wie würde es schmecken?“
Dann fragt der Koch: „Wenn ich dies leicht anpasse, um es etwas besser zu machen (bedingt), wie würde es schmecken?“
Durch den Vergleich dieser beiden Vermutungen findet der Koch die momentane Richtung, um das Gericht zu verbessern. Es ist, als würde man den Wind fühlen, um zu wissen, in welche Richtung man segeln muss, ohne eine Karte zu benötigen.

2. PERTURB: Der Tanz von „Gravitation und Abstoßung“

Nun muss der Koch entscheiden, wie er sich genau bewegen soll. Er braucht zwei Dinge:

Konvergenz (Gravitation): Eine Kraft, die alle neuen Rezepte in Richtung der „bestmöglichen“ Zone zieht (die Pareto-Front). Stellen Sie sich eine sanfte Gravitation vor, die alle zum Zentrum der Exzellenz zieht.
Diversität (Abstoßung): Eine Kraft, die die Rezepte voneinander wegdrückt, damit sie nicht alle gleich aussehen. Stellen Sie sich eine „persönliche Distanz“-Kraft vor, die die Rezepte voneinander wegdrückt, damit Sie eine breite Vielfalt an Optionen erhalten und nicht nur ein einziges perfektes Gericht.

Der magische Trick: Die Autoren nutzen einen mathematischen Schritt (Gram-Schmidt-Orthogonalisierung), um sicherzustellen, dass diese beiden Kräfte nicht gegeneinander kämpfen. Es ist, als würde man der „Gravitation“ und der „Abstoßung“ sagen, sie sollen sich im rechten Winkel zueinander bewegen, damit man gleichzeitig bessere Gerichte und mehr Vielfalt erhält, ohne dass es den Prozess verlangsamt.

3. GUIDE: Das Schiff steuern

Schließlich nutzt der Koch diese berechneten Richtungen, um den Kochprozess zu beeinflen. Sie verwenden eine Standardtechnik namens Classifier-Free Guidance (CFG) – denken Sie an ein Lenkrad – um den Generierungsprozess sanft in Richtung dieser neuen, besseren und vielfältigeren Rezepte zu lenken.

Warum es eine große Sache ist

Kein zusätzliches Training: Sie müssen keinen neuen Berater trainieren. Sie nutzen einfach die KI, die Sie bereits haben.
Keine falschen Werte: Da die KI das Rezept direkt aus ihrer Erinnerung an valide Daten generiert, wird sie nicht versehentlich „Unsinn“-Gerichte (wie ein Molekül, das nicht existieren kann, oder einen defekten Computerchip) erstellen und dann einen falschen hohen Wert dafür angeben. Sie bleibt auf dem „validen Pfad“.
Datenschutzfreundlich: Da sie keine Originaldaten benötigt, um einen neuen Guide zu trainieren, funktioniert es auch dann, wenn Daten streng geschützt sind.

Die Ergebnisse

Die Autoren testeten dies bei 51 verschiedenen Aufgaben, die von der Konstruktion von Molekülen bis hin zur Optimierung von Computerchips reichten.

Der Gewinner: ParetoPilot schlug 14 andere Top-Methoden.
Das Geheimnis: Es bewältigte komplexe, ungewöhnliche Aufgaben (wie Chemie oder Architektur) viel besser als die „Berater“-Methoden, die oft verwirrt waren und unmögliche Designs vorschlugen.

Kurz gesagt: ParetoPilot ist ein Weg, eine intelligente KI, die viel über alte Daten weiß, dazu zu bringen, selbstständig neue, bessere und vielfältigere Lösungen zu erfinden, ohne eine zweite KI zu benötigen, die ihr sagt, was sie tun soll. Es ist, als würde man einem Koch einen Kompass und einen Stoß geben, statt eines vollständigen Menüs mit Anweisungen.

Technisches Resümee: ParetoPilot

Problemstellung

Offline Multi-Objective Optimization (Offline MOO) zielt darauf ab, neuartige Pareto-optimale Designs unter Verwendung ausschließlich statischer, vorab gesammelter Datensätze zu entdecken, um teure Interaktionen mit einer Online-Umgebung zu vermeiden. Dies ist entscheidend in Domänen wie der Wirkstoffforschung, dem Materialdesign oder der Hardware-Architektursuche, in denen Funktionsbewertungen kostspielig oder eingeschränkt sind.

Die zentrale Herausforderung besteht darin, gleichzeitig Konvergenz (das Drängen von Lösungen in Richtung der unobservierten wahren Pareto-Front) und Diversität (die Gewährleistung einer breiten Abdeckung über den gesamten objektiven Trade-off-Raum) zu erreichen. Aktuelle State-of-the-Art-Ansätze verlassen sich überwiegend auf externe Surrogatmodelle (z. B. Proxy-Regressoren oder Präferenzklassifikatoren), um generative Prozesse zu steuern. Diese Abhängigkeit führt zu drei signifikanten Engpässen:

Rechenaufwand: Das Training separater Surrogate für jedes Ziel erfordert umfangreiches Hyperparameter-Tuning und Ressourcen.
Unzuverlässige Extrapolation: Externe Proxies erzeugen oft täuschende Scores für Out-of-Distribution (OOD)-Designs, was zu Manifold-Kollaps und ungültigen Lösungen führt.
Datenschutz- und Deployment-Beschränkungen: Das Training aufgabenspezifischer Proxies erfordert kontinuierlichen Zugriff auf den ursprünglichen Offline-Datensatz, was das Paradigma von Foundation Models verletzt, die lediglich als Gewichte bereitgestellt werden, und im Konflikt mit strengen Datenschutzbestimmungen steht.

Methodik: ParetoPilot und die IPG-Engine

Die Autoren schlagen ParetoPilot vor, ein Zero-Surrogate-Diffusionsframework, das den Bedarf an externen Hilfsmodellen eliminiert. Stattdessen nutzt es die inhärenten bedingten Priors, die in einem vortrainierten bedingten Diffusionsmodell eingebettet sind. Das Framework operiert durch das Verschachteln einer neuartigen Infer-Perturb-Guide (IPG)-Engine innerhalb der unbedingten Denoising-Schritte des reversen Generierungsprozesses.

Die IPG-Engine führt drei sequentielle Operationen in spezifischen Intervallen während des Diffusionsprozesses aus:

1. Infer: Implizite Manifold-Verankerung

Anstatt einen externen Regressor zu verwenden, inferiert das Framework implizit die instantane Zielrichtung ( $y^*_t$ ) für eine verrauschte Probe $x_t$ .

Mechanismus: Es minimiert einen Alignment-Loss ( $L_{align}$ ), der die Distanz zwischen der bedingten Rauschvorhersage ( $\epsilon_\theta(x_t, y, t)$ ) und der unbedingten Rauschvorhersage ( $\epsilon_\theta(x_t, \emptyset, t)$ ) misst.
Stabilisierung: Um der hochfrequenten Stochastik von Rauschvorhersagen bei großen Zeitschritten entgegenzuwirken, verwendet die Methode einen globalen, nicht zurückgesetzten Adam-Optimizer. Durch die Beibehaltung des Momentum-Zustands des Optimierers über die Diffusionsschritte hinweg fungiert dieser als natürlicher Tiefpassfilter, der die Optimierungstrajektorie des inferierten Ankers $y^*_t$ glättet.

2. Perturb: Orthogonale Fluiddynamik

Sobeder der Anker $y^*_t$ etabliert ist, synthetisiert die Engine einen Perturbationsvektor, um die Batch von Kandidaten in Richtung der Pareto-Front zu führen und gleichzeitig die Diversität zu wahren. Dies wird durch ein mathematisch orthogonalisiertes Fluiddynamik-System erreicht:

Warmup-Phase: Perturbationen sind auf Schritte beschränkt, bei denen $t \le T - T_{warmup}$ , um dem Anker Zeit zur Stabilisierung zu geben und einen frühen Manifold-Kollaps zu verhindern.
Konvergenzkraft (Parallele Gravitation): Ein vereinheitlichtes paralleles Gravitationsfeld ( $\vec{d}_{conv}$ ) treibt alle Lösungen in Richtung optimaler Regionen, während die relativen lateralen Distanzen erhalten bleiben, wodurch die ursprüngliche Diversität der unbedingten Verteilung bewahrt wird.
Diversitätskraft (Edgeness-bewusste Repulsion): Um die Abdeckung extremer Trade-off-Designs sicherzustellen, wird ein „Edgeness“-Multiplikator ( $E_i$ ) auf Lösungen nahe der Grenzen angewendet, der eine repulsive Kraft ( $\vec{F}_{rep}$ ) verstärkt, welche sie nach außen drängt.
Orthogonalisierung: Um zu verhindern, dass repulsive Kräfte der Konvergenz entgegenwirken, wird der repulsive Vektor mittels Gram-Schmidt-Orthogonalisierung auf das orthogonale Komplement des Gravitationsfeldes projiziert. Dies entkoppelt Exploration (Diversität) und Exploitation (Konvergenz) strikt.
Dynamische Annealing: Ein zeitlicher Schedule blendet die Konvergenz- und Diversitätskräfte, sodass der Übergang von konvergenz-lastig zu diversitäts-lastig (oder umgekehrt) erfolgt, während sich der Prozess $t=0$ nähert.

3. Guide: CFG-Extrapolation

Das perturbierte Ziel-Kondition ( $y^{target}_t$ ) wird direkt in die Standard-Classifier-Free Guidance (CFG)-Formulierung eingespeist.

Die modifizierte Rauschvorhersage $\tilde{\epsilon}_t$ wird berechnet als:
$\tilde{\epsilon}_t = \epsilon_\theta(x_t, \emptyset, t) + w_t \cdot (\epsilon_\theta(x_t, y^{target}_t, t) - \epsilon_\theta(x_t, \emptyset, t))$
Der Guidance-Scale $w_t$ wird zusammen mit dem Perturbations-Schedule linear interpoliert. Dies ermöglicht es dem Modell, die Generierung in diverse, Pareto-optimale Regionen zu steuern, ohne jemals die durch die unbedingte Verteilung definierte gültige Daten-Manifold zu verlassen.

Zentrale Beiträge

Zero-Surrogate-Framework: ParetoPilot ist das erste Framework, das Offline MOO durch direkte Nutzung der intrinsischen bedingten Informationen vortrainierter Diffusionsmodelle durchführt und somit den Bedarf an externen Proxy-Modellen eliminiert.
IPG-Engine: Ein neuartiger Mechanismus, der generative Trajektorien durch die Inferenz impliziter Bedingungen und die Anwendung orthogonalisierter Fluid-Kräfte dynamisch verändert. Dies führt den Denoising-Prozess explizit an, um die wahre Pareto-Front zu approximieren, während die Datensicherheit gewahrt bleibt.
Plug-and-Play-Fähigkeit: Die Methode fungiert als Modul, das auf gelernten Verteilungen ohne Zugriff auf die ursprünglichen Trainingsdaten eingesetzt werden kann, was mit praktischen Downstream-Deployment-Szenarien übereinstimmt.

Experimentelle Ergebnisse

Die Autoren evaluierten ParetoPilot auf 51 kontinuierlichen Offline-MOO-Aufgaben in vier Domänen: Synthetische Funktionen, Multi-Objective Neural Architecture Search (MO-NAS), Scientific Design (SciDesign) und Real-world Engineering (RE).

Leistung: ParetoPilot erreichte einen durchschnittlichen Rang von 6,81 und eine Verbesserung des Hypervolumens (HV) um 10,46 % über alle Aufgaben hinweg und übertraf damit 14 State-of-the-Art-Baselines (einschließlich Surrogat-basierter Forward-Methoden wie IOM, PcGrad und generativer Inverse-Methoden wie ParetoFlow und PGD-MOO).
Robustheit: Im Gegensatz zu Surrogat-basierten Methoden, die aufgrund von OOD-Evaluierungsfehlern bei komplexen diskreten/strukturellen Aufgaben (MO-NAS, SciDesign) eine schwere Leistungsminderung (und negative HV-Verbesserungen) erlitten, behielt ParetoPilot eine robuste Leistung bei. Die unbedingten Diffusionsschritte beschränkten die Trajektorien inhärent auf gültige Daten-Manifolds, was die Synthese von unsinnigen Molekülen oder defekten Architekturen verhinderte.
Ablationsstudien: Das Entfernen zentraler Komponenten bestätigte deren Notwendigkeit:
- Ohne Glättung (Smoothing): Die Leistung sank signifikant (Rang 3,08) aufgrund von Trajektorien-Oszillationen durch ungefiltertes Rauschen.
- Oh ohne Edgeness: Das System versagte dabei, extreme Trade-off-Designs effizient zu entdecken.
- Ohne Orthogonalisierung: Konvergenz- und Diversitätskräfte neutralisierten sich gegenseitig, was die gesamte HV-Verbesserung reduzierte.

Bedeutung und Ansprüche

Das Paper behauptet, dass ParetoPilot einen Paradigmenwechsel in der Offline MOO darstellt, indem es das Spannungsfeld zwischen Datenschutz, Recheneffizienz und Optimierungszuverlässigkeit auflöst.

Datenschutz: Durch den Wegfall externer Surrogate wahrt die Methode strikt die Privatsphäre, da kein erneuter Zugriff auf den ursprünglichen Offline-Datensatz für das Proxy-Training erforderlich ist.
Zuverlässigkeit: Sie vermeidet die „täuschenden Bewertungen“, die bei Surrogat-basierten Methoden häufig vorkommen und oft zu einem Manifold-Kollaps führen, wenn diese in OOD-Regionen extrapolieren.
Deployment-Fähigkeit: Der Ansatz steht im Einklang mit dem Foundation-Model-Paradigma, welches es ermöglicht, Modelle rein als Gewichte zu teilen und dennoch komplexe Optimierungsaufgaben im Downstream zu ermöglichen.

Die Autoren räumen Einschränkungen ein und merken an, dass die Generierungsqualität inhärent von der Fähigkeit des Basis-Diffusionsmodells abhängt, die initiale Datenverteilung zu erfassen, und dass die IPG-Engine eine zusätzliche Inferenz-Latenz im Vergleich zu einfachen Forward-Surrogat-Evaluierungen einführt. Sie halten jedoch den Trade-off für gerechtfertigt angesichts des Wegfalls des Proxy-Trainings-Overheads und der Robustheit der Ergebnisse.