🤖 machine learning

ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion

ParetoPilot is een nieuw zero-surrogate diffusiekader voor offline multi-objective optimalisatie dat de noodzaak voor externe surrogaatmodellen elimineert door een Infer-Perturb-Guide-engine in het denoising-proces in te bedden om generatie dynamisch te sturen naar diverse Pareto-optimale oplossingen.

Oorspronkelijke auteurs: Ruiqing Sun, Sen Yang, Dawei Feng, Bo Ding, Yijie Wang, Huaimin Wang

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruiqing Sun, Sen Yang, Dawei Feng, Bo Ding, Yijie Wang, Huaimin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die probeert een nieuw, perfect recept uit te vinden. Je hebt een enorme, oude kookboek (je statische dataset) met duizenden bestaande recepten en hun beoordelingen. Maar je bent verboden om nieuwe gerechten te proeven terwijl je kookt (geen online interacties); je kunt alleen in het oude boek kijken. Je doel is om een nieuwe set recepten te creëren die "Pareto-optimaal" zijn—dat wil zeggen: de best mogelijke balans tussen tegenstrijdige doelen, zoals "lekkerst" versus "goedkoopst" of "gezondst" versus "snelst".

Het probleem is dat het oude boek niet het perfecte recept bevat dat jij je voorstelt. Je moet raden hoe dat eruit zou zien.

De Oude Manier: Een Gebrekkige Consultant Inhuren

De meeste eerdere methoden probeerden dit op te lossen door een "consultant" in te huren (een surrogaatmodel).

Je traint deze consultant om te raden hoe goed een nieuw recept zou zijn op basis van het oude kookboek.
Je vraagt de consultant om je kookproces te begeleiden.

Het Nadeel:

Kostbaar: Het trainen van een nieuwe consultant voor elk nieuw doel is duur en traag.
Misleidend: Als je de consultant vraagt naar een wild, vreemd recept dat niet lijkt op iets uit het oude boek, geeft de consultant vaak een vals cijfer. Het kan zeggen: "Deze vreemde soep is geweldig!" terwijl het eigenlijk waardeloos is. Dit leidt ertoe dat je tijd verspilt aan slechte ideeën.
Privacy: Soms kun je de consultant zelfs niet het oude kookboek laten zien vanwege privacyregels.

De Nieuwe Manier: ParetoPilot (De "Zelfsturende" Chef)

De auteurs stellen ParetoPilot voor, een methode die geen consultant nodig heeft. In plaats daarvan gebruikt het de "intuïtie" die al ingebouwd zit in een vooraf getrainde AI-chef (een Diffusiemodel).

Beschouw het Diffusiemodel als een chef die het oude kookboek zo goed heeft onthouden dat hij elk gerecht uit het boek kan recreëren. Normaal gesproken recreëert deze chef de gerechten precies zoals ze waren. ParetoPilot leert deze chef hoe hij de oude recepten kan verbeteren zonder naar een nieuwe gids te kijken.

Het doet dit met een driestapsmotor genaamd IPG (Infer-Perturb-Guide):

1. INFER: Het vinden van de "Noordster"

Stel je voor dat de chef een wazige, ruizige versie van een recept vasthoudt.

De chef vraagt zich af: "Als ik dit precies zo zou maken (onvoorwaardelijk), hoe zou het dan smaken?"
Daarna vraagt de chef: "Als ik dit een klein beetje zou aanpassen om het iets beter te maken (voorwaardelijk), hoe zou het dan smaken?"
Door deze twee vermoedens te vergelijken, begrijpt de chef de directe richting om het gerecht te verbeteren. Het is alsof je de wind voelt om te weten welke kant je op moet varen, zonder een kaart nodig te hebben.

2. PERTURB: De "Zwaartekracht en Afstoting" Dans

Nu moet de chef beslissen hoe hij precies moet bewegen. Hiervoor zijn twee dingen nodig:

Convergentie (Zwaartekracht): Een kracht die alle nieuwe recepten naar de "best mogelijke" zone trekt (de Pareto Front). Stel je een milde zwaartekracht voor die iedereen naar het centrum van excellentie trekt.
Diversiteit (Afstoting): Een kracht die de recepten uit elkaar duwt, zodat ze niet allemaal hetzelfde zijn. Stel je een "persoonlijke ruimte"-kracht voor die recepten van elkaar wegduwt, zodat je een brede variëteit aan opties krijgt, en niet slechts één perfect gerecht.

De Magische Truc: De auteurs gebruiken een wiskundige beweging (Gram-Schmidt-orthogonalisatie) om ervoor te zorgen dat deze twee krachten niet met elkaar in strijd zijn. Het is alsof je de "zwaartekracht" en de "afstoting" vertelt om in rechte hoeken ten opzichte van elkaar te lopen, zodat je zowel betere gerechten krijgt áls meer variatie, zonder dat het proces vertraagt.

3. GUIDE: Het Schip Sturen

Ten slotte gebruikt de chef deze berekende richtingen om het kookproces bij te sturen. Ze gebruiken een standaardtechniek genaamd Classifier-Free Guidance (CFG)—denk aan een stuurwiel—om het generatieproces voorzichtig te sturen richting deze nieuwe, betere en diverse recepten.

Waarom het een Groot Ding is

Geen Extra Training: Je hoeft geen nieuwe consultant te trainen. Je gebruikt gewoon de AI die je al hebt.
Geen Valse Scores: Omdat de AI het recept direct genereert vanuit zijn geheugen van geldige data, zal het niet per ongels "onzin"-gerechten creëren (zoals een molecuul dat niet kan bestaan of een kapot computerechip) en daar vervolgens een vals hoog cijfer aan geven. Het blijft op het "geldige pad".
Privacyvriendelijk: Omdat het geen originele data nodig heeft om een nieuwe gids te trainen, werkt het ook wanneer data strikt beveiligd is.

De Resultaten

De auteurs hebben dit getest op 51 verschillende taken, variërend van het ontwerpen van moleculen tot het optimaliseren van computerchips.

De Winnaar: ParetoPilot versloeg 14 andere topmethoden.
Het Geheim: Het kon veel complexe, vreemde taken (zoals chemie of architectuur) veel beter aan dan de "consultant"-methoden, die vaak in de war raakten en onmogelijke ontwerpen voorstelden.

Kortom, ParetoPilot is een manier om een slimme AI die veel weet over oude data te leren hoe hij zelfstandig nieuwe, betere en diverse oplossingen kan uitvinden, zonder dat hij een tweede AI nodig heeft om hem te vertellen wat hij moet doen. Het is alsof je een chef een kompas en een duwtje geeft, in plaats van een volledig menu met instructies.

Technische Samenvatting: ParetoPilot

Probleemstelling

Offline Multi-Objective Optimization (Offline MOO) streeft ernaar om nieuwe Pareto-optimale ontwerpen te ontdekken met behulp van enkel statische, vooraf verzamelde datasets, waarbij kostbare interacties met een online omgeving worden vermeden. Dit is cruciaal in domeinen zoals drug discovery, materiaalkunde en hardware-architectuurzoektochten, waar functie-evaluaties kostbaar of beperkt zijn.

De kernuitdaging ligt in het gelijktijdig bereiken van convergentie (het duwen van oplossingen naar de niet-geobserveerde ware Pareto-front) en diversiteit (het waarborgen van brede dekking over de gehele objectieve trade-off ruimte). Huidige state-of-the-art benaderingen vertrouwen voornamelijk op externe surrogaatmodellen (bijv. proxy-regressoren of voorkeurclassificatoren) om generatieve processen te sturen. Deze afhankelijkheid introduceert drie significante bottlenecks:

Computationele Overhead: Het trainen van aparte surrogaten voor elk object vereist uitgebreide hyperparameter-tuning en middelen.
Onbetrouwbare Extrapolatie: Externe proxies produceren vaak misleidende scores voor out-of-distribution (OOD) ontwerpen, wat leidt tot manifold collapse en ongeldige oplossingen.
Privacy- en Implementatiebeperkingen: Het trainen van taakspecifieke proxies vereist continue toegang tot de originele offline dataset, wat het foundation model-paradigma schendt (waarbij modellen uitsluitend als gewichten worden uitgerold) en botst met strikte regelgeving rondom dataprivacy.

Methodologie: ParetoPilot en de IPG-engine

De auteurs stellen ParetoPilot voor, een zero-surrogate diffusiekader dat de noodzaak voor externe hulpmodellen elimineert. In plaats daarvan maakt het gebruik van de conditionele priors die inherent ingebed zijn in een vooraf getraind conditioneel diffusiemodel. Het framework werkt door een nieuwe Infer-Perturb-Guide (IPG) engine te verweven binnen de onconditionele denoising-stappen van het reverse generatieproces.

De IPG-engine voert drie sequentiële operaties uit op specifieke intervallen tijdens het diffusieproces:

1. Infer: Impliciete Manifold Anchoring

In plaats van een externe regressor te gebruiken, extrapoleert het framework impliciet de instantane objectieve richting ( $y^*_t$ ) voor een ruisige sample $x_t$ .

Mechanisme: Het minimaliseert een alignment loss ( $L_{align}$ ) die de afstand meet tussen de conditionele ruisvoorspelling ( $\epsilon_\theta(x_t, y, t)$ ) en de onconditionele ruisvoorspelling ( $\epsilon_\theta(x_t, \emptyset, t)$ ).
Stabilisatie: Om de hoogfrequente stochasticiteit van ruisvoorspellingen bij grote tijdstappen tegen te gaan, gebruikt de methode een globale, niet-geresette Adam-optimizer. Door de momentumtoestand van de optimizer over diffusiestappen heen te behouden, fungeert het als een natuurlijk low-pass filter dat de optimalisatie-traject van de geïnformeerde anchor $y^*_t$ gladstrijkt.

2. Perturb: Orthogonale Fluid Dynamics

Zodra de anchor $y^*_t$ is vastgesteld, synthetiseert de engine een perturbatievector om de batch aan kandidaten naar het Pareto-front te leiden terwijl de diversiteit behouden blijft. Dit wordt bereikt via een wiskundig georthogonaliseerd fluid dynamics systeem:

Warmup Fase: Perturbaties zijn beperkt tot stappen waar $t \le T - T_{warmup}$ om de anchor te laten stabiliseren en vroege manifold collapse te voorkomen.
Convergentiekracht (Parallelle Zwaartekracht): Een verenigd parallel zwaartekrachtveld ( $\vec{d}_{conv}$ ) stuurt alle oplossingen naar optimale regio's terwijl de relatieve laterale afstanden behouden blijven, waardoor de prior diversiteit van de onconditionele distributie wordt behouden.
Diversiteitskracht (Edgeness-Aware Repulsie): Om dekking van extreme trade-off ontwerpen te garanderen, wordt een "edgeness" multiplier ( $E_i$ ) toegepast op oplossingen nabij de grenzen, wat een afstotende kracht ( $\vec{F}_{rep}$ ) versterkt die hen naar buiten duwt.
Orthogonalisatie: Om te voorkomen dat afstotende krachten de convergentie tegenwerken, wordt de afstotende vector geprojecteerd op het orthogonale complement van het zwaartekrachtveld met behulp van Gram-Schmidt orthogonalisatie. Dit ontkoppelt exploratie (diversiteit) en exploitatie (convergentie) strikt van elkaar.
Dynamische Annealing: Een temporeel schema mengt de convergentie- en diversiteitskrachten, waarbij wordt overgegaan van convergentie-zwaar naar diversiteit-zwaar (of vice versa) naarmate het proces $t=0$ nadert.

3. Guide: CFG Extrapolatie

De geperturbeerde doelconditie ( $y^{target}_t$ ) wordt direct ingevoerd in de standaard Classifier-Free Guidance (CFG) formulering.

De gemodificeerde ruisvoorspelling $\tilde{\epsilon}_t$ wordt berekend als:
$\tilde{\epsilon}_t = \epsilon_\theta(x_t, \emptyset, t) + w_t \cdot (\epsilon_\theta(x_t, y^{target}_t, t) - \epsilon_\theta(x_t, \emptyset, t))$
De guidance scale $w_t$ wordt lineair geïnterpoleerd samen met het perturbatie-schema. Dit stelt het model in staat om de generatie naar diverse, Pareto-optimale regio's te sturen zonder ooit het geldige data-manifold te verlaten dat gedefinieerd wordt door de onconditionele distributie.

Belangrijkste Bijdragen

Zero-Surrogate Framework: ParetoPilot is het eerste framework dat offline MOO uitvoert door direct gebruik te maken van de intrinsieke conditionele informatie van vooraf getrainde diffusiemodellen, waardoor de noodzaak voor het trainen van hulpmodellen vervalt.
IPG Engine: Een nieuw mechanisme dat generatieve trajecten dynamisch verandert door impliciete condities te extraheren en orthogonale fluïdale krachten toe te passen. Dit stuurt het denoising-proces expliciet aan om het ware Pareto-front te benaderen terwijl de dataprivacy wordt gewaarborgd.
Plug-and-Play Capaciteit: De methode fungeert als een module die kan worden ingezet op geleerde distributies zonder toegang tot de originele trainingsdata, wat aansluit bij praktische downstream deployment scenario's.

Experimentele Resultaten

De auteurs evalueerden ParetoPilot op 51 continue offline MOO-taken over vier domeinen: Synthetische Functies, Multi-Objective Neural Architecture Search (MO-NAS), Scientific Design (SciDesign) en Real-world Engineering (RE).

Prestaties: ParetoPilot behaalde een Gemiddelde Rang van 6.81 en een 10.46% verbetering in Hypervolume (HV) over alle taken, waarmee het 14 state-of-the-art baselines versloeg (inclusclusief surrogate-gebaseerde forward methoden zoals IOM, PcGrad en generatieve inverse methoden zoals ParetoFlow en PGD-MOO).
Robuustheid: In tegen tegenstelling tot surrogate-gebaseerde methoden die zware prestatievermindering (en negatieve HV-verbeteringen) vertoonden op complexe discrete/structurele taken (MO-NAS, SciDesign) door OOD-evaluatiefouten, behield ParetoPilot een robuuste prestatie. De onconditionele diffusiestappen beperken de trajecten inherent tot geldige data-manifolds, wat de synthese van onzinnige moleculen of defecte architecturen voorkomt.
Ablatie-studies: Het verwijderen van sleutelcomponenten bevestigde hun noodzaak:
- Zonder Smoothing: De prestaties daalden aanzienlijk (Rang 3.08) door traject-oscillaties veroorzaakt door ongefilterde ruis.
- Zonder Edgeness: Het systeem slaagde er niet in om efficiënt extreme trade-off ontwerpen te ontdekken.
- Zonder Orthogonalisatie: Convergentie- en diversiteitskrachten neutraliseerden elkaar, wat de totale HV-verbetering verminderde.

Betekenis en Claims

Het artikel claimt dat ParetoPilot een paradigmaverschuiving vertegenwoordigt in Offline MOO door de spanning tussen dataprivacy, computationele efficiëntie en optimalisatiebetrouwbaarheid op te lossen.

Privacy Preservering: Door de noodzaak voor externe surrogaten te verwijderen, waarborgt de methode strikt de dataprivacy, aangezien er geen hernieuwde toegang tot de originele offline dataset nodig is voor proxy-training.
Betrouwbaarheid: Het vermijdt de "misleidende evaluaties" die gebruikelijk zijn bij surrogate-gebaseerde methoden, die vaak leiden tot manifold collapse bij extrapolatie naar OOD-regio's.
Deployment Haalbaarheid: De aanpak sluit aan bij het foundation model-paradigma, waardoor modellen uitsluitend als gewichten kunnen worden gedeeld terwijl ze nog steeds complexe optimalisatietaken mogelijk maken in downstream scenario's.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de kwaliteit van de generatie inherent afhankelijk is van het vermogen van het basis-diffusiemodel om de initiële datadistributie te vangen, en dat de IPG-engine meer inference-latentie introduceert vergeleken met eenvoudige forward surrogate-evaluaties. Ze stellen echter dat de trade-off gerechtvaardigd is door de eliminatie van de proxy-training overhead en de robuustheid van de resultaten.