🤖 machine learning

ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion

ParetoPilot est un nouveau cadre de diffusion sans substitut pour l'optimisation multi-objectif hors ligne qui élimine le besoin de modèles de substitution externes en intégrant un moteur d'Inférer-Perturber-Guider au sein du processus de débruitage pour orienter dynamiquement la génération vers des solutions Pareto-optimales et diversifiées.

Auteurs originaux : Ruiqing Sun, Sen Yang, Dawei Feng, Bo Ding, Yijie Wang, Huaimin Wang

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruiqing Sun, Sen Yang, Dawei Feng, Bo Ding, Yijie Wang, Huaimin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé essayant d'inventer une nouvelle recette parfaite. Vous possédez un énorme vieux livre de cuisine (votre jeu de données statique) contenant des milliers de recettes existantes et leurs évaluations. Cependant, il vous est interdit de goûter les nouveaux plats pendant que vous cuisinez (pas d'interactions en ligne) ; vous ne pouvez que consulter le vieux livre. Votre objectif est de créer un nouvel ensemble de recettes qui soient « Pareto-optimales » — c'est-à-dire le meilleur équilibre possible entre des objectifs contradictoires, comme « le plus savoureux » contre « le moins cher » ou « le plus sain » contre « le plus rapide ».

Le problème est que le vieux livre ne contient pas la recette parfaite que vous imaginez. Vous devez deviner à quoi elle ressemblerait.

L'ancienne méthode : Engager un consultant imparfait

La plupart des méthodes précédentes tentaient de résoudre cela en engageant un « consultant » (un modèle de substitution).

Vous entraînez ce consultant à deviner la qualité d'une nouvelle recette en se basant sur le vieux livre.
Vous demandez au consultant de guider votre cuisine.

Le revers de la médaille :

Coûteux : Entraîner un nouveau consultant pour chaque nouvel objectif est cher et lent.
Déceptif : Si vous interrogez le consultant sur une recette étrange et insolite qui ne ressemble à rien dans le vieux livre, le consultant invente souvent un score fictif. Il pourrait dire : « Cette soupe bizarre est incroyable ! » alors qu'en réalité, elle est immangeable. Cela vous fait perdre du temps sur de mauvaises idées.
Confidentialité : Parfois, vous ne pouvez même pas montrer le vieux livre au consultant en raison de règles de confidentialité.

La nouvelle méthode : ParetoPilot (Le chef « auto-guidé »)

Les auteurs proposent ParetoPilot, une méthode qui n'a pas besoin de consultant. Au lieu de cela, elle utilise l'« intuition » déjà intégrée dans un chef IA pré-entraîné (un Modèle de Diffusion).

Considérez le Modèle de Diffusion comme un chef qui a mémorisé le vieux livre de cuisine si bien qu'il peut recréer n'importe quel plat. Habituellement, ce chef ne fait que recréer les plats exactement tels qu'ils étaient.

ParetoPilot apprend à ce chef comment améliorer les anciennes recettes sans avoir besoin d'un nouveau guide.

Il utilise pour cela un moteur en trois étapes appelé IPG (Infer-Perturb-Guide / Inférer-Perturber-Guider) :

1. INFER (Inférer) : Trouver l'Étoile Polaire

Imaginez que le chef tienne une version floue et bruitée d'une recette.

Le chef se demande : « Si je faisais ceci exactement tel quel (inconditionnel), quel goût cela auraitrait-il ? »
Puis, le chef se demande : « Si je modifiais légèrement ceci pour que ce soit un peu meilleur (conditionnel), quel goût cela aurait-il ? »
En comparant ces deux suppositions, le chef détermine la direction instantanée pour améliorer le plat. C'est comme sentir le vent pour savoir dans quelle direction naviguer, sans avoir besoin de carte.

2. PERTURB (Perturber) : La danse de la « Gravité et de la Répulsion »

Maintenant, le chef doit décider exactement comment bouger. Il a besoin de deux choses :

Convergence (Gravité) : Une force qui attire toutes les nouvelles recettes vers la « meilleure zone possible » (le Front de Pareto). Imaginez une gravité douce attirant tout le monde vers le centre de l'excellence.
Diversité (Répulsion) : Une force qui repousse les recettes les unes des autres pour qu'elles ne se ressemblent pas toutes. Imaginez une force d'« espace personnel » qui pousse les recettes à s'éloigner les unes des autres afin d'obtenir une grande variété d'options, et non pas un seul plat parfait.

Le tour de magie : Les auteurs utilisent un mouvement mathématique (l'orthogonalisation de Gram-Schmidt) pour s'assurer que ces deux forces ne se combattent pas. C'est comme dire à la « gravité » et à la « répulsion » de marcher à angle droit l'une par rapport à l'autre, afin d'obtenir de meilleurs plats et plus de variété en même temps, sans ralentir le processus.

3. GUIDE (Guider) : Tenir la barre

Enfin, le chef utilise ces directions calculées pour orienter le processus de cuisine. Ils utilisent une technique standard appelée Classifier-Free Guidance (CFG) — pensez-y comme à un volant — pour tourner doucement le processus de génération vers ces nouvelles recettes, meilleures et diversifiées.

Pourquoi est-ce une avancée majeure ?

Pas d'entraînement supplémentaire : Vous n'avez pas besoin d'entraîner un nouveau consultant. Vous utilisez simplement l'IA que vous possédez déjà.
Pas de faux scores : Comme l'IA génère la recette directement à partir de sa mémoire de données valides, elle ne créera pas accidentellement des plats « absurdes » (comme une molécule qui ne peut pas exister ou une puce informatique défectueuse) pour ensuite donner un score élevé erroné. Elle reste sur la « voie valide ».
Respect de la vie privée : Puisqu'elle n'a pas besoin de voir les données originales pour entraîner un nouveau guide, elle fonctionne même lorsque les données sont verrouillées.

Les Résultats

Les auteurs ont testé ParetoPilot sur 51 tâches différentes, allant de la conception de molécules à l'optimisation de puces informatiques.

Le Gagnant : ParetoPilot a battu 14 autres méthodes de pointe.
Le Secret : Il a géré les tâches complexes et inhabituelles (comme la chimie ou l'architecture) bien mieux que les méthodes de « consultant », qui se confondaient souvent dans des conceptions impossibles.

En résumé, ParetoPilot est une façon de prendre une IA intelligente qui connaît beaucoup de choses sur d'anciennes données et de lui apprendre à inventer de nouvelles solutions, meilleures et diverses, par elle-même, sans avoir besoin d'une seconde IA pour lui dire quoi faire. C'est comme donner à un chef une boussole et une impulsion, plutôt qu'un menu complet d'instructions.

Résumé Technique : ParetoPilot

Énoncé du Problème

L'optimisation multi-objectif hors ligne (Offline Multi-Objective Optimization - Offline MOO) cherche à découvrir de nouveaux designs Pareto-optimaux en utilisant uniquement des jeux de données statiques pré-collectés, évitant ainsi les interactions coûteuses avec l'environnement en ligne. Cela est crucial dans des domaines tels que la découverte de médicaments, la conception de matériaux et la recherche d'architectures matérielles, où les évaluations de fonctions sont coûteuses ou restreintes.

Le défi central consiste à atteindre simultanément la convergence (pousser les solutions vers la frontière de Pareto réelle non observée) et la diversité (assurer une couverture large à travers l'espace de compromis des objectifs). Les approches de pointe actuelles reposent principalement sur des modèles de substitution externes (par exemple, des régresseurs proxys ou des classifieurs de préférences) pour guider les processus génératifs. Cette dépendance introduit trois goulots d'étranglement significatifs :

Surcharge de calcul : L'entraînement de substituts séparés pour chaque objectif nécessite un réglage intensif des hyperparamètres et des ressources importantes.
Extrapolation peu fiable : Les proxys externes produisent souvent des scores trompeurs pour les designs hors distribution (OOD), entraînant un effondrement de la variété (manifold collapse) et des solutions invalides.
Contraintes de confidentialité et de déploiement : L'entraînement de proxys spécifiques aux tâches nécessite un accès continu au jeu de données hors ligne original, ce qui viole le paradigme des modèles de fondation consistant à déployer des modèles uniquement sous forme de poids et entre en conflit avec les réglementations strictes de confidentialité des données.

Méthodologie : ParetoPilot et le moteur IPG

Les auteurs proposent ParetoPilot, un cadre de diffusion sans substitut (zero-surrogate) qui élimine le besoin de modèles auxiliaires externes. Au lieu de cela, il exploite les priors conditionnels intrinsèquement intégrés dans un modèle de diffusion conditionnel pré-entraîné. Le cadre opère en entrelaçant un nouveau moteur d'Inférence-Perturbation-Guidage (IPG) au sein des étapes de débruitage inconditionnelles du processus de génération inverse.

Le moteur IPG exécute trois opérations séquentielles à des intervalles spécifiques durant le processus de diffusion :

1. Infer (Inférer) : Ancrage implicite de la variété

Plutôt que d'utiliser un régresseur externe, le cadre infère implicitement la direction de l'objectif instantanée ( $y^*_t$ ) pour un échantillon bruité $x_t$ .

Mécanisme : Il minimise une perte d'alignement ( $L_{align}$ ) qui mesure la distance entre la prédiction de bruit conditionnelle ( $\epsilon_\theta(x_t, y, t)$ ) et la prédiction de bruit inconditionnelle ( $\epsilon_\theta(x_t, \emptyset, t)$ ).
Stabilisation : Pour contrer la stochasticité à haute fréquence des prédictions de bruit aux grands pas de temps (timesteps), la méthode emploie un optimiseur Adam global sans réinitialisation. En maintenant l'état de moment de l'optimiseur à travers les étapes de diffusion, il agit comme un filtre passe-bas naturel, lissant la trajectoire d'optimisation de l'ancre inférée $y^*_t$ .

2. Perturb (Perturber) : Dynamique des fluides orthogonales

Une fois l'ancre $y^*_t$ établie, le moteur synthétise un vecteur de perturbation pour guider le lot de candidats vers la frontière de Pareto tout en maintenant la diversité. Ceci est réalisé via un système de dynamique des fluides mathématiquement orthogonalisé :

Phase de Warmup (Échauffement) : Les perturbations sont confinées aux étapes où $t \le T - T_{warmup}$ pour permettre à l'ancre de se stabiliser et éviter un effondrement précoce de la variété.
Force de Convergence (Gravité Parallèle) : Un champ de gravité parallèle unifié ( $\vec{d}_{conv}$ ) conduit toutes les solutions vers des régions optimales tout en préservant leurs distances latérales relatives, conservant ainsi la diversité a priori de la distribution inconditionnelle.
Force de Diversité (Répulsion sensible aux bords) : Pour assurer la couverture des designs de compromis extrêmes, un multiplicateur d'« edgeness » ( $E_i$ ) est appliqué aux solutions proches des limites, amplifiant une force répulsive ( $\vec{F}_{rep}$ ) qui les pousse vers l'extérieur.
Orthogonalisation : Pour empêcher les forces de répulsion de s'opposer à la convergence, le vecteur de répulsion est projeté sur le complément orthogonal du champ de gravité en utilisant l'orthogonalisation de Gram-Schmidt. Cela découple strictement l'exploration (diversité) de l'exploitation (convergence).
Recuit Dynamique (Dynamic Annealing) : Un calendrier temporel mélange les forces de convergence et de diversité, passant d'une dominance de la convergence à une dominance de la diversité (ou vice versa) à mesure que le processus approche de $t=0$ .

3. Guide (Guider) : Extrapolation CFG

La cible perturbée ( $y^{target}_t$ ) est injectée directement dans la formulation standard de la Guidance de Classeur sans Classeur (Classifier-Free Guidance - CFG).

La prédiction de bruit modifiée $\tilde{\epsilon}_t$ est calculée comme suit :
$\tilde{\epsilon}_t = \epsilon_\theta(x_t, \emptyset, t) + w_t \cdot (\epsilon_\theta(x_t, y^{target}_t, t) - \epsilon_\theta(x_t, \emptyset, t))$
L'échelle de guidage $w_t$ est interpolée linéairement avec le calendrier de perturbation. Cela permet au modèle d'orienter la génération vers des régions Pareto-optimales diverses sans jamais quitter la variété de données valide définie par la distribution inconditionnelle.

Contributions Clés

Cadre Zero-Surrogate : ParetoPilot est le premier cadre capable de réaliser de l'Offline MOO en exploitant directement les informations conditionnelles intrinsèques des modèles de diffusion pré-entraînés, éliminant ainsi le besoin d'entraîner des modèles proxys auxiliaires.
Moteur IPG : Un mécanisme novateur qui modifie dynamiquement les trajectoires génératives en important des conditions implicites et en appliquant des forces de fluides orthogonalisées. Cela guide explicitement le processus de débruitage pour approximer la véritable frontière de Pareto tout en préservant la confidentialité des données.
Capacité Plug-and-Play : La méthode agit comme un module qui peut être déployé sur des distributions apprises sans accès aux données d'entraînement originales, s'alignant sur les scénarios de déploiement en aval concrets.

Résultats Expérimentaux

Les auteurs ont évalué ParetoPilot sur 51 tâches de MOO hors ligne continues à travers quatre domaines : Fonctions Synthétiques, Recherche d'Architecture de Réseau Neuronal Multi-Objectif (MO-NAS), Conception Scientifique (SciDesign) et Ingénierie du Monde Réel (RE).

Performance : ParetoPilot a atteint un Rang Moyen de 6,81 et une amélioration de 10,46 % de l'Hypervolume (HV) sur l'ensemble des tâches, surpassant 14 méthodes de référence de l'état de l'art (incluant des méthodes de type forward comme IOM, PcGrad et des méthodes génératives inverses comme ParetoFlow et PGD-MOO).
Robustesse : Contra contrairement aux méthodes basées sur des substituts qui souffrent de dégradations sévères de performance (et d'améliorations négatives de l'HV) sur des tâches complexes discrètes ou structurelles (MO-NAS, SciDesign) dues aux erreurs d'évaluation OOD, ParetoPilot maintient une performance robuste. Les étapes de diffusion inconditionnelles restreignent intrinsèquement les trajectoires aux variétés de données valides, empêchant la synthèse de molécules absurdes ou d'architectures brisées.
Études d'Ablation : La suppression de composants clés a confirmé leur nécessité :
- Sans lissage (Smoothing) : La performance chute significativement (Rang 3,08) à cause des oscillations de trajectoire causées par le bruit non filtré.
- Sans Edgeness : Le système échoue à découvrir efficacement les designs de compromis extrêmes.
- Sans Orthogonalisation : Les forces de convergence et de diversité se neutralisent mutuellement, réduisant l'amélioration globale de l'HV.

Signification et Revendications

L'article affirme que ParetoPilot représente un changement de paradigme dans l'Offline MOO en résolvant la tension entre confidentialité des données, efficacité de calcul et fiabilité de l'optimisation.

Préservation de la Confidentialité : En supprimant le besoin de substituts externes, la méthode préserve strictement la confidentialité des données, car elle ne nécessite pas de ré-accès au jeu de données hors ligne original pour l'entraînement du proxy.
Fiabilité : Elle évite les « évaluations trompeuses » communes aux méthodes basées sur des substituts, qui mènent souvent à un effondrement de la variété lors de l'extrapolation vers des régions OOD.
Viabilité de Déploiement : L'approche s'aligne sur le paradigme des modèles de fondation, permettant de partager uniquement les poids des modèles tout en permettant des tâches d'optimisation complexes en aval.

Les auteurs reconnaissent des limites, notant que la qualité de la génération dépend intrinsèquement de la capacité du modèle de diffusion de base à capturer la distribution de données initiale, et que le moteur IPG introduit une latence d'inférence supplémentaire par rapport aux simples évaluations de proxy forward. Cependant, ils soutiennent que cet arbitrage est justifié par l'élimination de la surcharge d'entraînement des proxys et la robustesse des résultats.