Résumé technique : CoAction – Apprentissage de l'ensemble de Pareto sensible à la corrélation entre tâches

1. Énoncé du problème

L'optimisation multi-objectif (MOO) cherche à trouver un ensemble de solutions de compromis (l'ensemble de Pareto, PS) pour des objectifs conflictuels. Bien que les algorithmes évolutionnaires traditionnels (ex. NSGA-II, MOEA/D) génèrent des ensembles de solutions finis par exécution, ils peinent face à la prise de décision en temps réel où les préférences changent dynamiquement. L'apprentissage d'ensembles de Pareto (PSL) répond à cela en entraînant des réseaux de neurones pour mapper des vecteurs de préférence vers des solutions Pareto-optimales en temps réel.

Cependant, les méthodes de PSL existantes souffrent d'une limitation fondamentale : elles sont conçues pour résoudre un seul problème de MOO à la fois. Dans les scénarios impliquant plusieurs problèmes d'optimisation liés (Apprentissage Multi-Tâche, MTL), ce paradigme nécessite l'entraînement d'un modèle distinct pour chaque tâche. Cette approche entraîne des coûts de calcul qui augmentent linéairement et ne parvient pas à exploiter les similitudes structurelles latentes et le savoir partagé entre les tâches liées. Le document identifie le besoin d'un cadre unifié capable d'apprendre simultanément les ensembles de Pareto pour plusieurs tâches tout en modélisant les corrélations inter-tâches pour améliorer l'efficacité et la généralisation.

2. Méthodologie : Le cadre CoAction

Les auteurs proposent CoAction (Cross-task Correlation-aware Pareto Set Learning), un cadre conçu pour apprendre des ensembles de solutions Pareto optimaux à travers plusieurs problèmes d'optimisation au sein d'un seul modèle. La méthodologie intègre trois composantes clés :

2.1 Mécanisme d'encodage de tâche

Pour permettre à un seul modèle de distinguer différentes tâches tout en partageant les paramètres, CoAction utilise un schéma d'encodage de tâche. Contra à les vecteurs d'encodage apprenables qui passent mal à l'échelle avec le nombre de tâches et peuvent échouer à se généraliser à des nombres de tâches inédits, CoAction utilise un encodage positionnel sinusoïdal inspiré des architectures Transformer.

• Chaque tâche $t$ se voit assigner un vecteur d'encodage $e_t$ de dimension $d$.
• L'encodage est construit à l'aide de fonctions sinus et cosinus de l'indice de la tâche $t$, garantissant que les tâches ayant des indices similaires ont des encodages similaires (lissage) tout en restant distinguables (injectivité).
• Cet encodage est concaténé avec le vecteur de préférence $\lambda(\theta)$ et un remplissage par zéros (zero-padding) pour former l'entrée du réseau, permettant au modèle de générer des variables de décision spécifiques à la tâche.

2.2 Backbone Transformer

Le cadre utilise un encodeur Transformer comme architecture de base (backbone).

• Auto-attention (Self-Attention) : Le mécanisme d'auto-attention est employé pour capturer les dépendances globales complexes entre les tâches. Cela permet au modèle de pondérer dynamiquement l'influence des différentes tâches pendant l'entraînement, facilitant la modélisation des relations inter-tâches.
• Architecture : Le réseau consiste en une couche de projection linéaire, un encodage positionnel, un bloc d'encodeur à couche unique (4 têtes d'attention, dimension cachée de 128), un module de pooling pondéré et des têtes de sortie spécifiques à la tâche.
• Partage de paramètres : Les paramètres du backbone sont partagés entre toutes les tâches, tandis que les têtes de sortie spécifiques à la tâche permettent les ajustements nécessaires, atténuant l'oubli catastrophique.

2.3 Entraînement collaboratif multi-tâche

Le processus d'entraînement implique un algorithme collaboratif (Algorithme 1) où :

• Les tâches sont échantillonnées de manière aléatoire lors de chaque itération.
• Les vecteurs de préférence sont échantillonnés uniformément dans l'orthant positif de l'hypersphère unité.
• Le modèle est optimisé à l'aide d'une fonction de perte basée sur la maximisation du hypervolume (PSL-HV1). Cette fonction de perte maximise une forme de substitution de l'indicateur de Hypervolume (HV), encourageant le modèle à approximer l'ensemble du front de Pareto.
• Un écrêtage de gradient (gradient clipping) est appliqué pour assurer la stabilité de l'entraînement.

3. Principales contributions

Le document expose les contributions primaires suivantes :

1. Cadre unifié : La proposition du cadre CoAction, qui exploite les encodages de tâche, les paramètres de réseau partagés et un backbone Transformer pour modéliser les relations inter-tâches. Cela permet à un seul modèle d'apprendre les ensembles de Pareto pour plusieurs problèmes simultanément.
2. Efficacité et expressivité : Le cadre réduit les coûts de calcul en éliminant le besoin de modèles séparés par tâche tout en améliorant l'expressivité du modèle grâce au mécanisme d'auto-attention.
3. Évaluation exhaustive : Des expériences approfondies menées sur des suites de tests multi-tâches comprenant à la fois des problèmes de référence (ZDT, VLMOP) et des applications d'ingénierie réelles (conception de treillis, de couvercle de trappe, d'injecteur de fusée).

4. Résultats expérimentaux

Les auteurs ont évalué CoAction par rapport à une ligne de base PSL à tâche unique et une ligne de base multi-tâche basée sur un MLP en utilisant trois métriques : Hypervolume (HV), Étendue (Range) et Sparsité (Sparsity).

• Performance vs Ligne de base à tâche unique :

  • CoAction a obtenu des performances compétitives ou supérieures en HV et en Étendue sur la plupart des problèmes (ex. ZDT1, ZDT2, RE21, RE24).
  • Sur le problème tri-objectif RE37, bien que les différences de HV soient marginales, le cadre a démontré sa robustesse.
  • Efficacité de calcul : CoAction a réduit le temps d'entraînement de 27 % (270,13s contre 370,25s) par rapport à la ligne de base à tâche unique, malgré l'entraînement simultané sur sept tâches.
  • Stabilité : Le cadre a présenté une faible variance de l'HV entre les exécutions, indiquant une convergence stable et une absence d'oubli catastrophique significatif.

• Étude d'ablation (Transformer vs MLP) :

  • Le backbone Transformer a nettement surpassé le backbone MLP, particulièrement sur le problème complexe tri-objectif RE37.
  • Sur RE37, le Transformer a atteint un HV 12,6 % plus élevé et une Étendue 314 % plus élevée que le MLP.
  • Le mécanisme d'auto-attention a été crédité pour la capture des dépendances globales, menant à une meilleure couverture des fronts de Pareto complexes.

• Évaluation étendue :

  • Sur la suite de tests bbob-biobj, CoAction a démontré une robustesse de généralisation, atteignant des valeurs de HV systématiquement élevées sur cinq paires de tâches différentes.

• Analyse statistique :

  • Les tests de Wilcoxon signés ont confirmé des améliorations statistiquement significatives de l'HV et de l'Étendue pour CoAction par rapport à la ligne de base à tâche unique sur plusieurs problèmes (ZDT1, ZDT2, RE24).
  • Le backbone Transformer a montré des avantages significatifs par rapport au backbone MLP sur RE37 et ZDT1/2.

5. Signification et affirmations

Le document affirme que CoAction répond aux goulots d'étranglement de l'évolutivité et de l'efficacité des méthodes de PSL existantes dans les contextes multi-tâches. En intégrant les encodages de tâche avec un encodeur Transformer, le cadre réussit à :

• Exploiter la connaissance inter-tâches : Il tire parti des structures partagées entre des problèmes d'optimisation liés, améliorant la généralisation et la diversité des solutions.
• Réduire la charge de calcul : Il élimine la mise à l'échelle linéaire des coûts de calcul associée à l'entraînement de modèles séparés pour chaque tâche.
• Gérer les géométries complexes : Le mécanisme d'auto-attention s'avère particulièrement efficace pour les problèmes présentant des géométries de front de Pareto complexes et de haute dimension (ex. RE37), là où les backbones MLP traditionnels peinent à maintenir la distribution des solutions.

Les auteurs concluent que CoAction fournit une approche rigoureuse et efficace pour l'optimisation multi-objectif multi-tâche, validant son utilité à travers des benchmarks et des applications d'ingénierie réelles.