Technische Samenvatting: CoAction – Cross-task Correlation-aware Pareto Set Learning

1. Probleemstelling

Multi-objective optimalisatie (MOO) streeft naar het vinden van een set afruiloplossingen (het Pareto-front, PS) voor conflicterende doelstellingen. Hoewel traditionele evolutionaire algoritmen (bijv. NSGA-II, MOEA/D) per run eindige verzamelingen oplossingen genereren, hebben zij moeite met real-time besluitvorming waarbij voorkeuren dynamisch veranderen. Pareto Set Learning (PSL) pakt dit aan door neurale netwerken te trainen om voorkeursvectoren in real-time te mappen naar Pareto-optimale oplossingen.

Bestaande PSL-methoden kampen echter met een fundamentele beperking: ze zijn ontworpen om één MOO-probleem tegelijk op te lossen. In scenario's die betrokken zijn bij meerdere gerelateerde optimalisatieproblemen (Multi-Task Learning, MTL), vereist dit paradigma het trainen van een apart model voor elke taak. Deze aanpak leidt tot lineair schalerende computationele kosten en slaagt er niet in de latente structurele gelijkenissen en gedeelde kennis over gerelateerde taken te exploiteren. Het artikel identificeert de noodzaak voor een uniform framework dat gelijktijdig Pareto-sets voor meerdere taken kan leren terwijl het de correlaties tussen taken modelleert om efficiëntie en generalisatie te verbeteren.

2. Methodologie: Het CoAction-framework

De auteurs stellen CoAction (Cross-task Correlation-aware Pareto Set Learning) voor, een framework dat is ontworpen om Pareto-optimale oplossingsverzamelingen over meerdere optimalisatieproblemen binnen één enkel model te leren. De methodologie integreert drie kerncomponenten:

2.1 Task Embedding Mechanisme

Om een enkel model in staat te stellen om tussen verschillende taken te onderscheiden terwijl parameters worden gedeeld, gebruikt CoAction een task embedding-schema. In tegenstelling tot leerbare embedding-vectoren die slecht schalen met het aantal taken en mogelijk niet generaliseren naar ongeziene aantallen taken, maakt CoAction gebruik van sinusoïdale positionele codering geïnspireerd door Transformer-architecturen.

• Elke taak $t$ krijgt een unieke $d$-dimensionale embedding vector $e_t$.
• De embedding wordt geconstrueerd met behulp van sinus- en cosinusfuncties van de taakindex $t$, waardoor taken met vergelijkbare indices vergelijkbare embeddings hebben (smoothness) terwijl ze toch onderscheidbaar blijven (injectiviteit).
• Deze embedding wordt geconcateneerd met de voorkeursvector $\lambda(\theta)$ en zero-padding om de input voor het netwerk te vormen, waardoor het model taakspecifieke beslissingsvariabelen kan genereren.

2.2 Transformer Backbone

Het framework maakt gebruik van een Transformer encoder als backbone-architectuur.

• Self-Attention: Het self-attention mechanisme wordt ingezet om complexe globale afhankelijkheden tussen taken te vangen. Dit stelt het model in staat om de invloed van verschillende taken tijdens de training dynamisch te wegen, wat de modellering van inter-taak relaties faciliteert.
• Architectuur: Het netwerk bestaat uit een lineaire projectielaag, positionele codering, een single-layer encoder block (4 attention heads, 128 hidden dimension), een weighted pooling module en taakspecifieke output heads.
• Parameter Sharing: De backbone-parameters worden gedeeld over alle taken, terwijl taakspecifieke output heads de nodige aanpassingen mogelijk maken, wat catastrofale vergetelheid (catastrophic forgetting) tegengaat.

2.3 Multitask Collaboratieve Training

Het trainingsproces omvat een collaboratief algoritme (Algoritme 1) waarbij:

• Taken willekeurig worden gesampled tijdens elke iteratie.
• Voorkeursvectoren uniform worden gesampled uit de positieve orthant van de eenheids hypersfeer.
• Het model wordt geoptimaliseerd met een Hypervolume Maximization-gebaseerde verliesfunctie (PSL-HV1). Deze verliesfunctie maximaliseert een surrogaatvorm van de Hypervolume (HV) indicator, wat het model stimuleert om het gehele Pareto-front te benaderen.
• Gradient clipping wordt toegepast om de stabiliteit van de training te waarborgen.

3. Belangrijkste Bijdragen

Het artikel beschrijft de volgende primaire bijdragen:

1. Uniform Framework: Het voorstel van het CoAction-framework, dat gebruik maakt van task embeddings, gedeelde netwerkparameters en een Transformer backbone om inter-taak relaties te modelleren. Dit maakt het mogelijk voor een enkel model om Pareto-sets voor meerdere problemen gelijktijdig te leren.
2. Efficiëntie en Expressiviteit: Het framework vermindert de computationele kosten door het elimineren van de noodzaak voor aparte modellen per taak en verhoogt de expressiviteit van het model via het self-attention mechanisme.
3. Uitgebreide Evaluatie: Uitgebreide experimenten uitgevoerd op multitask testsuites bestaande uit zowel benchmarkproblemen (ZDT, VLMOP) als real-world engineering toepassingen (Truss, Hatch Cover, Rocket Injector ontwerpen).

4. Experimentele Resultaten

De auteurs evalueerden CoAction tegenover een single-task PSL baseline en een MLP-gebaseerde multitask baseline met behulp van drie metrieken: Hypervolume (HV), Range en Sparsity.

• Prestaties vs. Single-Task Baseline:

  • CoAction behaalde competitieve of superieure prestaties in HV en Range op de meeste problemen (bijv. ZDT1, ZDT2, RE21, RE24).
  • Op het tri-objective RE37 probleem, hoewel de verschillen in HV marginaal waren, demonstreerde het framework robuustheid.
  • Computationele Efficiëntie: CoAction verminderde de trainingstijd met 27% (270.13s vs. 370.25s) vergeleken met de single-task baseline, ondanks het feit dat er op zeven taken tegelijkertijd werd getraind.
  • Stabiliteit: Het framework vertoonde een lage variantie in HV over runs, wat wijst op stabiele convergentie en een gebrek aan significante catastrofale vergetelheid.

• Ablatie Studie (Transformer vs. MLP):

  • De Transformer backbone presteerde aanzienlijk beter dan de MLP backbone, met name op het complexe tri-objective RE37 probleem.
  • Op RE37 bereikte de Transformer een 12,6% hogere HV en een 314% hogere Range vergeleken met de MLP.
  • Het self-attention mechanisme werd de eer toegeschreven voor het vangen van globale afhankelijkheden, wat leidde tot een betere dekking van complexe Pareto-fronten.

• Uitgebreide Evaluatie:

  • Op de bbob-biobj testsuite demonstreerde CoAction robuuste generaliseerbaarheid, waarbij het consequent hoge HV-waarden behaalde over vijf verschillende taakcombinaties.

• Statistische Analyse:

  • Wilcoxon signed-rank tests bevestigden statistisch significante verbeteringen in HV en Range voor CoAction ten opzichte van de single-task baseline op verschillende problemen (ZDT1, ZDT2, RE24).
  • De Transformer backbone toonde significante voordelen ten opzichte van de MLP backbone op RE37 en ZDT1/2.

5. Betekenis en Claims

Het artikel claimt dat CoAction de schaalbaarheids- en efficiëntie-bottlenecks van bestaande PSL-methoden in multitask-omgevingen aanpakt. Door de integratie van task embeddings met een Transformer encoder, slaagt het framework erin om:

• Cross-task Kennis te Benutten: Het exploiteert gedeelde structuren over gerelateerde optimalisatieproblemen, wat de generalisatie en de diversiteit van oplossingen verbetert.
• Computationele Overhead te Verminderen: Het elimineert de lineair schalerende computationele kosten die gepaard gaan met het trainen van aparte modellen voor elke taak.
• Complexe Geometrieën te Handelen: Het self-attention mechanisme blijkt bijzonder effectief voor problemen met complexe, hoog-dimensionale Pareto-front geometrieën (bijv. RE37), waar traditionele MLP backbones moeite hebben om de distributie van oplossingen te behouden.

De auteurs concluderen dat CoAction een principieel en effectief aanpak biedt voor multi-objective multi-task optimalisatie, en valideren de bruikbaarheid ervan door middel van zowel benchmark als real-world engineering toepassingen.