Riepilogo Tecnico: CoAction – Cross-task Correlation-aware Pareto Set Learning

1. Definizione del Problema

L'ottimizzazione multi-obiettivo (MOO) mira a trovare un insieme di soluzioni di compromesso (il Pareto set, PS) per obiettivi contrastanti. Sebbene gli algoritmi evolutivi tradizionali (ad es. NSGA-II, MOEA/D) generino insiemi finiti di soluzioni per singola esecuzione, essi faticano nel processo di decision-making in tempo reale dove le preferenze cambiano dinamicamente. Il Pareto Set Learning (PSL) affronta questo problema addestrando reti neurali per mappare i vettori di preferenza in soluzioni Pareto ottimali in tempo reale.

Tuttavia, i metodi PSL esistenti soffrono di un limite fondamentale: sono progettati per risolvere un singolo problema di MOO alla volta. In scenari che coinvolgono molteplici problemi di ottimizzazione correlati (Multi-Task Learning, MTL), questo paradigma richiede l'addestramento di un modello separato per ogni task. Questo approccio comporta costi computazionali che scalano linearmente e non riesce a sfruttare le somiglianze strutturali latenti e la conoscenza condivisa tra task correlati. Il documento identifica la necessità di un framework unificato che possa apprendere simultaneamente i Pareto set per più task, modellando al contempo le correlazioni tra i task per migliorare l'efficienza e la generalizzazione.

2. Metodologia: Il Framework CoAction

Gli autori propongono CoAction (Cross-task Correlation-aware Pareto Set Learning), un framework progettato per apprendere insiemi di soluzioni Pareto ottimali attraverso molteplici problemi di ottimizzazione all'interno di un unico modello. La metodologia integra tre componenti principali:

2.1 Meccanismo di Task Embedding

Per consentire a un singolo modello di distinguere tra diversi task condividendo i parametri, CoAction impiega uno schema di task embedding. A differenza dei vettori di embedding apprendibili che scalano scarsamente con il numero di task e possono fallire nel generalizzare a conteggi di task non visti, CoAction utilizza un codifica posizionale sinusoidale ispirata alle architetture Transformer.

• Ogni task $t$ riceve un vettore di embedding $e_t$ di dimensione $d$ univoco.
• L'embedding è costruito utilizzando funzioni seno e coseno dell'indice del task $t$, garantendo che i task con indici simili abbiano embedding simili (smoothness) pur rimanendo distinguibili (iniettività).
• Questo embedding viene concatenato con il vettore di preferenza $\lambda(\theta)$ e sottoposto a zero-padding per formare l'input della rete, permettendo al modello di generare variabili decisionali specifiche per il task.

2.2 Backbone Transformer

Il framework utilizza un encoder Transformer come architettura backbone.

• Self-Attention: Il meccanismo di self-attention è impiegato per catturare complesse dipendenze globali tra i task. Ciò consente al modello di pesare dinamicamente l'influenza di diversi task durante l'addestramento, facilitando la modellazione delle relazioni inter-task.
• Architettura: La rete consiste in uno strato di proiezione lineare, codifica posizionale, un singolo blocco encoder (4 teste di attenzione, 128 dimensioni nascoste), un modulo di pooling pesato e teste di output specifiche per il task.
• Condivisione dei Parametri: I parametri del backbone sono condivisi tra tutti i task, mentre le teste di output specifiche per il task permettono i necessari aggiustamenti, mitigando l'oblio catastrofico.

2.3 Addestramento Collaborativo Multi-task

Il processo di addestramento prevede un algoritmo collaborativo (Algoritmo 1) in cui:

• I task vengono campionati casualmente durante ogni iterazione.
• I vettori di preferenza sono campionati uniformemente dall'ortante positivo dell'ipersfera unitaria.
• Il modello è ottimizzato utilizzando una funzione di perdita basata sulla massimizzazione dell'ipervolume (PSL-HV1). Questa funzione di perdita massimizza una forma surrogata dell'indicatore di Hypervolume (HV), incoraggiando il modello ad approssimare l'intero fronte di Pareto.
• Viene applicato il clipping del gradiente per garantire la stabilità dell'addestramento.

3. Contributi Chiave

Il documento delinea i seguenti contributi primari:

1. Framework Unificato: La proposta del framework CoAction, che sfrutta task embedding, parametri di rete condivisi e un backbone Transformer per modellare le relazioni inter-task. Ciò consente a un singolo modello di apprendere i Pareto set per molteplici problemi simultaneamente.
2. Efficienza ed Espressività: Il framework riduce i costi computazionali eliminando la necessità di modelli separati per ogni task e migliora l'espressività del modello attraverso il meccanismo di self-attention.
3. Valutazione Comprensiva: Esperimenti estesi condotti su suite di test multi-task che comprendono sia problemi benchmark (ZDT, VLMOP) che applicazioni ingegneristiche del mondo reale (progettazioni di Truss, Hatch Cover, Rocket Injector).

4. Risultati Sperimentali

Gli autori hanno valutato CoAction rispetto a un baseline PSL a task singolo e a un baseline multi-task basato su MLP utilizzando tre metriche: Hypervolume (HV), Range e Sparsity.

• Performance vs. Baseline a Task Singolo:

  • CoAction ha ottenuto prestazioni competitive o superiori in termini di HV e Range nella maggior parte dei problemi (ad es. ZDT1, ZDT2, RE21, RE24).
  • Sul problema tri-obiettivo RE37, sebbene le differenze di HV fossero marginali, il framework ha dimostrato robustezza.
  • Efficienza Computazionale: CoAction ha ridotto il tempo di addestramento del 27% (270.13s rispetto a 370.25s) rispetto al baseline a task singolo, nonostante l'addestramento su sette task simultaneamente.
  • Stabilità: Il framework ha mostrato una bassa varianza di HV tra le esecuzioni, indicando una convergenza stabile e l'assenza di un significativo oblio catastrofico.

• Studio di Ablazione (Transformer vs. MLP):

  • Il backbone Transformer ha superato significativamente il backbone MLP, in particolare sul complesso problema tri-obiettivo RE37.
  • Su RE37, il Transformer ha ottenuto un HV superiore del 12.6% e un Range superiore del 314% rispetto all'MLP.
  • Il meccanismo di self-attention è stato ritenuto responsabile della cattura delle dipendenze globali, portando a una migliore copertura dei fronti di Pareto complessi.

• Valutazione Estesa:

  • Sulla suite di test bbob-biobj, CoAction ha dimostrato una robusta generalizzabilità, ottenendo valori di HV costantemente elevati attraverso cinque diversi accoppiamenti di task.

• Analisi Statistica:

  • I test di Wilcoxon signed-rank hanno confermato miglioramenti statisticamente significativi in HV e Range per CoAction rispetto al baseline a task singolo su diversi problemi (ZDT1, ZDT2, RE24).
  • Il backbone Transformer ha mostrato vantaggi significativi rispetto al backbone MLP su RE37 e ZDT1/2.

5. Significato e Rivendicazioni

Il documento afferma che CoAction affronta i colli di bottiglia di scalabilità ed efficienza degli esistenti metodi PSL in contesti multi-task. Integrando i task embedding con un encoder Transformer, il framework riesce a:

• Sfruttare la Conoscenza Cross-Task: Esplota le strutture condivise tra problemi di ottimizzazione correlati, migliorando la generalizzazione e la diversità delle soluzioni.
• Ridurre l'Overhead Computazionale: Elimina la scalabilità lineare dei costi computazionali associata all'addestramento di modelli separati per ogni task.
• Gestire Geometrie Complesse: Il meccanismo di self-attention si rivela particolarmente efficace per problemi con geometrie del fronte di Pareto complesse e ad alta dimensionalità (ad es. RE37), dove i tradizionali backbone MLP faticano a mantenere la distribuzione delle soluzioni.

Gli autori concludono che CoAction fornisce un approccio rigoroso ed efficace per l'ottimizzazione multi-obiettivo e multi-task, validandone l'utilità attraverso sia benchmark che applicazioni ingegneristiche del mondo reale.