Multi-Task Optimization over Networks of Tasks

Riassunto Tecnico: MONET (Multi-Task Optimization over Networks of Tasks)

1. Il Problema (Problem Statement)

L'ottimizzazione multi-task mira a trovare simultaneamente soluzioni di alta qualità per una vasta gamma di compiti correlati (ad esempio, diversi parametri di un robot). Gli approcci esistenti presentano un fondamentale trade-off tra scalabilità e struttura:

• Metodi basati su popolazione: Mantengono una popolazione separata per ogni task; diventano computazionalmente impraticabili quando il numero di task supera le migliaia.
• Algoritmi Quality-Diversity (come MAP-Elites): Utilizzano un archivio strutturato per scalare, ma soffrono di due limiti:
  1. Discretizzazione rigida: L'archivio è spesso una griglia fissa che soffre della "maledizione della dimensionalità".
  2. Topologia "piatta": Gli algoritmi come MT-ME o PT-ME trattano l'archivio come un insieme di elementi dove il trasferimento di conoscenza non sempre rispetta la reale vicinanza geometrica tra i task nello spazio dei parametri.

2. Metodologia (Methodology)

Gli autori introducono MONET, un algoritmo che modella lo spazio dei task come un grafo esplicito $\mathcal{G} = (\mathcal{V}, \mathcal{E}, \mathcal{A})$:

• Nodi ($\mathcal{V}$): Ogni nodo rappresenta un task specifico $\tau_i$.
• Archi ($\mathcal{E}$): Gli archi collegano i task che sono vicini nello spazio dei parametri (basandosi su una distanza $d$, tipicamente euclidea), creando un vicinato definito.
• Etichette ($\mathcal{A}$): Ogni nodo memorizza la migliore soluzione ($\theta$) trovata finora per quel task.

Il processo evolutivo di MONET si basa su due meccanismi complementari che imitano l'evoluzione culturale:

1. Individual Learning (Apprendimento Individuale): Un processo di mutazione che opera sul nodo focale per esplorare il paesaggio di fitness locale di quel singolo task.
2. Social Learning (Apprendimento Sociale): Un processo di crossover che trasferisce conoscenza tra nodi vicini nel grafo. Seleziona un "genitore" da un task vicino e lo ricombina con la soluzione del task focale.

L'algoritmo bilancia questi due processi tramite una probabilità $p_{ind}$, permettendo un mix tra esplorazione locale e trasferimento di informazioni strutturato.

3. Contributi Chiave (Key Contributions)

• Nuova Rappresentazione: Sostituzione dell'archivio a griglia (discretizzato) con una struttura a grafo che scala linearmente con il numero di task e la dimensione del vicinato, rendendolo adatto a spazi di task ad alta dimensionalità.
• Integrazione della Topologia: Il grafo rende la vicinanza tra i task un elemento strutturale primario che governa il trasferimento di conoscenza (recombination), a differenza dei metodi precedenti che sono prevalentemente "piatti".
• Tassonomia Formale: Forniscono una definizione matematica unificata che permette di confrontare rigorosamente le varianti di MAP-Elites con il nuovo approccio MONET.
• Analisi deiperparametri: Uno studio sistematico che utilizza modelli surrogati (Gradient-Boosted Trees) e valori SHAP per identificare come il bilanciamento tra apprendimento sociale e individuale influenzi la performance.

4. Risultati (Results)

L'algoritmo è stato testato su quattro domini (Archery, Arm, Cartpole, Hexapod) con un budget di $10^6$ valutazioni. I risultati mostrano che:

• Performance Superiori: MONET (sia nella configurazione standard che in quella ottimizzata tramite SPOT) eguaglia o supera i baseline più forti (MT-ME e PT-ME) in termini di fitness finale e AUC (Area Under the Curve), indicando una convergenza più rapida.
• Efficienza di Convergenza: Nel compito Archery, MONET raggiunge prestazioni quasi ottimali molto più velocemente dei competitor.
• Scalabilità nel compito Hexapod: Nel dominio più complesso (Hexapod), la versione ottimizzata di MONET quasi raddoppia la fitness rispetto a MT-ME.
• Importanza del Social Learning: L'analisi SHAP ha confermato che la probabilità di apprendimento individuale ($p_{ind}$) è il parametro più critico: valori bassi (che favoriscono il social learning) tendono a migliorare drasticamente la performance globale.

5. Significato e Conclusioni (Significance)

Il lavoro dimostra che sfruttare la topologia dello spazio dei task è una risorsa preziosa e finora sottoutilizzata nell'ottimizzazione multi-task su larga scala. MONET offre un framework robusto per problemi in cui i task sono correlati, permettendo a un agente di "imparare dai vicini" invece di dover risolvere ogni problema da zero o di cercare informazioni in modo casuale in un archivio globale. Questo approccio ha implicazioni dirette nella robotica modulare e nella gestione di agenti che devono adattarsi a cambiamenti morfologici o ambientali.