Sintesi Tecnica: MAMO – Un Sistema Multi-Agente per l'Ottimizzazione Vincolata Multi-Obiettivo

1. Definizione del Problema

Molti problemi decisionali nei sistemi di calcolo e di rete, in particolare all'interno del Computing Continuum (CC), possono essere formulati come problemi di minimizzazione dei costi soggetti a vincoli di prestazione (ad es., latenza, throughput o budget di risorse). In ambienti dinamici caratterizzati da carichi di lavoro e disponibilità di risorse fluttuanti, l'Apprendimento per Rinforzo (Reinforcement Learning, RL) viene frequentemente impiegato per risolvere tali problemi durante l'esecuzione.

L'approccio standard per gestire i vincoli nell'RL prevede formulazioni di tipo Lagrangiano, in cui le violazioni dei vincoli vengono aggregate al costo primario in un singolo scalare attraverso termini di penalità pesati scelti manualmente. Questo articolo identifica un limite critico in questo paradigma: il comportamento della policy appresa dipende fortemente da questi pesi fissi.

• Il Dilemma del Trade-off: Selezionare i pesi appropriati è difficile e specifico per ogni problema. Pesi errati portano a policy che sono o eccessivamente conservative (priorità ai vincoli a scapito del costo) o eccessivamente aggressive (minimizzazione dei costi con frequenti violazioni dei requisiti di Qualità del Servizio - QoS).
• Non-Stazionarietà: In ambienti dinamici, l'importanza relativa degli obiettivi può cambiare nel tempo, rendendo subottimali i pesi statici e scelti manualmente.

Il documento propone una soluzione per disaccoppiare l'esecuzione del compito dalla progettazione della funzione obiettivo, passando da una sintonizzazione manuale dei parametri verso un meccanismo autonomo e adattivo.

2. Metodologia: Il Framework MAMO

Gli autori propongono MAMO (Multi-Agent system for Multi-Objective constrained optimization), un framework multi-agente gerarchico progettato per apprendere il trade-off tra obiettivi contrastanti. MAMO tratta la selezione dei coefficienti di ponderazione della ricompensa come un problema di apprendimento piuttosto che come una scelta di progettazione fissa.

Architettura

MAMO è composto da due agenti che operano su diverse scale temporali e livelli di astrazione:

1. Agente di Esecuzione del Compito (Task-Execution - TE):

   • Ruolo: Interagisce direttamente con l'ambiente per apprendere una policy di controllo.
   • Meccanismo: Utilizza una funzione di ricompensa pesata standard che aggrega il costo primario e le penalità per la violazione dei vincoli.
   • Comportamento: Per un insieme fisso di pesi, l'agente TE si comporta come un convenzionale agente RL, ottimizzando l'obiettivo composito.

2. Agente di Adattamento dei Pesi (Weight-Adaptation - WA):

   • Ruolo: Opera a un livello superiore e su una scala temporale più lenta. Non agisce direttamente sull'ambiente.
   • Meccanismo: Seleziona i valori dei coefficienti di ponderazione ($w$) che regolano il trade-off nell'agente TE.
   • Segnale di Apprendimento: L'agente WA osserva indicatori di prestazione aggregati (ad es., costo di esecuzione medio e probabilità di rifiuto media) prodotti dall'agente TE.
     • Se la probabilità di rifiuto supera la soglia di tolleranza, l'agente WA riceve una ricompensa pari a zero (penalizzando le violazioni dei vincoli).
     • Se i vincoli sono soddisfatti, la ricompensa corrisponde al costo di esecuzione (incoraggiando costi inferiori).
   • Obiettivo: Apprendere una policy che mappi i riepiloghi delle prestazioni in nuovi valori di peso, minimizzando i costi di esecuzione pur rispettando i vincoli.

Flusso di Lavoro

Il sistema opera in un ciclo iterativo a due fasi:

1. Selezione del Peso e Addestramento del TE: L'agente WA seleziona una configurazione di pesi (inizialmente casuale) e la fissa per un orizzonte di addestramento. L'agente TE interagisce con l'ambiente e aggiorna la sua policy per ottimizzare la ricompensa pesata.
2. Valutazione e Adattamento: Al termine dell'orizzonte, l'agente WA osserva gli indicatori di prestazione dell'agente TE. In base a questo feedback, seleziona una nuova configurazione di pesi e inizia un nuovo ciclo di addestramento del TE.

Questa struttura permette a MAMO di raffinare progressivamente l'equilibrio tra efficienza dei costi e preservazione della QoS direttamente dall'esperienza, senza fare affidamento sulla sintonizzazione manuale.

3. Applicazione di Riferimento: Scalabilità delle Repliche Edge-FaaS

Per illustrare il framework, gli autori applicano MAMO a un problema di scalabilità delle repliche in un ambiente di edge computing Function-as-a-Service (FaaS).

• Contesto: I nodi edge hanno risorse limitate (memoria, calcolo) rispetto al cloud. Le applicazioni sono decomposte in funzioni stateless istanziate su richiesta.
• Obiettivo: Minimizzare il costo di inizializzazione ed esecuzione delle repliche delle funzioni (inclusi gli overhead di cold-start) garantendo che la probabilità di rifiuto delle richieste rimanga al di sotto di una specifica tolleranza ($tol$).
• Sfida: I carichi di lavoro sono non-stazionari (ad es., pattern diari) e la disponibilità delle risorse fluttua a causa dei servizi co-localizzati. La modellazione accurata dell'effetto congiunto di questi fattori sulla probabilità di rifiuto è difficile, rendendo l'RL model-free adatto.

4. Analisi Sperimentale

Gli autori hanno valutato MAMO in un'istanza semplificata che coinvolge una singola funzione con un tracciato di carico di lavoro sinusoidale (che emula pattern diari) e ha aggiunto rumore uniforme per simulare la non-stazionarietà.

Setup Sperimentale

• Baseline: Il problema è stato risolto offline utilizzando l'ottimizzatore Gurobi per stabilire un limite inferiore delle prestazioni in condizioni di conoscenza perfetta.
• Casi di Controllo: L'agente TE è stato addestrato con pesi fissi ($w=0.99$ e $w=0.1$) per dimostrare comportamenti estremi (sovra-provisioning vs sotto-provisioning).
• Configurazione MAMO:
  • Agente TE: Deep Q-Learning con una rete interconnessa a tre strati.
  • Agente WA: Spazio delle azioni discretizzato (passo di 0.01) per la selezione del peso.
  • Ciclo di Addestramento: Il TE si addestra per 15.000 iterazioni per ogni peso; il WA osserva gli ultimi 300 passi.
  • Vincolo: La probabilità di rifiuto deve rimanere al di sotto di 0.05.

Risultati

• Convergenza: Mentre l'agente WA veniva addestrato, la probabilità di rifiuto osservata ($p$) si avvicinava alla soglia di tolleranza di 0.05, mentre il peso $w$ convergeva a valori compresi tra 0.8 e 0.9.
• Prestazioni: Sebbene la policy appresa abbia prodotto costi di esecuzione leggermente superiori rispetto alla soluzione ottimale offline, essa è riuscita ad adattarsi al carico di lavoro rumoroso.
• Risultato Chiave: MAMO ha mantenuto costantemente la probabilità di rifiuto al di sotto della soglia di 0.05, mentre gli approcci a peso fisso hanno o violato i vincoli (basso $w$) o hanno incorreto in costi non necessari (alto $w$).

5. Contributi Chiave

1. Disaccoppiamento tra Esecuzione e Progettazione dell'Obiettivo: MAMO introduce un'architettura gerarchica che separa la policy di controllo (TE) dalla progettazione della ricompensa (WA), permettendo al sistema di adattare la propria nozione di "ottimalità" man mano che le condizioni evolvono.
2. Adattamento Autonomo dei Pesi: A differenza degli approcci tradizionali in cui i pesi sono sintonizzati manualmente o ottimizzati tramite meta-learning basato su gradienti, MAMO inquadra la selezione dei pesi come un problema decisionale sequenziale risolto da un agente separato.
3. Interpretabilità: L'approccio limita l'adattamento a un vettore a bassa dimensione di pesi di scalarizzazione su obiettivi predefiniti, offrendo un'alternativa più strutturata e interpretabile rispetto ai modelli di ricompensa intrinseca a forma libera.
4. Compatibilità Model-Free: Il ciclo esterno (agente WA) non richiede la differenziabilità attraverso l'apprendista interno (TE), rendendo il framework compatibile con arbitrari solver interni.

6. Significato e Lavoro Futuro

Il documento afferma che MAMO rappresenta un "primo passo verso soluzioni basate su RL più autonome e robuste" per l'ottimizzazione vincolata in ambienti dinamici. La significatività risiede nella sua capacità di gestire il trade-off tra obiettivi contrastanti senza fare affidamento su parametri statici e sintonizzati manualmente che possono diventare obsoleti al variare della dinamica del sistema.

Gli autori rimangono modesti riguardo all'ambito dell'attuale lavoro, notando che l'analisi sperimentale si basa su un "caso d'uso semplice". La ricerca futura prevede:

• Valutare MAMO su problemi provenienti da diversi domini applicativi.
• Confrontare MAMO con altre strategie di selezione dei pesi, come schemi di dual-decomposition, ottimizzazione Bayesiana e algoritmi multi-policy (ad es., Optimistic Linear Support).