Riepilogo Tecnico: Attenzione Tchebycheff Adattiva Liscia per l'Ottimizzazione di Politiche Multi-Obiettivo

Enunciato del Problema

L'Apprendimento per Rinforzo Profondo (RL) nei domini robotici richiede spesso di bilanciare obiettivi multipli e conflittuali (ad esempio, velocità contro sicurezza, copertura della ricerca contro furtività). Mentre il RL standard si basa su ricompense scalari, l'Apprendimento per Rinforzo Multi-Obiettivo (MORL) affronta scenari in cui l'ambiente restituisce un vettore di ricompense. L'obiettivo è trovare politiche sul fronte di Pareto, dove nessun obiettivo può essere migliorato senza degradarne un altro.

Gli approcci esistenti affrontano un compromesso fondamentale tra stabilità dell'ottimizzazione e precisione geometrica:

1. Scalarizzazione Lineare (LS): Combina gli obiettivi tramite una somma ponderata. Sebbene stabile, è teoricamente incapace di recuperare soluzioni nelle regioni non convesse del fronte di Pareto, portando a politiche subottimali in ambienti dinamici complessi.
2. Scalarizzazione Tchebycheff (TCH): Può teoricamente recuperare tutte le soluzioni Pareto-ottimali indipendentemente dalla convessità minimizzando la massima deviazione ponderata da un punto ideale "utopico". Tuttavia, l'operatore non differenziabile max causa instabilità del gradiente e aggiornamenti sparsi nel RL profondo.
3. Tchebycheff Liscio (STCH): Sostituisce l'operatore max con un'approssimazione Log-Sum-Exp controllata da un parametro di liscezza $\mu$. Sebbene ciò consenta il flusso del gradiente, introduce un collo di bottiglia critico:
   • $\mu$ piccolo: Si avvicina alla vera funzione TCH ma causa carestia del gradiente, dove solo l'obiettivo dominante riceve aggiornamenti, portando a una dimenticanza catastrofica degli altri obiettivi.
   • $\mu$ grande: Garantisce gradienti lisci ma fa regredire il metodo a una scalarizzazione lineare, perdendo la capacità di navigare le regioni non convesse.
   • Sintonizzazione Statica: Un $\mu$ fisso è difficile da sintonizzare perché il "dataset" RL (l'esperienza dell'agente) è non stazionario; la scala dei vantaggi e la vicinanza al punto utopico cambiano mentre la politica evolve.

Metodologia: PASTA

Gli autori propongono PASTA (Policy-optimization via Adaptive Smooth Tchebycheff Attention), un framework che modula dinamicamente la curvatura del paesaggio di ottimizzazione per risolvere la tensione tra stabilità e precisione.

1. Tchebycheff Liscio Adattivo (ASTCH)

Al centro di PASTA vi è la scalarizzazione ASTCH, che regola dinamicamente il parametro di liscezza $\mu$ basandosi sull'interferenza del gradiente in tempo reale.

• Controllore Guidato dal Conflitto: Il sistema monitora il Rapporto di Conflitto ($\kappa$), definito come la frazione di coppie di gradienti di obiettivi campionati che esibiscono prodotti interni negativi (indicando interferenza distruttiva).
• Adattamento Elastico:
  • Ricottura: Man mano che l'addestramento procede e i conflitti vengono risolti, $\mu$ decade verso un valore preciso e basso per affinare la scalarizzazione, permettendo all'agente di convergere verso soluzioni Pareto non convesse.
  • Frenata Dinamica: Se il rapporto di conflitto supera una soglia (indicando un'ottimizzazione instabile), il controllore aumenta temporaneamente $\mu$. Questo "frena" il processo, facendolo regredire a un'approssimazione più liscia e simile alla lineare per stabilizzare l'aggiornamento della politica e prevenire la carestia del gradiente.
  • Lisciatura Inerziale: Viene applicata una Media Mobile Esponenziale (EMA) a $\mu$ per prevenire oscillazioni rapide che potrebbero violare le ipotesi di distribuzione stazionaria degli algoritmi on-policy.

2. Critico Ramificato Allineato all'Attenzione

Per garantire che la funzione valore apprenda le priorità corrette, PASTA introduce un'architettura Critico Ramificato con un estrattore di caratteristiche condiviso e teste di valore indipendenti per ciascun obiettivo.

• Meccanismo di Attenzione STCH: Il gradiente della funzione STCH induce naturalmente una ponderazione normalizzata e positiva ($\delta$) sugli obiettivi. Gli obiettivi con deviazioni maggiori dal punto utopico ricevono un'attenzione esponenzialmente più alta.
• Tasso di Mantenimento ($\rho$): Per contrastare la carestia del gradiente nei regimi a basso $\mu$, viene introdotto un tasso di mantenimento. I pesi di attenzione effettivi sono una miscela dell'attenzione derivata da STCH e di una distribuzione uniforme, garantendo che ogni obiettivo riceva un budget minimo di gradiente.
• Allineamento della Perdita: La perdita del critico è ponderata da questi coefficienti di attenzione, assicurando che la capacità di stima del valore sia allocata agli obiettivi che attualmente agiscono come colli di bottiglia.

3. Proiezione del Gradiente Consapevole del Conflitto

Per mitigare ulteriormente l'interferenza distruttiva, PASTA integra una variante della Proiezione dei Gradienti in Conflitto (PCGrad).

• Invece di scalarizzare immediatamente i vantaggi, l'algoritmo mantiene un vettore di vantaggi.
• I gradienti della politica per gli obiettivi individuali sono calcolati separatamente.
• Se viene rilevato un conflitto tra due gradienti di obiettivi, uno viene proiettato sul piano normale dell'altro. Ciò permette all'agente di rispettare i vincoli individuali della regione di fiducia mentre naviga i conflitti geometrici intrinseci ai fronti di Pareto non convesi.

Contributi Chiave

1. Framework ASTCH: Un nuovo metodo di scalarizzazione che regola dinamicamente il parametro di liscezza $\mu$ basandosi su una stima online del conflitto di gradiente inter-obiettivo, eliminando la necessità di sintonizzazione manuale e prevenendo la carestia del gradiente.
2. Algoritmo PASTA: Un metodo di gradiente di politica on-policy che integra ASTCH, un controllore guidato dal conflitto e critici allineati all'attenzione. Tiene esplicitamente conto della non stazionarietà dei punti utopici e delle stime di valore nel MORL.
3. Validazione Empirica: Valutazione estesa su compiti reali e simulati impegnativi, dimostrando una scoperta robusta di politiche Pareto-ottimali in regioni non convesse inaccessibili alle linee di base lineari e instabili per i metodi non lineari statici.

Risultati Sperimentali

Gli autori hanno valutato PASTA in tre domini distinti:

1. Ricerca Visiva Furtiva (Reale & Simulazione):

   • Compito: Un robot terrestre deve cercare oggetti minimizzando l'esposizione (furtività) e massimizzando la velocità di esplorazione.
   • Risultati: PASTA ha raggiunto un IperVolume (HV) di 0,291, un miglioramento del 45,5% rispetto alla linea di base statica più forte (STCH con $\mu=10.0$). Ha raggiunto un Tasso di Vittoria del 100% su vettori di preferenze diversi, superando significativamente le linee di base Lineare, Tchebycheff e STCH a parametri fissi.
   • Deploy Reale: Validato su un UGV Clearpath Jackal in ambienti esterni con terreno irregolare e ostacoli, bilanciando con successo ricerca, furtività e sicurezza.

2. Benchmark Multi-Obiettivo MuJoCo:

   • Compiti: Compiti di controllo continuo (HalfCheetah, Humanoid, Ant, Walker2D) con obiettivi conflittuali.
   • Risultati: PASTA ha costantemente raggiunto un IperVolume più alto e una migliore copertura del fronte di Pareto rispetto alle linee di base in tutti gli ambienti, dimostrando una maggiore efficienza del campione e robustezza.

3. Navigazione di Quadricotteri (Crazyflie):

   • Compiti: "Frogger" (navigazione attraverso ostacoli dinamici) e "Formazione" (mantenere una formazione triangolare evitando ostacoli).
   • Risultati: PASTA ha superato le linee di base sia nell'HV che nei tassi di successo del compito. Nei voli reali, l'agente ha raggiunto un tasso di successo del compito del 91,2% (52/57 obiettivi) senza schiantarsi, dimostrando l'applicabilità del metodo a piattaforme aeree con ostacoli dinamici stocastici.

Significato e Affermazioni

Il documento afferma che PASTA fornisce una soluzione robusta alla tensione di lunga data tra stabilità dell'ottimizzazione e precisione geometrica nel MORL senza modello. Trattando l'interferenza del gradiente come un segnale di feedback, il metodo crea un paesaggio di ottimizzazione "elastico":

• Ricotte verso una scalarizzazione precisa e non convessa quando gli obiettivi si allineano, consentendo la scoperta di soluzioni nelle regioni concave del fronte di Pareto.
• Frena elasticamente in approssimazioni stabili e lisce quando emergono conflitti di gradiente distruttivi, prevenendo la dimenticanza catastrofica e il collasso dell'addestramento.

Gli autori sottolineano che questo approccio permette ai robot di risolvere autonomamente requisiti complessi e conflittuali in scenari reali non strutturati senza la sintonizzazione estesa degli iperparametri richiesta dai metodi di scalarizzazione statica. Il lavoro è presentato come un passo verso un apprendimento multi-obiettivo affidabile e specifico per le preferenze per la robotica, sebbene gli autori notino limitazioni riguardanti l'interdipendenza degli iperparametri (rapporto di conflitto vs. tasso di mantenimento) e il focus su politiche specifiche per le preferenze piuttosto che su politiche condizionate alle preferenze.