Sintesi Tecnica: Allineamento Obiettivo-Comportamento: Diagnostica per MORL

Definizione del Probleamento

Il processo decisionale nel mondo reale richiede spesso l'ottimizzazione simultanea di più obiettivi contrastanti. Nel Reinforcement Learning Multi-Obiettivo (MORL), l'approccio standard consiste nel generare un insieme di politiche Pareto-ottimali (il Pareto Set, PS) e i corrispondenti vettori di valore (il Pareto Front, PF). Sebbene ciò esponga i compromessi tra gli obiettivi, gli attuali metodi diagnostici si affidano esclusivamente ai valori degli obiettivi.

Il problema centrale identificato è il Disallineamento Obiettivo-Comportamento: politiche che sono prossimali nello spazio degli obiettivi (ovvero, hanno ritorni attesi simili) possono esibire traiettorie comportamentali radicalmente diverse. I metodi di scalarizzazione, che combinano le ricompense in un singolo segnale, sono noti per essere fragili; piccole variazioni nei pesi possono indurre cambiamenti comportamentali drastici. Tuttavia, anche all'interno di un Pareto front generato, politiche vicine possono seguire traiettorie distinte (ad esempio, muoversi strettamente a sinistra o strettamente a destra) che producono vettori di ritorno identici o quasi identici. Fare affidamento solo sul PF per la selezione della politica rischia di trascurare variazioni comportamentali critiche, portando potenzialmente al dispiegamento di politiche che soddisfano i benchmark numerici ma esibiscono schemi di esecuzione indesiderati o insicuri nella pratica.

Metodologia

Gli autori propongono un workflow diagnostico esplorativo e modulare, progettato per far emergere le variazioni comportamentali lungo il Pareto front che i soli valori degli obiettivi non rivelano. Il workflow consiste in tre fasi principali:

1. Addestramento MORL ed Estrazione delle Traiettorie

Un agente MORL viene addestrato per ottenere un insieme diversificato di politiche che rappresentano il PS e il PF. Il framework è agnostico rispetto allo specifico algoritmo MORL utilizzato; negli esperimenti, gli autori utilizzano un approccio MORL basato sulla decomposizione (MORL/D), un metodo evolutivo che mantiene una popolazione di politiche addestrate con distinti vettori di peso. Per ogni politica, viene estratto un insieme di traiettorie (rollout) insieme ai loro ritorni vettoriali.

2. Aggregazione tramite Codifica del Comportamento

Le traiettorie estratte vengono elaborate per generare rappresentazioni comportamentali compatte e significative.

• Encoder: Il workflow impiega un encoder di traiettorie appreso (basato su Mone et al., 2026) addestrato tramite una funzione di perdita contrastiva composita. Questa include componenti per traiettorie complete ($L_{CLS}$), segmenti di traiettoria ($L_{SEG}$), e coppie di segmenti ($L_{PAIR}$), insieme a un regolarizzatore Deep InfoMax ($L_{DIM}$).
• Embedding: L'encoder mappa le sequenze stato-azione in uno spazio latente. Per garantire una geometria ben strutturata, viene applicato un regolarizzatore di varianza-covarianza per prevenire embedding degeneri.
• Aggregazione: Molteplici embedding di traiettoria per una singola politica vengono aggregate (tramite media) per produrre un singolo vettore comportamentale $z(\pi)$, definendo il manifold comportamentale $Z$.

3. Analisi dell'Allineamento Obiettivo-Comportamento

Il workflow confronta la geometria dello spazio degli obiettivi (PF) con lo spazio del comportamento ($Z$) utilizzando tre strumenti diagnostici:

• Affidabilità (Trustworthiness) e Continuità: Adattati dall'analisi di proiezione non lineare, questi parametri quantificano la preservazione dei vicini.
  • Affidabilità (Trustworthiness, $T$): Misura se i vicini nel PF rimangono vicini in $Z$.
  • Continuità (Continuity, $C$): Misura se i vicini in $Z$ rimangono vicini nel PF.
  • Valori bassi indicano un disallineamento strutturale in cui la prossimità degli obiettivi non riesce a predire la similarità comportamentale.
• Scatter Plot di Lipschitz: Ispirati all'analisi del panorama di ottimizzazione, questi grafici visualizzano la relazione tra le distanze nello spazio degli obiettivi (asse $x$) e nello spazio del comportamento (asse $y$) per politiche consecutive ordinate lungo il front.
  • Regione Critica (In alto a sinistra): Punti in cui le politiche sono vicine nello spazio degli obiettivi ma lontane nello spazio del comportamento. Questi segnalano coppie che richiedono ispezione manuale.
  • Buchi (In basso a destra): Punti in cui le differenze degli obiettivi sono grandi rispetto alle differenze comportamentali.
• Test Qualitativo "a occhio": Il workflow renderizza i rollout delle politiche per consentire agli osservatori umani di verificare direttamente se le discrepanze quantitative corrispondono a differenze comportamentali percepibili.

Contributi Chiave

1. Identificazione di un Gap Strutturale: Il documento definisce formalmente il Disallineamento Obiettivo-Comportamento (Definizione 1) come una proprietà geometrica in cui la mappatura tra il Pareto front e lo spazio del comportamento non preserva i vicini. Evidenzia che questo gap è una proprietà strutturale dei set di politiche MORL spesso trascurata dalla ricerca attuale.
2. Workflow Diagnostico Modulare: Gli autori introducono un framework scalabile per costruire rappresentazioni dello spazio comportamentale e confrontare la loro struttura locale con il Pareto front. Il design accoglie encoder, schemi di aggregazione e metriche alternative.
3. Diagnostica Quantitativa e Visiva: Il documento propone metriche specifiche (Trustworthiness, Continuity) e strumenti visivi (scatter plot di Lipschitz) per segnalare coppie di politiche in cui la prossimità nello spazio degli obiettivi è un riassunto povero della diversità comportamentale.

Risultati

L'approccio è stato validato sia su ambienti grid semplici che su benchmark di controllo continuo:

• Deep Sea Treasure (DST):

  • Left–Right DST: In questa variante, politiche vicine sul PF esibivano traiettorie distinte verso sinistra o verso destra. Il workflow ha rilevato con successo questo disallineamento, producendo valori bassi di Trustworthiness (0.51) e Continuity (0.47). Gli scatter plot di Lipschitz hanno chiaramente identificato la "regione critica" dove le politiche erano vicine nello spazio degli obiettivi ma lontane nello spazio del comportamento.
  • Smooth DST: In questa variante, gli spazi degli obiettivi e del comportamento erano allineati. Le metriche erano vicine a 1.0 e gli scatter plot mostravano distanze coerenti, confermando la capacità del metodo di distinguere tra scenari allineati e disallienti.
  • Validazione dell'Encoder: Gli embedding transformer appresi hanno prodotto un clustering comportamentale coerente con gli embedding progettati manualmente, validando la capacità dell'encoder di catturare pattern comportamentali rilevanti senza annotazioni esterne.

• Ambienti MuJoCo (MO-HalfCheetah e MO-Hopper):

  • Le metriche globali hanno indicato un forte allineamento (Trustworthiness/Continuity > 0.94) in media, suggerendo che per questi compiti specifici, il PF predice bene il comportamento.
  • Tuttavia, gli scatter plot hanno rivelato discrepanze locali. In MO-Hopper, specifiche coppie di politiche (ad esempio, 50 vs. 51) situate nella regione critica esibivano differenze comportamentali visibili (ad esempio, scatto in avanti vs. postura eretta) nonostante simili ritorni degli obiettivi. In MO-HalfCheetah, le differenze erano più sottili, correlandosi con distanze minori nello spazio comportamentale.
  • I risultati dimostrano che il metodo rimane efficace all'aumentare della complessità del problema, essendo capace di far emergere specifiche coppie di politiche per l'ispezione anche in domini continui ad alta dimensionalità.

Significato e Rivendicazioni

Il documento posiziona questo lavoro come uno strumento diagnostico piuttosto che come una soluzione al problema della specifica della ricompensa. Gli autori dichiarano esplicitamente che il loro workflow non determina se gli obiettivi di ricompensa specificati siano adeguati per il dispiegamento o se le differenze comportamentali osservate siano dannose; tali giudizi richiedono informazioni esterne sulle preferenze degli stakeholder.

Inveve, il significato del lavoro risiede in:

• Segnalazione Automatica: Fornire un mezzo scalabile per identificare coppie di politiche che meritano ispezione manuale, completando i riassunti numerici tipicamente presentati ai decisori.
• Trasparenza: Offrire una base più trasparente per la selezione delle politiche, rivelando i "punti ciechi" dove le metriche degli obiettivi mascherano i rischi comportamentali.
• Benchmarking degli Algoritmi: Introdurre una nuova dimensione per valutare gli algoritmi MORL basata sulla stabilità comportamentale e sulla prevedibilità dei frontiere che generano, oltre alle standard misure di convergenza e diversità come l'ipervolume.
• Insight per il RL a Obiettivo Singolo: La metodologia dello scatter plot può anche identificare funzioni di ricompensa nel RL a obiettivo singolo che sono soggette a instabilità, dove cambiamenti marginali nella struttura della ricompensa innescano spostamenti comportamentali sproporzionati.

Gli autori concludono che, sebbene il workflow rappresenti un passo significativo verso la comprensione della relazione obiettivo-comportamento, esso è modulare e si affida a specifiche euristiche (come l'ordinamento delle politiche) che potrebbero richiedere affinamenti per spazi obiettivi ad alta dimensionalità.