🤖 machine learning

Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

Questo articolo indaga due problemi inediti che compromettono le prestazioni degli algoritmi di apprendimento per rinforzo multi-obiettivo basati sul valore quando utilizzati con funzioni di utilità non lineari: l'interferenza tra le funzioni di valore e la sensibilità alla sovrastima.

Autori originali: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

Pubblicato 2026-04-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Peter Vamplew (EJ), Ethan (EJ), Watkins, Cameron Foale, Richard Dazeley

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un capo cuoco che deve preparare un pasto per un cliente molto esigente. Il cliente non vuole solo un piatto "buono" in generale, ma ha due obiettivi specifici e in conflitto:

Deve essere delizioso (Ottimo gusto).
Deve essere salutare (Pochi grassi).

In questo scenario, il "Rinforzo Multi-Obiettivo" (MORL) è l'arte di insegnare a un robot-cuoco a trovare il piatto perfetto che bilancia questi due desideri.

Il documento di ricerca di Peter Vamplew e colleghi scopre che, quando si usano ricette matematiche complesse (funzioni di utilità non lineari) per guidare questo robot, emergono due grandi problemi che fanno fallire l'apprendimento.

Ecco i due problemi spiegati con analogie quotidiane:

1. Il Problema dell'"Interferenza del Valore" (La Trappola della Media)

Immagina che il robot-cuoco debba scegliere tra due ingredienti:

Ingrediente A: È un dado da gioco. Se lanci il dado, al 50% dei casi ottieni un piatto delizioso ma grasso, e al 50% un piatto delizioso ma magro. La "media" matematica di questi due risultati sembra perfetta.
Ingrediente B: È un dado truccato che dà sempre lo stesso risultato: un piatto abbastanza buono e abbastanza magro.

Il problema:
Il robot-cuoco calcola la "media" dei risultati dell'Ingrediente A. Matematicamente, la media sembra ottima. Tuttavia, il cliente non vuole un "piatto medio" (metà grasso, metà magro); vuole un piatto che sia o grasso o magro, ma sempre delizioso.

Quando il robot usa una formula matematica complessa (non lineare) per decidere cosa è "meglio", la media calcolata dall'Ingrediente A inganna il robot. Il robot pensa: "La media di A è fantastica!" e sceglie A. Ma in realtà, scegliendo A, il cliente riceve un piatto che non soddisfa mai perfettamente i suoi gusti specifici.

L'analogia:
È come se un medico ti dicesse: "La media della tua temperatura corporea è perfetta, quindi stai bene". Ma in realtà, hai la febbre alta di giorno e i brividi di notte. La "media" nasconde il problema reale. Il robot impara la media sbagliata e sceglie l'azione sbagliata, anche se ha tutti i dati corretti.

La soluzione provata:
Gli autori scoprono che se il robot smette di scegliere a caso quando due opzioni sembrano uguali (ad esempio, scegliendo sempre la prima opzione in ordine alfabetico), il problema diminuisce, ma non scompare del tutto. È come se il robot avesse bisogno di una "regola fissa" per non andare in confusione quando le medie si incrociano.

2. La Sensibilità all'"Sovrastima" (L'Effetto Lente Distorcente)

Immagina che il robot-cuoco abbia degli occhiali che a volte ingrandiscono leggermente le cose (sovrastimano i valori).

Se usi una ricetta semplice (lineare), dire "questo piatto vale 100 invece di 90" non cambia nulla: rimarrà comunque il piatto migliore.
Ma se usi una ricetta complessa (non lineare), come quella del cliente che odia i grassi sopra una certa soglia, anche un piccolo errore di 1 punto può cambiare tutto.

L'analogia:
Pensa a un termostato che si spegne se la temperatura supera i 20 gradi.

Se la temperatura reale è 19 gradi, il termostato è acceso.
Se il termostato ha un errore e "sovrastima" la temperatura di 1 grado (pensando che siano 20), si spegne.
Se la temperatura è 21, si spegne comunque.

In un sistema semplice, un errore di 1 grado non cambia la decisione. Ma in un sistema complesso (come la ricetta del cliente), quel piccolo errore di "sovrastima" può far saltare il robot da una scelta sicura a una scelta disastrosa.

La scoperta:
Gli autori dimostrano che nei sistemi Multi-Obiettivo, questi piccoli errori di sovrastima (che in passato si pensavano innocui) sono catastrofici. Un piccolo errore nel calcolo dei valori può far scegliere al robot un piatto che il cliente odia, semplicemente perché la formula matematica ha reagito in modo esagerato a quel piccolo errore.

In Sintesi: Cosa ci insegnano?

Questo studio ci dice che quando si insegna a un'intelligenza artificiale a gestire obiettivi complessi e contrastanti (come velocità vs sicurezza, o gusto vs salute):

Le medie ingannano: Non basta calcolare la media dei risultati futuri se la formula per decidere cosa è "bene" è complessa. Il robot potrebbe imparare la media sbagliata e fallire.
Gli errori contano di più: In questi sistemi complessi, anche un piccolo errore di calcolo (sovrastima) può rovinare completamente la decisione finale, molto più di quanto accada nei sistemi semplici.

La strada futura:
Gli autori suggeriscono che per risolvere questi problemi, i robot non dovrebbero imparare solo "quanto vale" un'azione, ma dovrebbero imparare la distribuzione di tutti i possibili risultati (come una mappa di tutte le probabilità), proprio come un vero chef che immagina tutte le varianti di un piatto prima di cucinarlo, invece di affidarsi a una semplice media.

In pratica, stiamo imparando che per gestire la complessità della vita reale, le nostre formule matematiche devono essere più sofisticate e meno propense a fidarsi delle "medie" o a ignorare i piccoli errori.

Titolo

Problemi nel Reinforcement Learning Multi-Obiettivo basato su Valore: Interferenza della Funzione di Valore e Sensibilità alla Sovrastima.

1. Il Problema

Il Reinforcement Learning Multi-Obiettivo (MORL) estende il RL classico a problemi con obiettivi multipli e conflittuali, rappresentati da vettori di ricompensa. Sebbene gli algoritmi basati sul valore (come Q-learning) siano stati adattati per gestire questi vettori, applicandoli insieme a funzioni di utilità non lineari, emergono due problemi critici precedentemente non riportati in letteratura che possono impedire la convergenza verso politiche ottimali:

Interferenza della Funzione di Valore (Value Function Interference): Si verifica quando i valori vettoriali attesi appresi dall'agente non sono sufficienti per determinare correttamente l'azione ottimale in base alla funzione di utilità dell'utente. Questo accade perché l'utilità del valore atteso vettoriale ( $U(E[R])$ ) può differire dal valore atteso dell'utilità ( $E[U(R)]$ ), specialmente in ambienti stocastici o quando si ottimizza il criterio ESR (Expected Scalarised Return).
Sensibilità alla Sovrastima (Overestimation Sensitivity): Gli algoritmi come Q-learning sono noti per la tendenza a sovrastimare i valori Q. Nel RL mono-obiettivo, una sovrastima uniforme non cambia l'ordinamento delle azioni preferite. Tuttavia, nel MORL con funzioni di utilità non lineari, anche piccole sovrastime (uniformi o inconsistenti) possono alterare drasticamente l'ordinamento delle preferenze tra le azioni, portando a scelte sub-ottimali.

2. Metodologia

Gli autori hanno analizzato questi fenomeni utilizzando un'implementazione tabellare di Multi-objective Q-learning (MOQ-learning) su diversi scenari:

Ambienti di Test:
- MOMAB (Multi-Objective Multi-Armed Bandit) Stocastico: Un ambiente semplice con ricompense stocastiche per dimostrare l'interferenza nel criterio ESR.
- MOMDP Deterministico: Un ambiente a stati multipli con ricompense deterministiche per mostrare come l'interferenza possa sorgere anche in assenza di stocasticità ambientale, a causa di meccanismi di "tie-breaking" (rottura dei pareggi) casuali o cambi frequenti nell'azione greedy.
- Ambiente DST-Mixed: Un mondo a griglia (mappato come bandit) con un fronte di Pareto concavo, utilizzato per testare la sensibilità alla sovrastima.
Funzioni di Utilità: Sono state testate diverse funzioni, tra cui:
- Scalare lineare (Linear Scalarisation).
- Ordinamento lessicografico con soglia (Thresholded Lexicographic Ordering - TLO).
- Distanza di Chebyshev.
Esperimenti:
- Interferenza: Esecuzione di sweep sugli iperparametri (tasso di apprendimento $\alpha$ , tasso di esplorazione $\epsilon$ ) confrontando strategie di tie-breaking casuali contro strategie deterministiche (es. preferenza per l'indice più basso o più alto).
- Sovrastima: Simulazione di sovrastime consistenti (aggiunta di un $\delta$ fisso) e inconsistenti (aggiunta di rumore casuale) ai valori Q veri, misurando il numero di scelte di politiche errate e il "regret" normalizzato.

3. Contributi Chiave

A. Interferenza della Funzione di Valore

Scoperta: L'interferenza non è limitata agli ambienti stocastici. Anche in ambienti deterministici, se un'agente incontra azioni con utilità equivalente ma vettori di ricompensa diversi, la scelta casuale tra queste azioni (tie-breaking) introduce stocasticità artificiale. Questo porta l'agente a convergere verso un valore vettoriale medio che, se trasformato dalla funzione di utilità non lineare, risulta sub-ottimale rispetto alla politica reale.
Meccanismo: In ambienti deterministici, la politica ottimale richiede che le azioni greedy siano scelte in modo coerente. Se l'agente alterna casualmente tra azioni ottimali (es. $a_1$ e $a_2$ in uno stato intermedio), il valore appreso per lo stato precedente diventa una media dei vettori, che può cadere in una regione dello spazio degli obiettivi dove un'azione sub-ottimale appare preferibile.
Soluzione Proposta: L'uso di un tie-breaking deterministico (es. scegliere sempre l'azione con l'indice più basso quando le utilità sono pari) mitiga significativamente il problema, riducendo la frequenza di convergenza a politiche sub-ottimali, sebbene non lo elimini completamente in tutti i casi (specialmente con inizializzazioni ottimistiche che causano cambi frequenti di azione greedy).

B. Sensibilità alla Sovrastima

Scoperta: Le funzioni di utilità non lineari (come TLO e Chebyshev) sono estremamente sensibili alla sovrastima dei valori Q.
Meccanismo: Mentre una sovrastima uniforme non altera l'ordinamento nelle funzioni lineari (per la proprietà di invarianza), nelle funzioni non lineari può spostare una politica attraverso discontinuità o gradienti variabili (es. attraversare una soglia nel TLO), rendendola improvvisamente "migliore" di quella reale.
Risultati: Le funzioni TLO mostrano la massima sensibilità, con un aumento drastico degli errori e del regret anche per piccole sovrastime. La distanza di Chebyshev è meno sensibile del TLO ma più della scalare lineare. La sovrastima inconsistente (rumore diverso per ogni obiettivo) è dannosa anche per la scalare lineare.

4. Risultati Sperimentali

Sull'Interferenza:
- In un MOMAB stocastico, l'agente converte quasi sempre verso l'azione sbagliata (braccio sub-ottimale) per la maggior parte dei tassi di apprendimento, a causa dell'incapacità di distinguere tra ESR e SER con valori vettoriali medi.
- In un MOMDP deterministico, l'uso di tie-breaking casuale porta a una convergenza verso la politica sub-ottimale (Policy 2) in una vasta area dello spazio degli iperparametri (specialmente con $\alpha$ medio).
- L'adozione di tie-breaking deterministico riduce drasticamente le fallite convergenze (fino al 90% di miglioramento rispetto al caso casuale), dimostrando che la stocasticità indotta dal tie-breaking è una causa primaria del problema.
Sulla Sovrastima:
- La scalare lineare è immune alla sovrastima uniforme.
- Il TLO mostra un numero di errori che sale rapidamente fino al 100% anche con sovrastime minime, accompagnati da un alto regret normalizzato.
- La sovrastima inconsistente degrada le prestazioni di tutte le funzioni, ma il TLO rimane il più vulnerabile.

5. Significato e Implicazioni

Questo lavoro evidenzia limiti fondamentali negli approcci MORL basati su valori quando si utilizzano funzioni di utilità non lineari, che sono comuni in scenari reali (es. gestione delle risorse, vincoli di sicurezza, equità).

Implicazioni per l'Algoritmo: Gli algoritmi standard di Q-learning multi-obiettivo non sono sufficienti per garantire l'ottimalità ESR in ambienti stocastici o per gestire robustamente la sovrastima in ambienti deterministici con utilità non lineari.
Direzioni Future: Gli autori suggeriscono due strade promettenti:
1. Distributional MORL: Imparare la distribuzione completa delle ricompense vettoriali (non solo il valore atteso) per calcolare correttamente l'ESR, risolvendo il problema dell'interferenza.
2. Reward Shaping basato su Utilità: Scalarizzare le ricompense accumulate ad ogni passo usando la funzione di utilità e apprendere un valore scalare diretto (approccio di Cai et al., 2023). Questo elimina l'interferenza e riduce la sensibilità alla sovrastima, ma sacrifica la capacità di apprendere politiche multiple e l'interpretabilità dei vettori Q.

In sintesi, il paper fornisce una prova empirica e teorica che la combinazione di valori vettoriali medi e utilità non lineari crea trappole di ottimizzazione che richiedono nuovi approcci algoritmici per essere superate.