Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

1. Problemstellung

Multi-Objective Reinforcement Learning (MORL) erweitert das klassische Reinforcement Learning (RL) auf Probleme mit mehreren, oft konfliktären Zielen, die durch vektorielle Belohnungen repräsentiert werden. Eine gängige Herangehensweise besteht darin, skalare RL-Algorithmen (wie Q-Learning) zu modifizieren, indem vektorielle Wertfunktionen gelernt und eine Skalarisierungs- oder Ordnungsoperator-Funktion (Utility-Funktion) zur Aktionsauswahl verwendet wird.

Das Paper identifiziert zwei bisher nicht ausreichend untersuchte Probleme, die die Leistung von wertbasierten MORL-Algorithmen erheblich beeinträchtigen können, insbesondere wenn nicht-lineare Utility-Funktionen verwendet werden:

1. Interferenz von Wertfunktionen (Value Function Interference): Das Lernen von erwarteten vektoriellen Rückkehrwerten (Expected Vector Returns) reicht oft nicht aus, um die optimale Politik bezüglich einer nicht-linearen Utility-Funktion zu bestimmen. Dies führt dazu, dass der Agent suboptimale Aktionen wählt.
2. Empfindlichkeit gegenüber Überschätzung (Overestimation Sensitivity): Während Überschätzung von Q-Werten in skalarem RL bekannt ist, zeigt das Paper, dass nicht-lineare Utility-Funktionen in MORL extrem anfällig für selbst konsistente Überschätzungen sind, was zu drastischen Änderungen in der Präferenzordnung der Aktionen führt.

2. Methodik

Die Autoren untersuchen diese Phänomene theoretisch und empirisch unter Verwendung einer tabellarischen Implementierung von Multi-Objective Q-Learning (basierend auf Q($\lambda$)).

• Algorithmen-Anpassung: Der Algorithmus verwendet einen erweiterten Zustand ($s_A$), der den Umgebungsstatus, den kumulierten Rückkehrvektor ($P$) und den Zeitschritt ($t$) enthält, um die Diskontierung korrekt zu handhaben.
• Optimierungskriterien: Unterscheidung zwischen Expected Scalarised Return (ESR – Maximierung des erwarteten skalisierten Returns pro Episode) und Scalarised Expected Return (SER – Skalierung des erwarteten vektoriellen Returns).
• Experimentelle Umgebungen:
  • Stochastische MOMABs (Multi-Objective Multi-Armed Bandits): Zur Demonstration von Interferenz bei stochastischen Belohnungen.
  • Deterministische MOMDPs: Ein einfaches 3-Zustands-Modell, um zu zeigen, dass Interferenz auch in deterministischen Umgebungen durch zufällige Tie-Breaking-Strategien oder Änderungen der greedy-Aktion entstehen kann.
  • DST-Mixed Task: Ein Grid-World-Umfeld zur Untersuchung der Empfindlichkeit gegenüber Überschätzung.
• Utility-Funktionen: Vergleich von linearer Skalarisierung, schwellenwertbasierter lexikografischer Ordnung (TLO) und Chebyshev-Distanz.
• Überbewertungssimulation: Es wurden Experimente durchgeführt, bei denen systematisch (konsistent) oder zufällig (inkonsistent) Rauschen zu den Q-Werten hinzugefügt wurde, um die Auswirkungen auf die Aktionsauswahl zu messen.

3. Wichtige Beiträge und Erkenntnisse

A. Value Function Interference (Interferenz von Wertfunktionen)

Dieses Phänomen tritt auf, wenn die erwarteten vektoriellen Rückkehrwerte, die vom Agenten gelernt werden, nicht ausreichen, um die optimale Politik unter einer nicht-linearen Utility-Funktion zu bestimmen.

• Stochastische Umgebungen: Bei ESR-Optimierung ist die Utility des erwarteten Vektors ($U(E[R])$) nicht gleich dem Erwartungswert der Utility ($E[U(R)]$). Wenn der Agent nur den Vektor $E[R]$ lernt, kann er bei nicht-linearen Funktionen die falsche Aktion wählen (z. B. bei konvexen oder konkaven Funktionen).
• Deterministische Umgebungen: Überraschenderweise tritt Interferenz auch hier auf, wenn:
  1. Zufälliges Tie-Breaking: Wenn zwei Aktionen den gleichen Utility-Wert haben, aber unterschiedliche vektorielle Rückkehrwerte, führt eine zufällige Auswahl in nachgelagerten Zuständen zu einer stochastischen Verteilung der Belohnungen im vorherigen Zustand. Dies verzerrt den gelernten Vektorwert ($Q(A, a_1)$) so, dass er eine suboptimale Utility erhält.
  2. Änderungen der greedy-Aktion: Durch optimistische Initialisierung oder Lernprozesse kann sich die gewählte greedy-Aktion häufig ändern, was zu inkonsistenten Updates der vorherigen Zustände führt.
• Lösungsansatz: Die Einführung einer deterministischen Tie-Breaking-Strategie (z. B. immer die Aktion mit dem niedrigeren Index wählen) reduziert die Interferenz signifikant, eliminiert sie aber nicht vollständig.

B. Empfindlichkeit gegenüber Überschätzung (Overestimation Sensitivity)

In skalarem RL führt eine gleichmäßige Überschätzung aller Q-Werte oft nicht zu suboptimalen Politiken, da die relative Ordnung erhalten bleibt. In MORL mit nicht-linearen Funktionen gilt dies nicht.

• Nicht-lineare Verzerrung: Eine konsistente Überschätzung (Hinzufügen eines konstanten Werts $\delta$ zu allen Komponenten) kann die relative Ordnung der Aktionen ändern, da nicht-lineare Funktionen (wie TLO oder Chebyshev) unterschiedlich auf Verschiebungen im Vektorraum reagieren.
• Ergebnisse:
  • Lineare Skalarisierung: Unempfindlich gegenüber konsistenter Überschätzung.
  • TLO (Thresholded Lexicographic Ordering): Extrem anfällig. Selbst minimale Überschätzung kann dazu führen, dass Aktionen, die knapp unter einem Schwellenwert liegen, fälschlicherweise als optimal ausgewählt werden, was zu massiven Utility-Verlusten führt.
  • Chebyshev-Distanz: Zeigt eine mittlere Empfindlichkeit.
  • Inkonsistente Überschätzung: Ist für alle Funktionen (auch lineare) schädlich, da sie die relative Ordnung der Aktionen zufällig verändert.

4. Ergebnisse

• Interferenz: In stochastischen Experimenten konvergierten fast alle Agenten mit niedrigen Lernraten zu suboptimalen Politiken, wenn sie ESR-Optimierung anstrebten. In deterministischen Experimenten führte zufälliges Tie-Breaking in einem weiten Bereich von Hyperparametern (insbesondere mittlere Lernraten) dazu, dass der Agent die suboptimale Politik 2 wählte, anstatt die optimale Politik 0 oder 1. Deterministisches Tie-Breaking verbesserte die Konvergenzrate drastisch, zeigte aber, dass die Stochastizität der Haupttreiber war.
• Überschätzung: Bei der DST-Mixed-Umgebung führte konsistente Überschätzung bei TLO bereits bei sehr kleinen Werten zu einer hohen Rate an falschen Entscheidungen und einem starken Anstieg des normalisierten Regrets. Im Gegensatz dazu blieb die lineare Skalarisierung stabil. Inkonsistente Überschätzung verschlechterte die Leistung aller Methoden, wobei TLO am stärksten litt.

5. Bedeutung und Ausblick

Das Paper liefert wichtige Erkenntnisse für die Entwicklung robuster MORL-Algorithmen:

1. Limitationen aktueller Ansätze: Herkömmliche wertbasierte MORL-Ansätze, die nur vektorielle Erwartungswerte speichern, sind für ESR-Optimierung in stochastischen Umgebungen und für SER-Optimierung in deterministischen Umgebungen mit nicht-linearen Funktionen unzureichend.
2. Notwendigkeit neuer Architekturen:
   • Distributional MORL: Die Autoren schlagen vor, Konzepte aus dem Distributional RL zu übernehmen, bei denen der Agent eine Verteilung über die vektoriellen Rückkehrwerte lernt. Dies ermöglicht die korrekte Berechnung von ESR durch gewichtete Summation der Utility-Werte der einzelnen Ausgänge.
   • Potential-Based Reward Shaping: Ein Ansatz, bei dem die Utility-Funktion auf jeden Zeitschritt angewendet wird, um skalare Belohnungen zu erzeugen, bevor das RL gelernt wird. Dies eliminiert die Interferenz, verzichtet aber auf die Vorteile vektorieller Q-Werte (z. B. Multi-Policy-Lernen und Erklärbarkeit).
3. Robustheit: Die Ergebnisse warnen vor der blinden Anwendung nicht-linearer Utility-Funktionen in Kombination mit Q-Learning, da diese Algorithmen extrem empfindlich auf Schätzfehler (Überschätzung) reagieren.

Zusammenfassend zeigt das Paper, dass die naive Erweiterung von Q-Learning auf multiple Ziele mit nicht-linearen Präferenzen zu fundamentalen Lernfehlern führen kann, die durch spezifische Modifikationen (deterministisches Tie-Breaking) oder grundlegend neue Lernparadigmen (Distributional RL) adressiert werden müssen.