A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

Technischer Zusammenfassung: Eine harmonische Mittelwert-Formulierung für Reinforcement Learning mit durchschnittlicher Belohnung in SMDPs

1. Problemstellung

Die Arbeit adressiert die Herausforderung der Optimierung der durchschnittlichen, nicht diskontierten Belohnung in Semi-Markov-Entscheidungsprozessen (SMDPs) mit unendlichem Horizont. Im Gegensatz zu Standard-Markov-Entscheidungsprozessen (MDPs), bei denen Aktionen eine feste Zeiteinheit beanspruchen, beinhalten SMDPs Aktionen, die stochastisch sowohl Belohnungen als auch variierende Dauerzeiten (Verweilzeiten) generieren. Das Ziel besteht darin, die durchschnittliche Belohnungsrate (Belohnung pro Zeiteinheit) zu maximieren, anstatt die kumulierte Gesamtbelohnung.

Bestehende modellfreie Algorithmen für dieses Setting, insbesondere SMART und Relaxed-SMART, leiden unter kritischen Einschränkungen, wenn Belohnungen und Dauerzeiten nicht-stationär oder abhängig sind:

• SMART stützt sich auf den langfristigen Stichprobenmittelwert (Gesamtbelohnung geteilt durch Gesamtzeit). Dieser Ansatz ist störanfällig; er geht von Stationarität aus und kann durch Ausreißer dominiert werden oder versagt bei der Anpassung an Regimewechsel in nicht-stationären Umgebungen.
• Relaxed-SMART versucht, Nicht-Stationarität zu handhaben, indem es Exponentielle Gleitdurchschnitte (EMA) sowohl für Belohnungen als auch für Dauerzeiten verwendet und anschließend deren Verhältnis bildet. Diese Methode approximiert die durchschnittliche Rate jedoch als Verhältnis der arithmetischen Mittelwerte. Die Arbeit zeigt, dass diese Approximation nur dann mathematisch korrekt ist, wenn Belohnungen und Dauerzeiten unabhängig sind. Wenn sie korreliert (nicht-linear verknüpft) sind, liefert das Verhältnis der Mittelwerte eine falsche Schätzung der wahren durchschnittlichen Rate.

2. Methodik

Die Autoren schlagen einen neuartigen Ansatz vor, der auf dem Harmonischen Mittel basiert, dem theoretisch korrekten Operator zur Mittelwertbildung von Raten (z. B. Geschwindigkeit = Strecke/Zeit).

Die Einschränkung des Harmonischen Mittels:
Obwohl das harmonische Mittel die korrekte Aggregation für Raten darstellt, ist die Standarddefinition für allgemeines Reinforcement Learning (RL) ungeeignet, da:

1. Es für Nullwerte undefiniert ist (Division durch Null).
2. Es die Eigenschaft der „Innerlichkeit" (der Mittelwert liegt zwischen Minimum und Maximum) verliert, wenn Werte gemischte Vorzeichen aufweisen (positive und negative Belohnungen).

Der modifizierte harmonische Mittelwert-Operator ($\mathcal{H}$):
Um diese Einschränkungen zu überwinden, führen die Autoren einen modifizierten harmonischen Mittelwert-Operator ($\mathcal{H}$) ein. Dieser Operator:

• Partitioniert die Daten in drei Mengen: positive Belohnungen ($X_+$), negative Belohnungen ($X_-$) und Null-Belohnungen ($X_0$).
• Berechnet das Standard-harmonische Mittel separat für die positiven und negativen Teilmengen.
• Berechnet einen gewichteten arithmetischen Mittelwert dieser Ergebnisse, wobei Nullwerte als Wert 0 behandelt werden.
• Theoretische Eigenschaften: Die Autoren beweisen, dass $\mathcal{H}$ ein allgemeines Mittel ist (erfüllt Innerlichkeit, Idempotenz, Symmetrie und Monotonie) und das Standard-harmonische Mittel dort verallgemeinert, wo dieses definiert ist. Sie beweisen jedoch, dass es kein quasiarithmetisches Mittel ist, was es von der Klasse unterscheidet, die Standard-Arithmetik, geometrische und harmonische Mittel umfasst.

Harmonischer R-Learning-Algorithmus:
Die Autoren integrieren $\mathcal{H}$ in einen modellfreien RL-Algorithmus namens Harmonischer R-Learning.

• Er folgt den strukturellen Update-Regeln von R-Learning und SMART (Aktualisierung von Q-Werten basierend auf der marginalen Belohnung relativ zur durchschnittlichen Rate).
• Anstatt die durchschnittliche Rate $\rho$ mit einem einfachen arithmetischen EMA oder einem Verhältnis von EMAs zu aktualisieren, führt er einen Exponentiellen Gleit-harmonischen Mittelwert ein.
• Der Algorithmus verfolgt die Kehrwerte der Raten ($r/\tau$) für positive und negative Belohnungen separat, führt exponentielle gleitende Mittelwerte dieser Kehrwerte und ihrer zugehörigen Gewichte durch und invertiert sie anschließend, um die aktuelle Schätzung von $\rho$ zu berechnen.

3. Hauptbeiträge

1. Theoretische Analyse bestehender Algorithmen: Die Arbeit zeigt formal (via Theorem 1), dass das Verhältnis der arithmetischen Mittelwerte (von Relaxed-SMART verwendet) nur dann dem harmonischen Mittel entspricht, wenn die Kovarianz zwischen Belohnungen und dem Verhältnis von Zeit zu Belohnung null ist. In nicht-stationären oder abhängigen Settings führt dies zu einer falschen Ratenschätzung.
2. Neuartiger Operator: Die Einführung des modifizierten harmonischen Mittelwert-Operators ($\mathcal{H}$), der robust gegenüber Null- und gemischtvorzeichenigen Belohnungen ist und gleichzeitig die mathematische Korrektheit für die Mittelwertbildung von Raten wahrt.
3. Algorithmische Verallgemeinerung: Die Entwicklung von Harmonischem R-Learning, einem modellfreien Algorithmus, der bestehende R-Learning-Varianten auf SMDPs verallgemeinert, ohne die Stationaritäts- oder Unabhängigkeitsannahmen von SMART und Relaxed-SMART.
4. Axiomatische Beweise: Beweise, die feststellen, dass $\mathcal{H}$ ein allgemeines Mittel, aber kein quasiarithmetisches Mittel ist, und damit seine mathematische Stellung im Verhältnis zu traditionellen Mitteln klären.

4. Empirische Ergebnisse

Die Autoren bewerteten Harmonisches R-Learning im Vergleich zu SMART und Relaxed-SMART in zwei Domänen:

• Synthetischer Zwei-Zustands-SMDP:

  • Aufbau: Eine fortlaufende Aufgabe mit zwei Aktionen. Aktion A hatte unabhängige Belohnungen und Dauerzeiten. Aktion B hatte abhängige, nicht-stationäre Belohnungen und Dauerzeiten (unter Verwendung von driftenden Sinus-/Kosinusfunktionen mit Logarithmierung).
  • Ergebnis: In Settings, bei denen die Abhängigkeit zwischen Belohnung und Dauerzeit die „wahre" optimale Aktion (Aktion B) innerhalb des Lernhorizonts schwer erkennbar machte, versagten SMART und Relaxed-SMART (Rückgang auf 0 % Erfolg in schwierigeren Settings). Harmonisches R-Learning behielt eine hohe Erfolgsrate über alle Parameterkombinationen hinweg bei und zeigte überlegene Robustheit gegenüber Nicht-Stationarität und Abhängigkeit.

• Bitcoin-Handel (Realwelt-Daten):

  • Aufbau: Eine hochvolatile, nicht-stationäre Umgebung unter Verwendung von Bitcoin-Preisdaten im Minutentakt (2012–2025). Die Aufgabe umfasste den Kauf/Verkauf mit stochastischen Aktionsdauern (5–45 Sekunden). Zwei Versionen wurden getestet: eine mit zufälligen Dauerzeiten (unabhängig) und eine, bei der die Dauerzeit durch die Belohnungsgröße skaliert wurde (abhängig).
  • Ergebnis:
    • In der unabhängigen Version führten alle Algorithmen ähnlich, wie von der Theorie erwartet.
    • In der abhängigen Version (bei der die Belohnungsgröße die Dauerzeit beeinflusste) übertraf Harmonisches R-Learning sowohl SMART als auch Relaxed-SMART signifikant und erreichte eine höhere Gewinnquote über 21 Datensegmente hinweg. Dies bestätigt die theoretische Behauptung, dass die Approximation durch das Verhältnis der Mittelwerte versagt, wenn Belohnungen und Dauerzeiten gekoppelt sind.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Harmonisches R-Learning eine notwendige Korrektur für RL mit durchschnittlicher Belohnung in SMDPs darstellt, bei denen die Verteilungen von Belohnung und Dauer nicht-stationär oder abhängig sind.

• Es wird argumentiert, dass frühere Methoden (SMART/Relaxed-SMART) unter diesen spezifischen Bedingungen fundamental fehlerhaft sind, da sie auf arithmetischen Approximationen beruhen, die die Kopplung zwischen Belohnungsgröße und Zeit ignorieren.
• Der modifizierte harmonische Mittelwert-Operator wird als das mathematisch korrekte Werkzeug zur Mittelwertbildung von Raten im RL präsentiert, wodurch die Anwendbarkeit von R-Learning auf komplexe, reale Szenarien wie den Finanzhandel erweitert wird, in denen solche Abhängigkeiten häufig vorkommen.
• Die Arbeit wird als theoretische und empirische Verbesserung gegenüber dem Stand der Technik für die modellfreie Optimierung der durchschnittlichen Belohnung in semi-Markov-Settings positioniert, die speziell die Lücken „nicht-stationär" und „abhängig" in der aktuellen Literatur adressiert.