🤖 machine learning

Quotient-Categorical Representations for Bellman-Compatible Average-Reward Distributional Reinforcement Learning

Dieser Beitrag führt einen quozient-kategorischen Rahmen für die Verteilungsbasierte Verstärkungslernung mit durchschnittlicher Belohnung ein, der die schlecht gestellte Natur der Bias-Schätzung durch die Identifizierung von zustandsindizierten Gesetzen bis auf Translation auflöst, wodurch wohldefinierte, nicht-expansive Operatoren ermöglicht und die Konvergenz sowohl für idealisierte als auch für praktische, mit Online-Gewinn-Schätzung arbeitende Stichprobenalgorithmen nachgewiesen wird.

Ursprüngliche Autoren: Ege C. Kaya, Aliasghar Pourghani, Vijay Gupta, Abolfazl Hashemi

Veröffentlicht 2026-05-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ege C. Kaya, Aliasghar Pourghani, Vijay Gupta, Abolfazl Hashemi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: „Güte" messen ohne Startlinie

Stellen Sie sich vor, Sie spielen ein Videospiel, bei dem Sie am Ende keine Endpunktzahl erhalten. Stattdessen spielen Sie unendlich lange und sammeln jede Sekunde Punkte. Ihr Ziel ist es, die durchschnittliche Anzahl an Punkten herauszufinden, die Sie pro Sekunde auf lange Sicht verdienen.

In der Welt der Künstlichen Intelligenz (KI) nennt man dies Average-Reward Reinforcement Learning (Belohnungsmaximierung mit durchschnittlicher Belohnung). Die KI muss zwei Dinge lernen:

Der Gewinn (Gain): Die langfristige Durchschnittsgeschwindigkeit des Punktesammelns (z. B. 5 Punkte pro Sekunde).
Der Bias (Verzerrung): Wie viel besser oder schlechter eine spezifische Situation im Vergleich zu diesem Durchschnitt ist. Zum Beispiel fühlt sich das Befinden in einer „Sicherheitszone" wie +10 Punkte an, während eine „Gefahrenzone" wie -10 Punkte wirkt, selbst wenn der langfristige Durchschnitt nur bei 5 liegt.

Das Problem:
Der „Bias" hat eine seltsame Eigenart. Es ist wie das Messen von Höhen relativ zum Meeresspiegel. Wenn Sie entscheiden, dass der „Meeresspiegel" tatsächlich 100 Fuß höher liegt als zuvor, steigt jede einzelne Messung um 100 Fuß. Der Unterschied zwischen Bergen und Tälern bleibt gleich, aber die Zahlen ändern sich.

In mathematischen Begriffen ist der Bias nur „bis auf eine additive Konstante" definiert. Wenn Sie jede Zahl um denselben Betrag verschieben, lernt die KI immer noch exakt dasselbe. Dies bereitet einer speziellen Art von KI namens Distributional Reinforcement Learning (DRL) (Verteilungs-basierte Belohnungsmaximierung) Kopfschmerzen. DRL rät nicht nur eine einzelne Zahl für den Bias; es rät eine ganze Verteilung (eine Wolke von Möglichkeiten), um genauer zu sein. Aber wenn Sie den „Nullpunkt" nicht festlegen können, wie zeichnen Sie dann diese Wolke auf eine Karte? Wenn Sie die Karte verschieben, bewegt sich die Wolke, und die Mathematik bricht zusammen.

Die Lösung: Die „Quotienten"-Karte

Die Autoren, Ege C. Kaya und sein Team von der Purdue University, haben einen cleveren Weg gefunden, dies zu beheben. Sie versuchten nicht, die KI zu zwingen, einen einzigen „Nullpunkt" zu wählen. Stattdessen behandelten sie das Problem wie ein Schiebepuzzle.

Die Analogie: Der schiebende Zugwagen
Stellen Sie sich den Schätzwert der KI für den Bias als einen Zugwagen voller Passagiere (die Wahrscheinlichkeitsverteilung) vor.

Der alte Weg: Sie versuchten, den Zugwagen an einer bestimmten Koordinate auf einer Strecke zu parken (z. B. „Halten Sie beim Kilometerstein 50"). Da sich der „Nullpunkt" jedoch ständig bewegt, rutscht der Wagen ständig von der Strecke ab.
Der neue Weg (Quotient-Kategorisch): Die Autoren sagen: „Wen kümmert es, wo der Zug geparkt ist? Wir interessieren uns nur für die Form des Zuges und den Abstand zwischen den Passagieren."

Sie schufen einen neuen mathematischen Raum, der Quotientenraum genannt wird. In diesem Raum gelten zwei Zugwagen als „gleich", wenn der eine nur eine Kopie des anderen ist, die um denselben Betrag nach links oder rechts verschoben wurde. Sie nennen dies das Identifizieren von Gesetzen bis auf eine gemeinsame Translation.

Indem sie dies taten, beseitigten sie die Verwirrung darüber, „wo Null ist". Die KI versucht nicht länger, eine absolute Zahl zu erraten; sie errät die Form der Bias-Wolke, unabhängig davon, wo sie auf der Zahlengeraden sitzt.

Der Motor: Der „nicht-erweiternde" Operator

Sobald sie die Karte repariert hatten, benötigten sie eine Regel (einen Algorithmus), um den Schätzwert der KI zu aktualisieren, während sie das Spiel spielt.

Beim herkömmlichen KI-Lernen verlassen wir uns normalerweise auf eine „Kontraktions"-Eigenschaft. Stellen Sie sich ein Gummiband vor, das sich jedes Mal zusammenzieht, wenn Sie daran ziehen, bis es schließlich auf einen einzigen Punkt schnappt. Dies garantiert, dass die KI die Antwort lernt.

Aufgrund der „schiebenden" Natur des Bias zieht sich das Gummiband in diesem neuen System jedoch nicht zusammen. Stattdessen verhält es sich wie ein nicht-erweiterndes Objekt. Stellen Sie sich eine starre Metallstange vor. Wenn Sie ein Ende drücken, bewegt sich das andere Ende um denselben Betrag, aber die Stange wird nie kürzer oder länger. Sie schnappt nicht natürlich auf einen einzigen Punkt zu; sie bleibt einfach im gleichen Abstand.

Die Autoren bewiesen, dass, obwohl diese „Metallstange" nicht schrumpft, ihr neuer Algorithmus dennoch funktioniert. Sie zeigten, dass:

Der Algorithmus wohldefiniert ist (er macht mathematisch Sinn).
Er nicht-erweiternd ist (er lässt Fehler nicht wachsen).
Er dennoch einen Fixpunkt findet (eine stabile Lösung), an dem die KI aufhört, ihre Meinung zu ändern.

Der praktische Trick: Den „Gewinn" (Gain) unterwegs lernen

Es gab noch eine letzte Hürde. Um ihren perfekten „schiebenden Karten"-Algorithmus zu nutzen, muss die KI den genauen „Gewinn" (die Durchschnittsgeschwindigkeit) kennen, um ihn von den Belohnungen abzuziehen. Aber in der realen Welt kennt die KI die Durchschnittsgeschwindigkeit noch nicht; sie versucht, sie zu lernen!

Die Lösung: Die gekoppelte Rekursion
Die Autoren fügten einen zweiten, einfacheren Lernprozess hinzu, der parallel zum Hauptprozess läuft.

Das Hauptgehirn: Lernt die Form der Bias-Verteilung (den Zugwagen).
Der Sidekick: Ein einfacher Rechner, der ständig seinen Schätzwert für die Durchschnittsgeschwindigkeit (den Gewinn) basierend auf den aktuellsten gesammelten Punkten aktualisiert.

Sie bewiesen, dass diese beiden Gehirne miteinander kommunizieren können. Der Sidekick wird besser darin, die Durchschnittsgeschwindigkeit zu erraten, was dem Hauptgehirn hilft, seinen Zugwagen korrekt zu zentrieren. Obwohl der Sidekick nur rät, bleibt das gesamte System stabil und konvergiert zur richtigen Antwort.

Was sie testeten

Um zu beweisen, dass dies funktioniert, führten sie Experimente durch:

Ein einfaches 5-Zustands-Spiel: Sie schufen eine winzige, einfache Welt. Sie zeigten, dass ihre neue Methode zur richtigen Antwort konvergierte, während alte Methoden, die versuchten, einen „Nullpunkt" zu erzwingen, scheiterten oder stecken blieben.
Eine Pendel-Simulation: Sie testeten es an einer komplexeren, kontinuierlichen Aufgabe (Balancieren eines Pendels) unter Verwendung neuronaler Netze. Selbst mit der zusätzlichen Komplexität lernte ihre Methode die Bias-Verteilung viel besser als ein naiver Ansatz, der das „schiebende" Problem ignorierte.

Zusammenfassung in einem Satz

Die Autoren erfanden eine neue Methode für KI, um langfristige Belohnungen zu lernen, indem sie die „Unsicherheit von Null" als Feature und nicht als Bug behandelten, wobei sie einen „schiebenden Karten"-Ansatz verwendeten, der es der KI ermöglicht, die Form des Bias zu lernen, ohne den exakten Startpunkt zu kennen, und dies gleichzeitig mit dem Lernen der Durchschnittsgeschwindigkeit des Spiels.

Technische Zusammenfassung: Quotientenkategoriale Darstellungen für Bellman-kompatible Verteilungsbasierte Reinforcement Learning mit Durchschnittsbelohnung

1. Problemstellung

Verteilungsbasiertes Reinforcement Learning (DRL) hat in diskontierten Markov-Entscheidungsprozessen (MDPs) erhebliche Erfolge erzielt, wobei die Kontraktionsgeometrie des Bellman-Operators die Analyse und den Algorithmusentwurf erleichtert. Das Durchschnittsbelohnungs-Setting stellt jedoch eine fundamentale strukturelle Herausforderung für die verteilungsbasierte Modellierung dar.

Bei MDPs mit Durchschnittsbelohnung stützt sich die Evaluation auf zwei Objekte: den Gewinn (langfristige durchschnittliche Belohnung) und den Bias (relative Wertfunktion). Der Bias erfüllt die Poisson-Gleichung, welche das Durchschnittsbelohnungs-Analogon zur Bellman-Gleichung ist. Eine kritische Eigenschaft der Poisson-Gleichung besteht darin, dass ihre Lösungen nur bis auf eine additive Konstante eindeutig sind. Diese Translationsinvarianz stellt ein Hindernis für die standardmäßige verteilungsbasierte Modellierung dar: Eine familienweise, zustandsindizierte Sammlung von Wahrscheinlichkeitsgesetzen auf $\mathbb{R}$ kann nicht direkt mit einem festen Ursprung definiert werden, da die Translation der Bias-Verteilung jedes Zustands um dieselbe Konstante das gelernte Objekt nicht verändern sollte.

Bestehende Arbeiten zur DRL mit Durchschnittsbelohnung konzentrieren sich häufig auf die Verfeinerung des Belohnungskriteriums selbst oder verwenden skalare Darstellungen. Dieser Artikel schließt die Lücke bei der Konstruktion eines Bellman-kompatiblen verteilungsbasierten Analogons des Bias, das die Symmetrie der additiven Konstante respektiert und damit verteilungsbasierte dynamische Programmierung sowie temporal-difference (TD)-Lernen im Durchschnittsbelohnungs-Regime ermöglicht.

2. Methodik

2.1 Formulierung im Quotientenraum

Die Autoren schlagen vor, zustandsindizierte Bias-Gesetze modulo gemeinsamer Translationen zu modellieren.

Quotientenraum: Sei $\mathcal{F}_S$ die Menge der zustandsindizierten Sammlungen von Wahrscheinlichkeitsgesetzen auf $\mathbb{R}$ . Eine Äquivalenzrelation $\approx$ wird so definiert, dass $\eta \approx \zeta$ gilt, wenn $\zeta$ eine gemeinsame Translation von $\eta$ ist. Der resultierende Raum $\mathcal{F}_S / \approx$ bewahrt die Symmetrie der additiven Konstante der Poisson-Gleichung.
Verteilungsbasierter Operator: Der verteilungsbasierte Operator $T$ für Durchschnittsbelohnung wird auf $\mathcal{F}_S$ definiert. Der Artikel beweist, dass $T$ mit gemeinsamen Translationen kommutiert und dadurch einen wohldefinierten Operator auf dem Quotientenraum $\mathcal{F}_S / \approx$ induziert.

2.2 Kategorische Parametrisierung

Um den Quotientenraum rechnerisch handhabbar zu machen, führen die Autoren eine quotientenkategoriale Darstellung ein:

Darstellung: Das Bias-Gesetz jedes Zustands wird durch eine kategoriale Verteilung auf einem festen Gitter $\Theta = \{\theta_1, \dots, \theta_d\}$ dargestellt.
Shift-Äquivarianz: Eine repräsentative Familie wird als $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$ definiert, wobei $c$ eine beliebige Verschiebung ist. Der Koeffizientenvektor $p$ charakterisiert die Quotientenklasse $[\eta_{p,c}]$ eindeutig, unabhängig von $c$ .
Projektion: Eine shift-äquivariante kategoriale Projektion $\Pi_{\Theta_c}^C$ wird definiert. Der Artikel stellt fest, dass das Projizieren eines translatierten Gesetzes auf ein translatiertes Gitter denselben Koeffizientenvektor ergibt wie das Projizieren des ursprünglichen Gesetzes auf das ursprüngliche Gitter.

2.3 Projizierter Operator und Nicht-Expansivität

Die Autoren definieren einen projizierten Operator $G_g$ auf den kategorialen Koeffizienten, der dem Anwenden des verteilungsbasierten Operators und dem Zurückprojizieren auf das kategoriale Gitter entspricht.

Metrik: Die Konvergenz wird unter Verwendung der koordinatenbasierten Cramér-Metrik ( $\ell_{\Theta, C, \infty}$ ) analysiert, die mit der standardmäßigen Cramér-Metrik auf den repräsentativen Gesetzen übereinstimmt.
Schlüsseleigenschaft: Im Gegensatz zu diskontierten DRL-Operatoren, die kontrahierend sind, ist der projizierte Operator $G_g$ im Durchschnittsbelohnungs-Setting nicht-expansiv. Der Artikel beweist, dass $G_g$ wohldefiniert, in der koordinatenbasierten Cramér-Metrik nicht-expansiv ist und Fixpunkte besitzt (via dem Fixpunktsatz von Brouwer).

2.4 Stochastische Approximations- (SA) Rekursionen

Da der Operator nicht-expansiv und nicht kontrahierend ist, gelten Standardargumente zur Kontraktion nicht. Die Autoren analysieren abgetastete Rekursionen als asynchrone Relaxationen des projizierten Operators:

Zentrierte Rekursion: Unter der Annahme, dass der Gewinn $\bar{r}^\pi$ bekannt ist, definieren sie ein TD-Update für einen Zustand (Stochastische Krasnosel'skiĭ–Mann-Iteration) unter Verwendung zentrierter Belohnungen $B = R - \bar{r}^\pi$ . Es wird gezeigt, dass die Mittelwertabbildung dieser Rekursion nicht-expansiv ist und dieselben Fixpunkte wie $G$ teilt.
Gekoppelte Rekursion (Unbekannter Gewinn): Wenn der Gewinn unbekannt ist, wird die Rekursion um einen Online-Gewinnschätzer $g_k$ erweitert. Die Autoren definieren eine Produktmetrik $d_\lambda$ , die den kategoriale Residuum und den Gewinnfehler kombiniert. Sie beweisen, dass die gekoppelte Update-Abbildung in dieser Produktmetrik nicht-expansiv ist und dass ihre Fixpunkte den korrekten quotientenkategorialen Bias-Gesetzen und dem wahren Gewinn entsprechen.

3. Hauptbeiträge

Fundament des Quotientenraums: Der Artikel stellt fest, dass der Quotientenraum zustandsindizierter Gesetzesfamilien durch gemeinsame Translation der natürliche Definitionsbereich für ein verteilungsbasiertes Analogon des skalaren Bias ist.
Wohldefinierter projizierter Operator: Er definiert einen exakten Quotientenraum-Operator und einen quotientenkategorialen Projektionsalgorithmus und beweist, dass der projizierte Operator wohldefiniert, nicht-expansiv ist und Fixpunkte besitzt.
Konvergenzgarantien:
- Für zentrierte Belohnungen (bekannter Gewinn) beweist der Artikel die fast sichere (a.s.) Konvergenz und Residualschranken für endliche Iterationen der TD-Rekursion sowohl unter i.i.d.- als auch unter Markovscher Abtastung.
- Für unbekannte Gewinne führt er eine gekoppelte Rekursion mit einem Online-Gewinnschätzer ein und beweist die Nicht-Expansivität sowie die Markov-Konvergenz des gemeinsamen Schemas.
Strukturelle Einsicht: Die Arbeit hebt einen strukturellen Kontrast zwischen idealen Quotientenverteilungen (bei denen Zentrierungskonstanten nur gemeinsame Translationen induzieren) und praktischen kategorialen Darstellungen auf festem Gitter hervor (bei denen die Projektion Koeffizienten verändern kann, was eine korrekte Zentrierung erfordert).

4. Experimentelle Ergebnisse

Der Artikel validiert seine theoretischen Behauptungen durch zwei Experimente:

Fünf-Zustands-MDP: Ein tabellarisches Experiment, das exakte KM-Iterationen, zentrierte i.i.d.-SKM, zentrierte Markovsche SKM und gekoppelte SKM mit geschätztem Gewinn vergleicht.
- Die Ergebnisse bestätigen, dass exakte und stochastische Rekursionen zu denselben Fixpunkten konvergieren.
- Die gekoppelte Rekursion lernt erfolgreich sowohl die Bias-Verteilung als auch den Gewinn.
- Eine Ablationsstudie zeigt, dass die Verwendung einer falschen Zentrierungskonstante ( $g=0$ anstelle von $\bar{r}^\pi$ ) zu einer Konvergenz auf eine entartete Lösung führt, was die Notwendigkeit einer korrekten Zentrierung in Darstellungen auf festem Gitter untermauert.
Kontinuierlicher Zustand Pendulum-v1: Ein Proof-of-Concept unter Verwendung neuronaler Funktionsapproximation.
- Der vorgeschlagene gewinnzentrierte quotientenkategoriale Kritiker übertrifft einen naiven Rohbelohnungs-Kritiker erheblich in Bezug auf die Residuen des projizierten Operators.
- Die gekoppelte Online-Gewinn-Rekursion zerlegt den Fehler erfolgreich in kategoriale und Gewinnkomponenten, was mit den theoretischen Schranken konsistent ist.

5. Bedeutung und Behauptungen

Der Artikel beansprucht, die Schätzung des verteilungsbasierten Bias bei Durchschnittsbelohnung auf ein solides Fundament zu stellen. Seine primäre Bedeutung liegt in:

Der Auflösung der Mehrdeutigkeit der additiven Konstante des skalaren Bias durch Einführung einer quotientenkategorialen Formulierung.
Der Bereitstellung des ersten Bellman-kompatiblen verteilungsbasierten Analogons des Bias, das für dynamische Programmierung und TD-Lernargumente im Durchschnittsbelohnungs-Setting geeignet ist.
Der Etablierung von Konvergenzgarantien für nicht-expansive Abbildungen im Kontext des verteilungsbasierten RL, wodurch die Lücke zwischen theoretischen Fixpunktmethode für nicht-expansive Operatoren und praktischen TD-Algorithmen geschlossen wird.

Die Autoren stellen fest, dass ihr Ziel komplementär zu früheren Arbeiten ist, die das Durchschnittsbelohnungskriterium selbst verfeinern; stattdessen verfeinern sie den Bias als Lernobjekt. Die Theorie konzentriert sich derzeit auf die Evaluation mit festem Policy und festem kategorialem Träger in endlichen Zustandsräumen, wobei reichhaltigere Funktionsapproximationen und Kontrollsettings als natürliche nächste Schritte identifiziert wurden.