🤖 machine learning

Quotient-Categorical Representations for Bellman-Compatible Average-Reward Distributional Reinforcement Learning

Dit artikel introduceert een quotiënt-categorisch raamwerk voor distributieve versterkingsleer met gemiddelde beloning dat de slecht-gestelde aard van bias-schatting oplost door staatsgeïndexeerde wetten te identificeren tot op translatie, waardoor welgedefinieerde, niet-expansieve operatoren mogelijk worden en convergentie wordt bewezen voor zowel geïdealiseerde als praktische gesamplede algoritmen met online winstschatting.

Oorspronkelijke auteurs: Ege C. Kaya, Aliasghar Pourghani, Vijay Gupta, Abolfazl Hashemi

Gepubliceerd 2026-05-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ege C. Kaya, Aliasghar Pourghani, Vijay Gupta, Abolfazl Hashemi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: "Goedheid" Meten Zonder Startlijn

Stel je voor dat je een videospel speelt waarbij je aan het einde geen eindcijfer krijgt. In plaats daarvan speel je voor altijd en verzamel je elke seconde punten. Je doel is om het gemiddelde aantal punten te achterhalen dat je op de lange termijn per seconde verdient.

In de wereld van Kunstmatige Intelligentie (KI) heet dit Reinforcement Learning met Gemiddelde Beloning. De KI moet twee dingen leren:

De Gain (Opbrengst): De lange-termijn gemiddelde snelheid van het verdienen van punten (bijvoorbeeld 5 punten per seconde).
De Bias (Voorkeur): Hoeveel beter of slechter een specifieke situatie is in vergelijking met dat gemiddelde. Bijvoorbeeld, een "veilige zone" voelt misschien als +10 punten, terwijl een "gevaarzone" voelt als -10 punten, zelfs als het lange-termijn gemiddelde slechts 5 is.

Het Probleem:
De "Bias" heeft een vreemde eigenaardigheid. Het is als het meten van hoogte ten opzichte van zeeniveau. Als je besluit dat "zeeniveau" eigenlijk 100 voet hoger ligt dan voorheen, gaat elke enkele meting omhoog met 100 voet. Het verschil tussen de bergen en de dalen blijft hetzelfde, maar de getallen veranderen.

In wiskundige termen is de bias alleen gedefinieerd "tot op een additieve constante". Als je elk getal met hetzelfde bedrag verschuift, leert de KI nog steeds precies hetzelfde. Dit veroorzaakt een hoofdpijn voor een specifiek type KI genaamd Distributional Reinforcement Learning (DRL). DRL raadt niet alleen één enkel getal voor de bias; het raadt een hele verdeling (een wolk van mogelijkheden) om nauwkeuriger te zijn. Maar als je niet kunt vaststellen waar "nul" zit, hoe teken je die wolk dan op een kaart? Als je de kaart verschuift, beweegt de wolk mee en breekt de wiskunde.

De Oplossing: De "Quotiënt"-Kaart

De auteurs, Ege C. Kaya en zijn team van de Purdue University, bedachten een slimme manier om dit op te lossen. Ze probeerden niet de KI te dwingen om één enkel "nul"-punt te kiezen. In plaats daarvan behandelden ze het probleem als een schuifpuzzel.

De Analogie: De Schuifende Treinwagon
Stel je voor dat de gok van de KI over de bias een treinwagon is vol passagiers (de waarschijnlijkheidsverdeling).

De Oude Manier: Je probeerde de treinwagon te parkeren op een specifieke coördinaat op een spoor (bijvoorbeeld: "Stop bij kilometerpaal 50"). Maar omdat het "nul"-punt blijft bewegen, glijdt de wagon steeds van het spoor af.
De Nieuwe Manier (Quotient-Categorisch): De auteurs zeggen: "Wie geeft er om waar de trein geparkeerd staat? We geven alleen om de vorm van de trein en de afstand tussen de passagiers."

Ze creëerden een nieuwe wiskundige ruimte genaamd een Quotiëntruimte. In deze ruimte worden twee treinwagons als "hetzelfde" beschouwd als de ene een kopie is van de andere die met hetzelfde bedrag naar links of rechts is geschoven. Ze noemen dit wetten identificeren tot op een gemeenschappelijke translatie.

Door dit te doen, verwijderden ze de verwarring over "waar nul zit". De KI probeert niet langer om een absoluut getal te raden; het raadt de vorm van de bias-wolk, ongeacht waar deze op de getallenlijn zit.

De Motor: De "Niet-Expanderende" Operator

Zodra ze de kaart hadden gecorrigeerd, hadden ze een regel (een algoritme) nodig om de gok van de KI bij te werken naarmate het het spel speelde.

In standaard KI-leren vertrouwen we meestal op een "contractie"-eigenschap. Stel je een elastiek voor dat krimpt elke keer dat je eraan trekt, totdat het uiteindelijk vastklikt op één enkel punt. Dit garandeert dat de KI het antwoord leert.

Echter, vanwege het "schuivende" karakter van de bias, krimpt het elastiek in dit nieuwe systeem niet. In plaats daarvan gedraagt het zich als een niet-expanderend object. Stel je een stijve metalen staaf voor. Als je één uiteinde duwt, beweegt het andere uiteinde evenveel, maar de staaf wordt nooit korter of langer. Het klikt niet van nature vast op één punt; het blijft gewoon op dezelfde afstand staan.

De auteurs bewezen dat, hoewel deze "metalene staaf" niet krimpt, hun nieuwe algoritme toch werkt. Ze toonden aan dat:

Het algoritme goed gedefinieerd is (het heeft wiskundig zin).
Het niet-expanderend is (het laat fouten niet groeien).
Het nog steeds een vast punt vindt (een stabiele oplossing) waar de KI stopt met van mening veranderen.

De Praktische Truc: De "Gain" Onderweg Leren

Er was nog één laatste hindernis. Om hun perfecte "schuivende kaart"-algoritme te gebruiken, moet de KI de exacte "Gain" (de gemiddelde snelheid) kennen om deze af te trekken van de beloningen. Maar in de echte wereld weet de KI de gemiddelde snelheid nog niet; het probeert deze te leren!

De Oplossing: De Gekoppelde Recursie
De auteurs voegden een tweede, eenvoudiger leerproces toe dat naast het hoofdproces loopt.

De Hoofdheren: Leren de vorm van de bias-verdeling (de treinwagon).
De Zijkant: Een eenvoudige rekenmachine die voortdurend zijn gok over de gemiddelde snelheid (de Gain) bijwerkt op basis van de laatst verdiende punten.

Ze bewezen dat deze twee hersens met elkaar kunnen praten. De Zijkant wordt beter in het raden van de gemiddelde snelheid, wat de Hoofdheren helpt om hun treinwagon correct te centreren. Zelfs als de Zijkant gokt, blijft het hele systeem stabiel en convergeert het naar het juiste antwoord.

Wat Ze Testten

Om te bewijzen dat dit werkt, voerden ze experimenten uit:

Een Simpel 5-Staten Spel: Ze creëerden een tiny, eenvoudige wereld. Ze toonden aan dat hun nieuwe methode convergeerde naar het juiste antwoord, terwijl oude methoden die probeerden een "nul"-punt af te dwingen faalden of vastliepen.
Een Slagboom-simulatie: Ze testten het op een complexere, continue taak (het in evenwicht houden van een slagboom) met behulp van neurale netwerken. Zelfs met de toegevoegde complexiteit, leerde hun methode de bias-verdeling veel beter dan een naïeve aanpak die het "schuivende" probleem negeerde.

Samenvatting in Één Zin

De auteurs bedachten een nieuwe manier voor KI om op lange termijn beloningen te leren door de "onzekerheid van nul" te behandelen als een functie in plaats van een bug, met behulp van een "schuivende kaart"-benadering die de KI in staat stelt de vorm van de bias te leren zonder het exacte startpunt te hoeven kennen, terwijl het tegelijkertijd de gemiddelde snelheid van het spel leert.

Technische Samenvatting: Quotiënt-categorische Representaties voor Bellman-Compatibele Gemiddelde-Beloning Distributionele Versterkende Leer

1. Probleemstelling

Distributionele Versterkende Leer (DRL) heeft aanzienlijk succes geboekt in afgekwarteerde Markov-beslissingsprocessen (MDP's), waarbij de contractie-geometrie van de Bellman-operator de analyse en het algoritmeontwerp faciliteert. Het gemiddelde-beloningsscenario vormt echter een fundamentele structurele uitdaging voor distributionele modellering.

In gemiddelde-beloning-MDP's berust evaluatie op twee objecten: de winst (langdurige gemiddelde beloning) en de bias (relatieve waardenfunctie). De bias voldoet aan de Poisson-vergelijking, wat het gemiddelde-beloningsequivalent is van de Bellman-vergelijking. Een kritieke eigenschap van de Poisson-vergelijking is dat de oplossingen er uniek zijn alleen tot op een additieve constante. Deze translatie-invariantie creëert een belemmering voor standaard distributionele modellering: een door toestanden geïndexeerde familie van waarschijnlijkheidswetten op $\mathbb{R}$ kan niet direct worden gedefinieerd met een vaste oorsprong, omdat het translateren van de biasverdeling van elke staat met dezelfde constante het geleerde object niet zou moeten veranderen.

Bestaand DRL-werk voor gemiddelde beloning richt zich vaak op het verfijnen van het beloningscriterium zelf of maakt gebruik van scalaire representaties. Dit artikel adresseert het gat in het construeren van een Bellman-compatibel distributioneel equivalent van de bias dat de symmetrie van de additieve constante respecteert, waardoor distributionele dynamische programmering en tijdsverschil (TD)-leren in het gemiddelde-beloningsscenario mogelijk worden.

2. Methodologie

2.1 Formulering in Quotiëntruimte

De auteurs stellen voor om door toestanden geïndexeerde biaswetten te modelleren modulo gemeenschappelijke translaties.

Quotiëntruimte: Laat $\mathcal{F}_S$ de verzameling zijn van door toestanden geïndexeerde collecties van waarschijnlijkheidswetten op $\mathbb{R}$ . Een equivalentierelatie $\approx$ wordt gedefinieerd zodat $\eta \approx \zeta$ als $\zeta$ een gemeenschappelijke translatie is van $\eta$ . De resulterende ruimte $\mathcal{F}_S / \approx$ behoudt de symmetrie van de additieve constante van de Poisson-vergelijking.
Distributionele Operator: De distributionele operator voor gemiddelde beloning $T$ wordt gedefinieerd op $\mathcal{F}_S$ . Het artikel bewijst dat $T$ commuteert met gemeenschappelijke translaties, waardoor een welgedefinieerde operator op de quotiëntruimte $\mathcal{F}_S / \approx$ wordt geïnduceerd.

2.2 Categorische Parametrisatie

Om de quotiëntruimte computationeel hanteerbaar te maken, introduceren de auteurs een quotiënt-categorische representatie:

Representatie: De biaswet van elke staat wordt weergegeven door een categorische verdeling op een vast rooster $\Theta = \{\theta_1, \dots, \theta_d\}$ .
Shift-equivariantie: Een representatieve familie wordt gedefinieerd als $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$ , waarbij $c$ een willekeurige verschuiving is. De coëfficiëntvector $p$ karakteriseert uniek de quotiëntklasse $[\eta_{p,c}]$ , onafhankelijk van $c$ .
Projectie: Een shift-equivariante categorische projectie $\Pi_{\Theta_c}^C$ wordt gedefinieerd. Het artikel stelt vast dat het projecteren van een getranslateerde wet op een getranslateerd rooster dezelfde coëfficiëntvector oplevert als het projecteren van de oorspronkelijke wet op het oorspronkelijke rooster.

2.3 Geprojecteerde Operator en Niet-Expansiviteit

De auteurs definiëren een geprojecteerde operator $G_g$ op de categorische coëfficiënten, wat overeenkomt met het toepassen van de distributionele operator en het projecteren terug op het categorische rooster.

Metriek: Convergentie wordt geanalyseerd met behulp van de coördinaat-Cramérmetriek ( $\ell_{\Theta, C, \infty}$ ), die overeenkomt met de standaard Cramérmetriek op de representatieve wetten.
Kernkarakteristiek: In tegenstelling tot afgekwarteerde DRL-operatoren die contractief zijn, is de geprojecteerde operator $G_g$ in het gemiddelde-beloningsscenario niet-expansief. Het artikel bewijst dat $G_g$ welgedefinieerd is, niet-expansief in de coördinaat-Cramérmetriek, en vaste punten toelaat (via de vaste-puntstelling van Brouwer).

2.4 Stochastische Benadering (SA) Recursies

Omdat de operator niet-expansief is in plaats van contractief, zijn standaard contractie-argumenten niet van toepassing. De auteurs analyseren bemonsterde recursies als asynchrone relaxaties van de geprojecteerde operator:

Gecentreerde Recursie: Aannemende dat de winst $\bar{r}^\pi$ bekend is, definiëren zij een TD-update voor één staat (Stochastische Krasnosel'skiĭ–Mann-iteratie) met gecentreerde beloningen $B = R - \bar{r}^\pi$ . Het gemiddeld-veldbeeld van deze recursie wordt aangetoond niet-expansief te zijn en dezelfde vaste punten te delen met $G$ .
Gekoppelde Recursie (Onbekende Winst): Wanneer de winst onbekend is, wordt de recursie aangevuld met een online winstschatter $g_k$ . De auteurs definiëren een productmetriek $d_\lambda$ die de categorische residual en de winstfout combineert. Zij bewijzen dat de gekoppelde update-kaart niet-expansief is in deze productmetriek en dat de vaste punten ervan overeenkomen met de correcte quotiënt-categorische biaswetten en de ware winst.

3. Belangrijkste Bijdragen

Fundament van de Quotiëntruimte: Het artikel stelt vast dat de quotiëntruimte van door toestanden geïndexeerde families van wetten modulo gemeenschappelijke translatie het natuurlijke domein is voor een distributioneel equivalent van de scalaire bias.
Welgedefinieerde Geprojecteerde Operator: Het definieert een exacte operator in de quotiëntruimte en een quotiënt-categorisch projectie-algoritme, en bewijst dat de geprojecteerde operator welgedefinieerd is, niet-expansief is en vaste punten bezit.
Convergentiegaranties:
- Voor gecentreerde beloningen (bekende winst) bewijst het artikel bijna-zekere (a.s.) convergentie en residualgrenzen voor eindige iteraties voor de TD-recursie onder zowel i.i.d. als Markoviaanse bemonstering.
- Voor onbekende winsten introduceert het een gekoppelde recursie met een online winstschatter, waarbij niet-expansiviteit en Markoviaanse convergentie van het gezamenlijke schema worden bewezen.
Structureel Inzicht: Het werk benadrukt een structureel contrast tussen ideale quotiëntverdelingen (waarbij centreringconstanten slechts gemeenschappelijke translaties veroorzaken) en praktische categorische representaties op een vast rooster (waarbij projectie coëfficiënten kan veranderen, wat correct centrering vereist).

4. Experimentele Resultaten

Het artikel valideert zijn theoretische claims via twee experimenten:

Vijf-staten MDP: Een tabulair experiment dat exacte KM-iteraties, gecentreerde i.i.d. SKM, gecentreerde Markoviaanse SKM en gekoppelde winst-geschatte SKM vergelijkt.
- De resultaten bevestigen dat exacte en stochastische recursies convergeren naar dezelfde vaste punten.
- De gekoppelde recursie leert succesvol zowel de biasverdeling als de winst.
- Een ablatiestudie toont aan dat het gebruik van een onjuiste centreringconstante ( $g=0$ in plaats van $\bar{r}^\pi$ ) leidt tot convergentie naar een gedegenereerde oplossing, wat de noodzaak van correct centrering in vast-roosterrepresentaties valideert.
Continue-staten Pendulum-v1: Een proef van concept met neurale functiebenadering.
- De voorgestelde winst-gecentreerde quotiënt-categorische criticus presteert aanzienlijk beter dan een naïeve ruwe-beloning-criticus in termen van residualen van de geprojecteerde operator.
- De gekoppelde online-winst-recursie splitst de fout succesvol op in categorische en winstcomponenten, consistent met theoretische grenzen.

5. Betekenis en Claims

Het artikel claimt schatten van biasverdeling voor gemiddelde beloning op een stevige basis te plaatsen. De primaire betekenis ligt in:

Het oplossen van de ambiguïteit van de additieve constante van de scalaire bias door een quotiënt-categorische formulering in te voeren.
Het bieden van het eerste Bellman-compatibele distributionele equivalent van de bias dat geschikt is voor dynamische programmering en TD-leringsargumenten in het gemiddelde-beloningsscenario.
Het vestigen van convergentiegaranties voor niet-expansieve kaarten in de context van distributionele RL, waarbij de kloof wordt overbrugd tussen theoretische vaste-puntmethoden voor niet-expansieve operatoren en praktische TD-algoritmen.

De auteurs merken op dat hun doel complementair is aan eerder werk dat het gemiddelde-beloningscriterium zelf verfijnt; in plaats daarvan verfijnen zij de bias als het leerobject. De theorie is momenteel gericht op evaluatie van eindige toestanden met vaste beleidsplannen en vaste categorische ondersteuningen, waarbij rijker functiebenadering en besturingsscenario's worden geïdentificeerd als natuurlijke volgende stappen.