🤖 AI

Completion vs Optimality: Policy Gradient in Long-Horizon Cumulative-Damage Problems

Dit artikel identificeert en ontbindt twee orthogonale faalmodi—voltooiing en optimaliteit—in policy-gradient-methoden voor problemen met cumulatieve schade op lange termijn, en toont door middel van empirische validatie in simulaties van metselaars en NBA-carrières aan dat hoewel beperkingen van de actieruimte taakvoltooiing mogelijk maken, ze vaak een aanzienlijke optimaliteitskloof achterlaten die wordt veroorzaakt door vroege, hebzuchtige toezeggingen.

Oorspronkelijke auteurs: Wolfgang Maass, Sabine Janzen

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wolfgang Maass, Sabine Janzen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot traint om een zeer lang spel van "Carrière" te spelen. Het doel is om zo lang mogelijk in het spel te blijven terwijl je zoveel mogelijk punten verzamelt. Er is echter een addertje onder het gras: de zetten die je nu de meeste punten opleveren, breken ook langzaam de benen van je robot. Als de benen te veel beschadigd raken, eindigt het spel onmiddellijk.

Dit artikel, getiteld "Voltooiing versus Optimaliteit", onderzoekt waarom slimme AI-leermethoden (specifiek iets dat "Policy Gradient" heet) vaak falen in dit type spel. De auteurs, Wolfgang Maass en Sabine Janzen, ontdekten dat deze AI's op twee volledig verschillende manieren falen, en dat ze met verschillende middelen moeten worden opgelost.

Hier is de uiteenzetting met eenvoudige analogieën:

1. De Twee Manieren om te Falen

De auteurs realiseerden zich dat wanneer een AI slecht presteert, het meestal faalt in een van twee onderscheiden taken, maar standaard scoringssystemen deze door elkaar halen:

Falen A: "Te vroeg Opgeven" (Voltooiingsfalen)
- De Analogie: Stel je een marathonloper voor die in volle vaart sprint omdat hij de finish snel wil bereiken. Hij brandt zijn spieren in de eerste kilometer op en moet de race volledig opgeven.
- Het AI-probleem: De AI ziet de "gierige" zet (die met de meeste directe punten) en neemt die. Deze zet beschadigt in het geheim de "gezondheid" van de robot. Omdat het schade-signaal verborgen blijft tot het te laat is, blijft de AI deze beschadigende zet nemen totdat de robot kapot gaat en het episode te vroeg eindigt. Het komt zelfs niet bij de latere, hoogbeloonde fasen van de carrière.
Falen B: "Te Hard Spelen" (Optimaliteitsfalen)
- De Analogie: Stel je een loper voor die de marathon wel voltooit, maar die zo hard sprintte aan het begin dat hij aan het einde kreupel en uitgeput is. Hij is klaar, maar hij had een veel betere race kunnen lopen als hij zijn tempo had bewaard.
- Het AI-probleem: Zelfs als de AI het hele carrière overleeft, komt het vaak vast te zitten in een "valstrik". Het leert om 100% inspanning te leveren aan het allerbegin, omdat dat eruit ziet als de beste zet voor de eerste stap. Eenmaal vastgelegd in dit "alles-of-niets"-begin, kan het niet herstellen. Het eindigt met een lagere totaalscore dan het had kunnen bereiken als het zachtjes was begonnen.

2. De Twee Experimenten

Om dit te bewijzen, bouwden de auteurs twee verschillende "carrière-simulatoren" die fungeren als videospellen:

De Metselaar: Een 49-jarige carrière van een bouwvakker die zware lasten tilt.
De NBA-speler: Een 20-seizoenen carrière van een basketballer als power forward.

Beide spellen hebben dezelfde verborgen regel: Te veel werk te vroeg doen, en je raakt geblesseerd (het spel eindigt).

3. Wat Ze Vonden

De auteurs testten drie verschillende benaderingen op deze spellen:

De "Echte" AI (PPO): Dit is de standaard AI die probeert te leren door trial and error.
- Resultaat: Het faalde in Voltooiing. In het metselaarspel stopte het op 27,8-jarige leeftijd (in plaats van 65). In het NBA-spel stopte het op 22,6-jarige leeftijd (in plaats van 38). Het sprintte te hard en ging kapot.
De "Onbeperkte" AI met een Zachte Boete: De onderzoekers probeerden de AI te helpen door het een "zachte waarschuwing" (een kleine boete) te geven als het te hard werkte, en het de volledige carrièrelengte te laten zien.
- Resultaat: Dit maakte de dingen eigenlijk erger. De AI stopte zelfs vroeger (op 24,7-jarige leeftijd). De boete verwarde de AI, waardoor het helemaal stopte met werken of voortijdig opgaf.
De "Beperkte" AI (Fixed-Share): De onderzoekers dwongen de AI om een specifieke regel te volgen: "Je mag slechts 15% van het gevaarlijke zware tillen doen." De AI mocht alleen beslissen hoe hard het werkte, niet waaraan het werkte.
- Resultaat: Deze AI behaalde Voltooiing. Het voltooide de volledige 49 jaar of 20 seizoenen zonder op te geven.
- Het Addertje: Hoewel het voltooide, faalde het nog steeds in Optimaliteit. Het eindigde met een score van 0,52 (op een schaal waar de perfecte score 0,79 is). Het overleefde, maar het speelde niet het beste mogelijke spel omdat het vastzat in die valstrik van "sprinten aan het begin".

4. De "Eerste Stap"-Valstrik

De meest interessante ontdekking is waarom de AI aan het begin te hard speelt.
De auteurs ontdekten dat de AI een "gierige toewijding" maakt in de allereerste seconde van training.

De Metafoor: Stel je een student voor die een toets maakt. De eerste vraag is makkelijk en geeft 100 punten. De student denkt: "Ik beantwoord deze er gewoon supersnel!" Dat doet hij, maar door dit te doen, gebruikt hij al zijn mentale energie voor de rest van de toets.
De Wetenschap: De AI berekent dat de "alles-of-niets"-zet nu een enorme beloning oplevert. Omdat de schade pas later zichtbaar wordt, is de eerste impuls van de AI om voor de grote beloning te gaan. Eenmaal vastgezet in die "alles-of-niets"-strategie, is het te laat om te veranderen. Zelfs als je het een miljoen jaar traint, blijft het diezelfde eerste fout maken.

5. De Conclusie

Het artikel concludeert dat je deze problemen niet met slechts één gereedschap kunt oplossen.

Om te voorkomen dat de AI te vroeg opgeeft, moet je zijn keuzes beperken (dwing het om niet 100% van de tijd de gevaarlijke zet te doen).
Om te voorkomen dat de AI slecht speelt (zelfs als het overleeft), moet je de manier waarop het leert vanaf de allereerste stap corrigeren, omdat het direct "vastzit" in een slechte gewoonte.

Kortom: De AI is als een werknemer die ofwel te vroeg de baan opgeeft omdat hij te hard werkt, ofwel in de baan blijft maar zijn carrière uitbrandt omdat hij te hard begon. Het artikel toont aan dat de AI simpelweg vertellen "werk niet te hard" niet genoeg is; je moet de regels van het spel veranderen en hoe de AI denkt over de allereerste zet.

Technische Samenvatting: Voltooiing versus Optimaliteit in Problemen met Cumulatieve Schade op Lange Termijn

1. Probleemdefinitie

Dit artikel behandelt een specifieke klasse van sequentiële beslissingsproblemen op lange termijn, gekenmerkt door cumulatieve schade. In deze omgevingen verhogen acties die de directe beloning maximaliseren (lokaal aantrekkelijk) tegelijkertijd een latente cumulatieve schade-toestand ( $D_t$ ). De episode eindigt impliciet wanneer $D_t$ een drempelwaarde overschrijdt of wanneer een "rol-levensvatbaarheid"-beperking wordt geschonden (bijvoorbeeld wanneer het aandeel van activiteiten met hoge schade onder een kritiek niveau daalt).

De kernuitdaging is dat het schade-signaal vaak latent of niet-informatief is bij lage schade-niveaus. Agenten die standaard policy-gradient-methoden gebruiken (zoals PPO) falen vaak om voorzichtige beleidsregels te leren omdat:

Ze de schade pas kunnen waarnemen wanneer het te laat is (de "impliciete eindgrens").
Gierige krediettoewijzing directe beloning verkiest boven langetermijnbehoud, wat leidt tot vroegtijdige beëindiging.

De auteurs identificeren dat standaard evaluatie op basis van return twee verschillende faalmodi door elkaar haalt:

Voltooiingsfalen: De agent verlaat de episode te vroeg (voordat de volledige horizon $H$ is bereikt) door de impliciete beperking te schenden.
Optimaliteitsfalen: De agent voltooit de volledige horizon, maar bereikt een suboptimale eindtoestand (bijvoorbeeld een lagere behoudswaarde van gezondheid/capaciteit) omdat het zich vroeg in het proces heeft vastgelegd op een gierige strategie.

2. Methodologie en Decompositie

Het artikel stelt een decompositie voor om agenten te evalueren op twee orthogonale assen:

Voltooiing: Bereikt het beleid de terminale horizon $H$ ?
Optimaliteit: Gegeven voltooiing, komt het beleid overeen met de waarde van een referentie gebaseerd op terugwaartse deductie ( $\pi^*$ )?

Experimentele Opstelling

De auteurs evalueren deze decompositie in twee verschillende, gekalibreerde omgevingen die dezelfde abstracte structuur delen, maar verschillen in domein en parameters:

Bakkerscarrière: Een simulatie van 49 stappen (49 jaar) van een bouwvakker die 7 activiteiten beheert, gekalibreerd op menselijke knie-biomechanica en epidemiologische data.
NBA Power-Forward Carrière: Een simulatie van 20 seizoenen van een basketbalspeler die 6 activiteiten beheert, gekalibreerd op literatuur over sportgeneeskunde.

Beide omgevingen kenmerken zich door:

Latente Schade: De agent observeert alleen een proxy-signaal $S_t = g(D_t)$ , dat niet-informatief is bij lage schade-niveaus.
Structuur met Dominante Activiteit: Eén activiteit maximaliseert zowel beloning als schade.
Zelfversterkende Degradatie: Een secundair kanaal waarbij behoud ( $M_t$ ) versnelt degradeert zodra het onder een drempelwaarde daalt ( $M_{amp} = 0.6$ ).

Vergelijkde Algoritmen

PPO-real: Standaard Proximal Policy Optimization getraind op echte rollouts met de impliciete beëindigingsbeperking actief.
Unrestricted Dyna: Een modelgebaseerde variant (Dyna) met toegang tot de volledige horizon (via een no_exit-vlag tijdens training) en een lineaire zachte straf voor het schenden van de rol-levensvatbaarheidsbeperking.
Fixed-share Dyna: Een variant waarbij het activiteitenaandeel wordt geklemd op de optimale toewijzing van Dynamische Programmering (DP), en alleen het inspanningsniveau wordt geleerd.
DP-optimal: Een referentie gebaseerd op terugwaartse deductie met volledige staatkennis ( $D, M, t$ ) om de theoretische bovengrens te berekenen.

3. Belangrijkste Bevindingen en Resultaten

De Voltooiingskloof

PPO-real Falen: PPO getraind op echte rollouts slaagt er niet in om de horizon te voltooien in beide omgevingen (0% voltooiingspercentage). Het gemiddelde vertrekleeftijd is significant lager dan de horizon (27,8 jaar bij Bakker; 22,6 jaar bij NBA).
Schade van Alleen Horizons-toegang: Het verlenen van horizons-toegang aan een onbeperkte agent (Unrestricted Dyna) met een lineaire zachte straf verslechtert de prestaties. De straf drijft het aandeel van de dominante activiteit naar nul, waardoor de beperking nog agressiever wordt geschonden dan bij PPO-real.
Beperking van Actieruimte: Het beperken van de actieruimte tot de DP-optimale aandelentoewijzing (Fixed-share Dyna) maakt voltooiing mogelijk. Deze agent bereikt 100% voltooiing in beide omgevingen, wat bewijst dat het falen om te voltooien structureel is (gerelateerd aan de aandelbeperking) en niet puur een kwestie van krediettoewijzing.

De Optimaliteitskloof

Zelfs wanneer voltooiing wordt bereikt (Fixed-share Dyna), blijft er een significante optimaliteitskloof ( $\Delta M_{final}$ ) bestaan:

Bakker: $\Delta M_{final} = 0,271$ (Fixed-share Dyna $M_{final} \approx 0,52$ versus DP-optimaal $0,79$).
NBA: $\Delta M_{final} = 0,150$ (Fixed-share Dyna $M_{final} \approx 0,61$ versus DP-optimaal $0,76$).

Mechanisme van Optimaliteitsfalen: Toegang tot het Bekken van de Eerste Fase

Het artikel identificeert de oorzaak van de optimaliteitskloof als een eerste-fase gierige toewijzing:

Reactieve Daling Aantrekker: In 8/10 zaden (Bakker) en 4/10 zaden (NBA) legt de agent zich bij $t=0$ vast op maximale inspanning voor de dominante activiteit.
Onomkeerbaarheid: Deze initiële hoge inspanning drijft de behoudvariabele $M$ onomkeerbaar onder de zelfversterkende drempel ( $M_{amp}$ ).
Stap-0 Bekken Toegang: De verwachte eerste policy-gradient-update wijst naar de gierige actie omdat het gat in directe beloning het afgeprijsde toekomstige schadekosten overweegt (geformaliseerd in Proposition 1). Deze toewijzing gebeurt binnen de eerste 1% van de training, voordat signalen op lange termijn zich hebben opgehoopt.
Horizon-invariantie: De dominantie van deze "reactieve daling"-aantrekker is invariant voor de lengte van de trainingshorizon ( $H$ ) tot een kritieke grens $H^*$ , wat bevestigt dat het falen wordt gedreven door initiële voorwaarden en niet door krediettoewijzing op lange termijn.

4. Bijdragen

Formalisatie: Een formele definitie van de probleemklasse "horizon-mismatched cumulatieve schade" en een decompositie van falen in de assen voltooiing en optimaliteit.
Empirische Decompositie: Een drieweg-vergelijking (PPO-real, Fixed-share Dyna, DP-optimaal) die beide kloven kwantificeert in twee verschillende domeinen.
Causale Analyse: Bewijs dat horizons-toegang alleen schadelijk is onder lineaire zachte straffen en dat beperking van de actieruimte de noodzakelijke interventie is voor voltooiing.
Mechanisme-identificatie: Identificatie van "eerste-fase gierige toewijzing" als drijver van optimaliteitsfalen, ondersteund door een theoretische propositie over de richting van de verwachte eerste gradiënt-update.

5. Betekenis en Claims

Het artikel stelt dat standaard policy-gradient-methoden falen in problemen met cumulatieve schade niet alleen door krediettoewijzing op lange termijn, maar door een structureel onvermogen om impliciete eindbeperkingen te voldoen (voltooiing) en een neiging om zich al aan het begin van de episode vast te leggen op gierige strategieën (optimaliteit).

Diagnostische Waarde: De decompositie onthult dat interventies die op één as gericht zijn (bijvoorbeeld beperking van de actieruimte voor voltooiing) de andere (optimaliteit) niet oplossen.
Generaliseerbaarheid: De bevindingen repliceren over twee domeinen (beroepsgezondheid en sportgeneeskunde), wat suggereert dat de faalmodi inherent zijn aan de probleemstructuur (latente schade, uitlijning van dominante activiteit, zelfversterkende degradatie) en niet specifiek zijn voor een simulator.
Theoretisch Inzicht: Het werk verbindt het empirische patroon van "reactieve daling" met een formele voorwaarde waarbij het gat in directe beloning de voortzettingswaarde bij $t=0$ overheerst, wat verklaart waarom agenten convergeren naar suboptimale vaste punten ongeacht de lengte van de trainingshorizon.

De auteurs stellen expliciet dat hun theoretische propositie (Propositie 1) van toepassing is op een minimaal binair actie-MDP en dient als structurele analogie voor de testbedden met meerdere activiteiten, in plaats van een directe afleiding voor deze. Zij merken ook beperkingen op met betrekking tot het gebruik van één simulatie-engine en de specifieke gebruikte straffuncties (lineaire zachte straffen).