🤖 AI

Completion vs Optimality: Policy Gradient in Long-Horizon Cumulative-Damage Problems

Dieser Artikel identifiziert und zerlegt zwei orthogonale Fehlermodi – Vollständigkeit und Optimalität – bei Policy-Gradient-Methoden für Probleme mit langem Zeithorizont und kumulativem Schaden und zeigt durch empirische Validierung in Simulationen von Maurer- und NBA-Karrieren, dass zwar Einschränkungen des Aktionsraums die Aufgabenerfüllung ermöglichen, jedoch häufig eine signifikante Optimalitätslücke zurücklassen, die durch frühe gierige Verpflichtungen verursacht wird.

Ursprüngliche Autoren: Wolfgang Maass, Sabine Janzen

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wolfgang Maass, Sabine Janzen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Roboter, um ein sehr langes Spiel namens „Karriere" zu spielen. Das Ziel ist es, so lange wie möglich im Spiel zu bleiben und dabei so viele Punkte wie möglich zu sammeln. Allerdings gibt es einen Haken: Die Züge, die Ihnen sofort die meisten Punkte einbringen, brechen auch langsam die Beine Ihres Roboters. Wenn die Beine zu stark beschädigt werden, endet das Spiel sofort.

Diese Arbeit mit dem Titel „Completion vs. Optimality" untersucht, warum intelligente KI-Lernmethoden (insbesondere etwas, das „Policy Gradient" genannt wird) bei dieser Art von Spiel oft versagen. Die Autoren, Wolfgang Maass und Sabine Janzen, entdeckten, dass diese KIs auf zwei völlig unterschiedliche Arten versagen und dass sie mit unterschiedlichen Werkzeugen behoben werden müssen.

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Die zwei Arten zu versagen

Die Autoren erkannten, dass wenn eine KI schlecht abschneidet, sie meist an einer von zwei unterschiedlichen Aufgaben scheitert, wobei Standard-Scoring-Systeme diese vermischen:

Versagen A: „Zu früh aufgeben" (Completion Failure)
- Die Analogie: Stellen Sie sich einen Marathonläufer vor, der mit voller Sprintgeschwindigkeit startet, weil er das Ziel schnell erreichen möchte. Er verbrennt seine Muskeln in der ersten Meile und muss das Rennen ganz aufgeben.
- Das KI-Problem: Die KI erkennt den „gierigen" Zug (den mit den meisten sofortigen Punkten) und führt ihn aus. Dieser Zug beschädigt heimlich die „Gesundheit" des Roboters. Da das Schadenssignal erst zu spät sichtbar wird, führt die KI weiterhin den schädlichen Zug aus, bis der Roboter zusammenbricht und die Episode vorzeitig endet. Sie erreicht niemals die späteren, belohnungsreichen Phasen der Karriere.
Versagen B: „Zu hart spielen" (Optimality Failure)
- Die Analogie: Stellen Sie sich einen Läufer vor, der den Marathon doch beendet, aber so hart am Anfang sprintete, dass er am Ende humpelt und erschöpft ist. Er hat fertig, aber er hätte ein viel besseres Rennen laufen können, wenn er sein Tempo besser eingeteilt hätte.
- Das KI-Problem: Selbst wenn die KI die gesamte Karriere überlebt, gerät sie oft in eine „Falle". Sie lernt, am allerbeginnen 100-prozentige Anstrengung zu investieren, weil das wie der beste Zug für den ersten Schritt aussieht. Sobald sie sich für diesen „all-out"-Start entschieden hat, kann sie sich nicht mehr erholen. Sie erzielt am Ende einen niedrigeren Gesamtscore, als sie erreicht hätte, wenn sie sanfter begonnen hätte.

2. Die zwei Experimente

Um dies zu beweisen, entwickelten die Autoren zwei verschiedene „Karriere-Simulatoren", die wie Videospiele funktionieren:

Der Maurer: Eine 49-jährige Karriere eines Bauarbeiters, der schwere Lasten hebt.
Der NBA-Spieler: Eine 20-jährige Karriere eines Basketball-Power-Forwards.

Beide Spiele haben dieselbe versteckte Regel: Zu viel Arbeit zu früh, und Sie verletzen sich (das Spiel endet).

3. Was sie fanden

Die Autoren testeten drei verschiedene Ansätze an diesen Spielen:

Die „echte" KI (PPO): Dies ist die Standard-KI, die durch Versuch und Irrtum lernt.
- Ergebnis: Sie scheiterte an der Completion. Im Maurer-Spiel gab sie im Alter von 27,8 Jahren auf (statt mit 65). Im NBA-Spiel gab sie im Alter von 22,6 Jahren auf (statt mit 38). Sie sprintete zu hart und brach zusammen.
Die „unbeschränkte" KI mit einer weichen Strafe: Die Forscher versuchten, der KI zu helfen, indem sie ihr eine „weiche Warnung" (eine kleine Strafe) erteilten, wenn sie zu hart arbeitete, und ihr die gesamte Karrierelänge zeigten.
- Ergebnis: Dies machte die Dinge tatsächlich schlechter. Die KI gab noch früher auf (Alter 24,7). Die Strafe verwirrte die KI, wodurch sie ganz aufhörte zu arbeiten oder vorzeitig aufgab.
Die „beschränkte" KI (Fixed-Share): Die Forscher zwangen die KI, einer spezifischen Regel zu folgen: „Sie dürfen nur 15 % der gefährlichen schweren Hebearbeiten verrichten." Die KI durfte nur entscheiden, wie hart sie arbeiten sollte, nicht womit.
- Ergebnis: Diese KI erreichte Completion. Sie beendete die vollen 49 Jahre oder 20 Saisons ohne aufzugeben.
- Der Haken: Obwohl sie fertig wurde, scheiterte sie dennoch an der Optimality. Sie beendete das Spiel mit einem Score von 0,52 (auf einer Skala, bei der der perfekte Score 0,79 ist). Sie überlebte, spielte aber nicht das beste mögliche Spiel, weil sie in dieser „Sprint am Anfang"-Falle stecken blieb.

4. Die „erster Schritt"-Falle

Die interessanteste Entdeckung ist, warum die KI am Anfang zu hart spielt.
Die Autoren fanden heraus, dass die KI eine „gierige Verpflichtung" in der ersten Sekunde des Trainings eingeht.

Die Metapher: Stellen Sie sich einen Schüler vor, der einen Test schreibt. Die erste Frage ist einfach und gibt 100 Punkte. Der Schüler denkt: „Ich werde diese eine Frage einfach super schnell beantworten!" Er tut es, aber dabei verbraucht er all seine mentale Energie für den Rest des Tests.
Die Wissenschaft: Die KI berechnet, dass der „all-out"-Zug sofort eine enorme Belohnung bringt. Da der Schaden erst später sichtbar wird, ist der erste Instinkt der KI, nach der großen Belohnung zu greifen. Sobald sie sich auf diese „all-out"-Strategie festgelegt hat, ist es zu spät, um zu ändern. Selbst wenn Sie sie eine Million Jahre trainieren, macht sie immer denselben ersten Fehler.

5. Das Fazit

Die Arbeit kommt zu dem Schluss, dass man diese Probleme nicht mit nur einem Werkzeug beheben kann.

Um zu verhindern, dass die KI zu früh aufgibt, müssen Sie ihre Wahlmöglichkeiten einschränken (zwingen Sie sie, den gefährlichen Zug nicht 100 % der Zeit auszuführen).
Um zu verhindern, dass die KI schlecht spielt (selbst wenn sie überlebt), müssen Sie verbessern, wie sie vom allerersten Schritt an lernt, da sie sofort in eine schlechte Gewohnheit „stecken bleibt".

Kurz gesagt: Die KI ist wie ein Arbeiter, der entweder den Job zu früh aufgibt, weil er zu hart arbeitet, oder im Job bleibt, aber seine Karriere verbrennt, weil er zu hart begonnen hat. Die Arbeit zeigt, dass es nicht ausreicht, der KI einfach zu sagen „arbeite nicht zu hart"; Sie müssen die Regeln des Spiels und die Art und Weise ändern, wie die KI über den allerersten Zug nachdenkt.

Technische Zusammenfassung: Vollständigkeit vs. Optimalität bei langfristigen kumulativen Schadensproblemen

1. Problemdefinition

Dieser Artikel behandelt eine spezifische Klasse langfristiger sequenzieller Entscheidungsprobleme, die durch kumulativen Schaden gekennzeichnet sind. In diesen Umgebungen erhöhen Aktionen, die die unmittelbare Belohnung maximieren (lokal attraktiv), gleichzeitig einen latenten kumulativen Schadenszustand ( $D_t$ ). Die Episode endet implizit, wenn $D_t$ einen Schwellenwert überschreitet oder wenn eine „Rollen-Viabilitäts"-Beschränkung verletzt wird (z. B. wenn der Anteil hochschädlicher Aktivitäten unter ein kritisches Niveau fällt).

Die Kernherausforderung besteht darin, dass das Schadenssignal bei niedrigen Schadensniveaus oft latent oder uninformierend ist. Agenten, die Standard-Policy-Gradient-Methoden (wie PPO) verwenden, lernen häufig keine umsichtigen Strategien, weil:

Sie den Schaden nicht beobachten können, bis es zu spät ist (die „implizite terminale Grenze").
Eine gierige Kreditvergabe die unmittelbare Belohnung gegenüber der langfristigen Erhaltung bevorzugt, was zu einer vorzeitigen Beendigung führt.

Die Autoren identifizieren, dass eine standardmäßige bewertungsbasierte Evaluierung zwei unterschiedliche Fehlermodi vermischt:

Vollständigkeitsversagen: Der Agent beendet die Episode vorzeitig (vor dem vollen Horizont $H$ ) aufgrund der Verletzung der impliziten Beschränkung.
Optimalitätsversagen: Der Agent vollendet den vollen Horizont, erreicht jedoch einen suboptimalen Endzustand (z. B. geringere Erhaltung von Gesundheit/Kapazität), weil er sich frühzeitig für eine gierige Strategie entschieden hat.

2. Methodik und Zerlegung

Der Artikel schlägt eine Zerlegung vor, um Agenten auf zwei orthogonalen Achsen zu evaluieren:

Vollständigkeit: Erreicht die Policy den terminalen Horizont $H$ ?
Optimalität: Gegeben die Vollständigkeit, entspricht die Policy dem Wert einer Referenz durch Rückwärtsinduktion ( $\pi^*$ )?

Experimentelles Setup

Die Autoren evaluieren diese Zerlegung in zwei distincten, kalibrierten Umgebungen, die dieselbe abstrakte Struktur teilen, sich jedoch in Domäne und Parametern unterscheiden:

Ziegler-Karriere: Eine 49-stufige (49-jährige) Simulation eines Bauarbeiters, der 7 Aktivitäten verwaltet, kalibriert an menschliche Kniebiomechanik und epidemiologische Daten.
NBA-Power-Forward-Karriere: Eine 20-Saison-Simulation eines Basketballspielers, der 6 Aktivitäten verwaltet, kalibriert an sportmedizinische Literatur.

Beide Umgebungen weisen folgende Merkmale auf:

Latenter Schaden: Der Agent beobachtet nur ein Proxy-Signal $S_t = g(D_t)$ , das bei niedrigen Schadensniveaus uninformierend ist.
Dominante-Aktivitäts-Struktur: Eine Aktivität maximiert sowohl Belohnung als auch Schaden.
Selbstverstärkende Degradation: Ein sekundärer Kanal, bei dem die Erhaltung ( $M_t$ ) mit einer beschleunigten Rate degradiert, sobald sie unter einen Schwellenwert fällt ( $M_{amp} = 0.6$ ).

Verglichene Algorithmen

PPO-real: Standard Proximal Policy Optimization, trainiert auf realen Rollouts mit aktiver impliziter Beendigungsbeschränkung.
Unrestricted Dyna: Eine modellbasierte Variante (Dyna) mit Zugriff auf den vollen Horizont (via no_exit-Flag während des Trainings) und einer linearen weichen Strafe für die Verletzung der Rollen-Viabilitätsbeschränkung.
Fixed-share Dyna: Eine Variante, bei der der Aktivitätsanteil auf die optimale Zuweisung der Dynamischen Programmierung (DP) geklemmt wird und nur das Anstrengungsniveau gelernt wird.
DP-optimal: Eine Referenz durch Rückwärtsinduktion unter Verwendung vollständiger Zustandskenntnis ( $D, M, t$ ) zur Berechnung der theoretischen Obergrenze.

3. Wichtige Erkenntnisse und Ergebnisse

Die Vollständigkeitslücke

PPO-real-Versagen: PPO, trainiert auf realen Rollouts, schafft es in beiden Umgebungen nicht, den Horizont zu vollenden (0 % Vollständigkeitsrate). Das durchschnittliche Austrittsalter liegt signifikant unter dem Horizont (27,8 Jahre bei Ziegler; 22,6 Jahre bei NBA).
Schädlichkeit des alleinigen Horizontzugriffs: Die Gewährung des Horizontzugriffs an einen uneingeschränkten Agenten (Unrestricted Dyna) mit einer linearen weichen Strafe verschlechtert die Leistung. Die Strafe treibt den Anteil der dominanten Aktivität auf null und verletzt die Beschränkung noch aggressiver als PPO-real.
Einschränkung des Aktionsraums: Die Einschränkung des Aktionsraums auf die DP-optimale Anteilszuweisung (Fixed-share Dyna) schaltet die Vollständigkeit frei. Dieser Agent erreicht in beiden Umgebungen 100 % Vollständigkeit, was beweist, dass das Versagen der Vollständigkeit strukturell ist (im Zusammenhang mit der Anteilsbeschränkung) und nicht rein ein Problem der Kreditvergabe.

Die Optimalitätslücke

Selbst wenn Vollständigkeit erreicht wird (Fixed-share Dyna), bleibt eine signifikante Optimalitätslücke ( $\Delta M_{final}$ ) bestehen:

Ziegler: $\Delta M_{final} = 0.271$ (Fixed-share Dyna $M_{final} \approx 0.52$ vs. DP-optimal $0.79$).
NBA: $\Delta M_{final} = 0.150$ (Fixed-share Dyna $M_{final} \approx 0.61$ vs. DP-optimal $0.76$).

Mechanismus des Optimalitätsversagens: Eintritt in das Becken der ersten Phase

Der Artikel identifiziert die Ursache der Optimalitätslücke als eine gierige Verpflichtung in der ersten Phase:

Reaktiver Verfall-Attraktor: In 8/10 Samen (Ziegler) und 4/10 Samen (NBA) verpflichtet sich der Agent bei $t=0$ zur maximalen Anstrengung in der dominanten Aktivität.
Irreversibilität: Diese initiale hohe Anstrengung treibt die Erhaltungsvariable $M$ irreversibel unter den Selbstverstärkungsschwellenwert ( $M_{amp}$ ).
Schritt-0-Beckeneintritt: Der erwartete erste Policy-Gradient-Update zeigt in Richtung der gierigen Aktion, da die Lücke der unmittelbaren Belohnung die diskontierten zukünftigen Schadenskosten überwiegt (formalisiert in Proposition 1). Diese Verpflichtung erfolgt innerhalb der ersten 1 % des Trainings, bevor langfristige Signale akkumulieren.
Horizontinvarianz: Die Dominanz dieses „reaktiven Verfall"-Attraktors ist unabhängig von der Trainingshorizontlänge ( $H$ ) bis zu einer kritischen Grenze $H^*$ , was bestätigt, dass das Versagen durch Anfangsbedingungen getrieben wird und nicht durch die Kreditvergabe über lange Horizonte.

4. Beiträge

Formalisierung: Eine formale Definition der Problemklasse „horizont-mismatched kumulativer Schaden" und eine Zerlegung des Versagens in die Achsen Vollständigkeit und Optimalität.
Empirische Zerlegung: Ein dreifacher Vergleich (PPO-real, Fixed-share Dyna, DP-optimal), der beide Lücken in zwei verschiedenen Domänen quantifiziert.
Kausalanalyse: Nachweise, dass der alleinige Horizontzugriff unter linearen weichen Strafen schädlich ist und dass die Einschränkung des Aktionsraums die notwendige Intervention für die Vollständigkeit ist.
Mechanismus-Identifikation: Identifikation der „gierigen Verpflichtung in der ersten Phase" als Treiber des Optimalitätsversagens, unterstützt durch eine theoretische Proposition zur Richtung des erwarteten ersten Gradienten-Updates.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass Standard-Policy-Gradient-Methoden bei Problemen mit kumulativem Schaden nicht nur aufgrund der Kreditvergabe über lange Horizonte versagen, sondern aufgrund einer strukturellen Unfähigkeit, implizite terminale Beschränkungen zu erfüllen (Vollständigkeit), und einer Tendenz, sich zu Beginn der Episode für gierige Strategien zu verpflichten (Optimalität).

Diagnostischer Wert: Die Zerlegung zeigt, dass Interventionen, die eine Achse ansprechen (z. B. Einschränkung des Aktionsraums für die Vollständigkeit), die andere (Optimalität) nicht lösen.
Generalisierbarkeit: Die Ergebnisse wiederholen sich über zwei Domänen hinweg (berufliche Gesundheit und Sportmedizin), was darauf hindeutet, dass die Fehlermodi inhärent zur Problemstruktur sind (latenter Schaden, Ausrichtung der dominanten Aktivität, selbstverstärkende Degradation) und nicht spezifisch für einen Simulator.
Theoretische Einsicht: Die Arbeit verbindet das empirische Muster des „reaktiven Verfalls" mit einer formalen Bedingung, bei der die Lücke der unmittelbaren Belohnung bei $t=0$ den Fortsetzungswert dominiert, und erklärt, warum Agenten unabhängig von der Trainingshorizontlänge zu suboptimalen Fixpunkten konvergieren.

Die Autoren stellen ausdrücklich fest, dass ihre theoretische Proposition (Proposition 1) auf einen minimalen binären Aktions-MDP anwendbar ist und als strukturelle Analogie für die Testumgebungen mit mehreren Aktivitäten dient, nicht jedoch als direkte Herleitung für diese. Sie weisen zudem auf Einschränkungen hinsichtlich der Verwendung einer einzigen Simulationsengine und der spezifischen verwendeten Straffunktionen (lineare weiche Strafen) hin.