🤖 machine learning

Position: Deployed Reinforcement Learning should be Continual

Dieses Positionspapier argumentiert, dass im Einsatz befindliche Reinforcement-Learning-Systeme ein Paradigma des kontinuierlichen Lernens anstelle des traditionellen Trainieren-und-Fixieren-Ansatzes annehmen sollten, da die Nichtstationarität der realen Welt erfordert, dass Agenten niemals aufhören sich anzupassen, um eine optimale Leistung aufrechtzuerhalten.

Ursprüngliche Autoren: Parnian Behdin, Kevin Roice, Golnaz Mesbahi

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Parnian Behdin, Kevin Roice, Golnaz Mesbahi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen brillanten Koch ein, der für Ihre Familie das Abendessen kocht. Sie trainieren ihn monatelang in einer Testküche und füttern ihn mit jedem Rezept, das er jemals benötigen könnte. Sobald er die Abschlussprüfung bestanden hat, verschließen Sie die Küchentür, geben ihm ein festes Menü und sagen ihm: „Du bist fertig mit dem Lernen. Koche einfach dieses Menü für immer.“

So funktionieren die meisten KI-Systeme (Künstliche Intelligenz) heute. Das Paper bezeichnet dies als das „Train-Then-Fix“-Paradigma (Trainieren-dann-Fixieren).

Die Autoren dieses Papers argumentieren, dass dieser Ansatz für die reale Welt grundlegend fehlerhaft ist. Sie sind der Meinung, dass eine KI, sobald sie eingesetzt wird (also in der realen Welt arbeitet), niemals aufhören sollte zu lernen. Sie nennen dies „Continual Reinforcement Learning“ (Kontinuierliches Bestärkendes Lernen).

Hier ist eine Aufschlüsselung ihres Arguments unter Verwendung einfacher Analogien:

1. Das Problem: Die Welt ist ein bewegliches Ziel

In der realen Welt ändern sich die Dinge ständig.

Die Koch-Analogie: Stellen Sie sich vor, sich der Geschmack Ihrer Familie verändert. Vielleicht haben sie genug von Pasta und sehnen sich plötzlich nach Sushi. Oder vielleicht wird eine neue Zutat populär. Wenn Ihr Koch auf dem alten Menü feststeckt, wird das Essen schließlich schlecht schmecken und Ihre Familie wird aufhören zu essen.
Die KI-Realität: Das Paper argumentet, dass die reale Welt („Die große Welt“) zu komplex ist, als dass eine KI alles lernen könnte, bevor sie mit der Arbeit beginnt. Selbst wenn die KI intelligent ist, kann sie nicht jede zukünftige Veränderung vorhersagen. Wenn Sie ihr „Gehirn“ nach dem Training einfrieren, wird sie allmählich veraltet sein und schlechter funktionieren.

2. Warum „Train-Then-Fix“ scheitert

Die Autoren identifizieren vier spezifische Gründe, warum sich die Welt ändert, nachdem eine KI eingesetzt wurde, was ein einfaches „Einrichten und Vergessen“ unmöglich macht:

Die KI verändert die Welt (Aktionsinduzierte Nicht-Stationarität):
- Analogie: Stellen Sie sich eine Musikempfehlungs-App vor. Wenn sie immer wieder dieselbe Art von Lied vorschlägt, könnte der Nutzer das Genre langweilig finden und aufhören, zuzuhören. Die eigenen Entscheidungen der App haben den Geschmack des Nutzers verändert.
- Realität: Die Handlungen einer KI verändern oft die Umgebung, in der sie operiert.
Die Welt verändert sich von selbst (Umweltdynamik):
- Analogie: Jahreszeiten ändern sich, Verkehrsmuster verschieben sich oder Hardware (wie die Gelenke eines Roboters) verschleißt im Laufe der Zeit.
- Realität: Dinge außerhalb der Kontrolle der KI ändern sich, wodurch alte Regeln nutzlos werden.
Die Torpfosten verschieben sich (Sich entwickelnde Ziele):
- Analogie: Ein Unternehmen könnte entscheiden, dass „Geschwindigkeit“ heute der wichtigste Maßstab ist, aber im nächsten Jahr wird „Sicherheit“ zur Priorität.
- Realität: Menschliche Prioritäten und Regulierungen ändern sich, was bedeutet, dass auch die Definition einer „guten Arbeit“ variiert.
Überraschende Ereignisse (Emergente Neuartigkeit):
- Analogie: Ein „Schwarzer Schwan“, wie eine plötzliche globale Pandemie oder eine seltsame neue Art von Code, die noch nie zuvor gesehen wurde.
- Realität: Eine KI wird unweigerlich auf Situationen stoßen, für die sie nie trainiert wurde.

3. Die Lösung: Der „Messbare Einsatz“ (Measurable Deployment)

Das Paper konzentriert sich auf eine spezifische Art von Situation, die „Measurable Deployment“ genannt wird.

Die Analogie: Dies ist wie ein Koch, der immer noch beobachtet wird. Obwohl er für echte Kunden kocht, hinterlassen die Kunden dennoch Bewertungen (Bewertungen, Trinkgelder oder Beschwerden). Der Koch weiß, ob das Essen gut oder schlecht ist, und zwar in Echtzeit.
Das Argument: Wenn die KI Feedback (ein „Belohnungssignal“) erhält, das ihr sagt, wie gut sie abschneidet, ist es eine Verschwendung von Potenzial, dieses Feedback zu ignorieren. Anstatt darauf zu warten, dass ein Mensch sagt: „Hey, deine Leistung ist gesunken, lass uns dich neu trainieren“, sollte die KI dieses Feedback nutzen, um direkt vor Ort zu lernen und sich anzupassen.

4. Beispiele aus der Praxis

Das Paper weist auf zwei Unternehmen hin, die dies bereits erfolgreich umsetzen:

Cursor Tab (Coding Assistant): Dieses Tool hilft Programmierern beim Schreiben von Code. Es sitzt nicht nur da, sondern lernt daraus, welche Code-Vorschläge Programmierer tatsächlich akzeptieren. Es aktualisiert sein „Gehirn“ alle paar Stunden basierend auf Echtzeit-Feedback, anstatt auf ein neues Software-Update zu warten.
Lyft (Ride-Sharing): Lyft nutzt KI, um Fahrer mit Fahrgästen zusammenzubringen. Da sich Verkehr, Nachfrage und Fahrerstandorte jede Sekunde ändern, lernt und aktualisiert ihre KI ihre Strategie in Echtzeit. Wenn sie das Modell offline neu trainieren würden, würden sie Millionen von Dollar an potenziellen Fahrten verpassen.

5. Der Aufruf zum Handeln

Die Autoren fordern zwei Gruppen auf, ihre Denkweise zu ändern:

Für Praktiker (Die Erbauer): Betrachten Sie den Einsatz (Deployment) nicht als das „Ende“ des Lernprozesses. Bauen Sie Systeme, in denen die KI aus ihren Fehlern und Erfolgen lernen kann, während sie arbeitet. Behandeln Sie die Live-Daten als Trainingsdaten.
Für Forscher: Versuchen Sie nicht, eine KI zu bauen, die „konvergiert“ (also aufhört zu lernen, sobald sie die perfekte Antwort gefunden hat). Bauen Sie stattdessen eine KI, die darauf ausgelegt ist, ewig weiterzusuchen und sich anzupassen, denn in der realen Welt existiert die „perfekte Antwort“ nicht.

Zusammenfassung

Die Kernbotschaft des Papers ist einfach: Wenn Sie eine KI in die reale Welt setzen, in der sie Feedback erhält, müssen Sie sie weiter lernen lassen. Ihr Wissen einzufrieren ist so, als würde man einem Autofahrer sagen, er solle die Augen schließen, nachdem er seine Fahrprüfung bestanden hat. Die Straße ändert sich, das Auto ändert sich und das Ziel ändert sich. Der einzige Weg, sicher und effizient zu bleiben, ist, weiterzufahren, weiterzuschauen und weiter zu lernen.

Technisches Resümee: Implementiertes Reinforcement Learning sollte kontinuierlich sein

Problemstellung

Das Paper identifiziert eine fundamentale Diskrepanz zwischen der theoretischen Natur des realen Einsatzes von Reinforcement Learning (RL) und dem vorherrschenden Engineering-Paradigma, das als „Train-then-Fix“ bezeichnet wird. In diesem Standardparadigma werden Agenten offline (via Simulation, Self-Play oder Demonstrationen) trainiert und nach der Implementierung eingefroren. Das Lernen endet, bis die Leistung so stark abnimmt, dass ein menschlich gesteuerter Retraining-Zyklus ausgelöst wird.

Die Autoren argumentieren, dass dieses Paradigma für Szenarien der „messbaren Implementierung“ (measurable deployment) theoretisch unzureichend ist. Eine messbare Implementierung ist definiert als ein Szenario, in dem:

Der Agent in einem „Big World“-Regime operiert, in dem die Komplexität der Umgebung die Repräsentationskapazität und die verfügbaren Rechenressourcen des Agenten übersteigt.
Ein evaluatives Belohnungssignal nach der Implementierung verfügbar bleibt (z. B. Nutzerengagement, Fahrtabschluss, Akzeptanz von Vorschlägen).

Unter diesen Bedingungen lässt der „Train-then-Fix“-Ansatz potenzielle Leistungssteigerungen ungenutzt. Das Paper postuliert, dass jeder Agent, der evaluatives Feedback in einer nicht-stationären Umgebung erhält, in der eine optimale Policy nicht repräsentierbar oder nicht erreichbar ist, inhärent mit einem Problem des Kontinuierlichen Reinforcement Learning (CRL) konfrontiert ist. Das Kernproblem besteht darin, dass das traditionelle Markov-Entscheidungsprozess-Formalismus (MDP), welches Stationarität und das Vorhandensein einer festen optimalen Policy ( $\pi^*$ ) voraussetzt, die „niemals endende“ Natur der realen Anpassung nicht erfassen kann.

Methodik und theoretischer Rahmen

1. Theoretische Grundlage: History Process Formalismus

Um das Problem präzise zu definieren, bewegt sich das Paper weg vom Standard-MDP-Tripel $\langle S, A, P, R \rangle$ . Stattdessen übernimmt es den History Process Formalismus (Bowling et al., 2023; Abel et al., 2023).

Umgebung ( $e$ ): Definiert als eine Funktion, die endliche Historien ( $H$ ) und Aktionen ( $A$ ) auf eine Verteilung über Beobachtungen ( $O$ ) abbildet.
Agentenzustand ( $S$ ): Repräsentiert die Kompression der Historie durch den Agenten, unterscheidbar vom MDP-Zustand.
Lernregel ( $\sigma$ ): Eine Abbildung von Historien auf eine Verteilung über Policies ( $\Pi$ ).
CRL-Definition: Ein RL-Problem ist eine Instanz von CRL, wenn der „beste Agent“ (einer, der eine Leistungsmetrik über erreichbare Policies maximiert) niemals aufhört zu lernen. Im History Process kann der Agent die Umgebung nicht zurücksetzen oder exakte vergangene Historien wiederholen, und da die Umgebung nicht-stationär ist, endet die Suche nach einer optimalen Policy niemals.

2. Charakterisierung von Nicht-Stationarität

Das Paper identifiziert vier spezifische Quellen der Nicht-Stationarität, die kontinuierliches Lernen in der messbaren Implementierung notwendig machen:

Aktions-induzierte Nicht-Stationarität: Die eigenen Aktionen des Agenten verändern die Verteilung zukünftiger Historien (z. B. verändert ein Empfehlungssystem die Nutzerpräferenzen).
Änderungen in der Umgebungsdynamik: Externe Faktoren wie saisonale Schwankungen, Alterung von Hardware oder Marktverschiebungen, die außerhalb der Kontrolle des Agenten liegen.
Sich entwickelnde Ziele: Die Belohnungsfunktion selbst ändert sich im Laufe der Zeit aufgrund sich ändernder Stakeholder-Prioritäten, regulatorischer Aktualisierungen oder Sicherheitsbeschränkungen.
Emergente Neuheit: Die „Big World Hypothesis“ besagt, dass Agenten unweigerlich auf Aktions-Beobachtungs-Sequenzen stoßen werden (einschließlich „Black Swan“-Ereignissen), die außerhalb der Verteilung ihrer endlichen Trainingsphase liegen.

3. Analyse von Lernregeln

Die Autoren kontrastieren zwei Lernregeln (Strategien zur Aktualisierung von Policies):

Lernregel A (Train-then-Fix): Der Agent sucht nach einer leistungsstarken Policy, legt sich auf eine feste $\pi_{final}$ fest und hört auf. Die Leistung sinkt im Laufe der Zeit, bis ein Schwellenwert einen neuen Suchzyklus auslöst, was zu einem „Sägezahn-Leistungsmuster“ führt.
Lernregel B (Kontinuierlicher Lerner): Der Agent erkennt, dass keine erreichbare Policy global optimal ist. Er beendet seine Suche nie und passt seine Policy kontinuierlich unter Nutzung des verfügbaren evaluativen Signals an, um wechselnde Ziele zu verfolgen.

Zentrale Beiträge

Vorschlag eines Paradigmenwechsels: Das Paper argumentiert, dass messbare Implementierung nicht bloß ein Problem ist, das durch kontinuierliche Lernalgorithmen gelöst wird, sondern inhärent ein CRL-Problem ist. Der Unterschied liegt in der Problemstellung (Umweltcharakteristika) und nicht nur in der algorithmischen Lösung.
Formale Rechtfertigung: Durch die Verwendung des History Process Formalismus demonstrieren die Autoren, dass die Annahme einer festen optimalen Policy aufgrund der vier identifizierten Quellen der Nicht-Stationarität in der realen Implementierung ungültig ist.
Empirische Fallstudien: Das Paper analysiert drei erfolgreiche reale Implementierungen, die kontinuierliches Lernen implizit oder explizit nutzen:
- Cursor Tab: Ein System zur Code-Vervollständigung, das Online-Policy-Gradienten verwendet. Es ist mit emergenter Neuheit (neue Codemuster) und Umgebungsdynamik (sich entwickelnde Bibliotheken) konfrontiert. Sein enger Deployment-Training-Zyklus (1,5–2 Stunden) ermöglicht es ihm, sich an diese Verschiebungen anzupassen, was zu einer Reduktion der Vorschläge um 21 % und einer um 28 % höheren Akzeptanzrate führt.
- Lyft: Ein Algorithmus zum Matching von Fahrten in Echtzeit mittels Online-RL. Es sieht sich primär mit aktions-induzierter Nicht-Stationarität (Umpositionierung von Fahrern) und Umgebungsdynamik (Nachfrageschwankungen) konfrontiert. Das System generiert über 30 Mio. USD zusätzlichen Jahresumsatz, indem es online adaptiert, statt sich auf feste Modelle zu verlassen.
- Sim-to-Real Gap: Das Paper argumentiert, dass die Lücke zwischen Simulation und Realität eine Manifestation aller vier Quellen der Nicht-Stationarität ist. Selbst mit Domain Randomization benötigen Policies Echtzeitdaten für eine zuverlässige Leistung, was Lernen nach der Implementierung essenziell macht.
Handlungsempfehlungen:
- Für Praktiker: Feedbackschleifen bauen, in denen Produktionsdaten Trainingsdaten sind; kontinuierlich via Online-Monitoring validieren (z. B. Switchback-Experimente); und während der Entwicklung bewusst Nicht-Stationarität einführen, um die Adaptivität zu testen.
- Für Forscher: Konventionelle Optimierer (z. B. Adam, RMSProp) in kontinuierlichen Settings neu bewerten; Eigenschaften von Algorithmen für History Processes herleiten (über Markovsche Garantien hinausgehen); Metriken wie Deviation Regret verwenden, die nicht von schwach kommunizierenden Umgebungen ausgehen; und explizit endliche Ressourcenbeschränkungen in theoretischen Modellen berücksichtigen.

Ergebnisse und Belege

Das Paper präsentiert keine neuen experimentellen Ergebnisse, die von den Autoren generiert wurden, sondern synthetisiert Belege aus der bestehenden Literatur und Branchenberichten:

Cursor Tab: Demonstrierte, dass kontinuierliche On-Policy-Updates zu überlegenen Leistungsmetriken im Vergleich zu statischen Modell-Releases führen.
Lyft: Zeigte, dass Online-RL-Matching-Systeme feste Policies in Bezug auf Fahrer-Auslastung und Umsatz übertreffen, was die Fähigkeit zur Anpassung an induzierte Nicht-Stationarität validiert.
Theoretische Belege: Zitiert die „Rusting Pendulum“-Umgebung (Anhang A), in der eine Train-then-Fix-Policy versagt, sobald sich die Reibung akkumuliert, während ein kontinuierlicher Lerner die Leistung aufrechterhält.
Literaturtrends: Hebt das wachsende akademische Interesse an CRL (Abbildung 1) und die Reifung der theoretischen Grundlagen (z. B. History Process Formalismus) hervor, die diesen Wandel unterstützen.

Bedeutung und Ansprüche

Das Paper behauptet, dass das „Train-then-Fix“-Paradigma lediglich ein Verzögerungsmechanismus für das unvermeidliche kontinuierliche Lernproblem ist, nicht eine Lösung dazu. Seine Bedeutung liegt in:

Neudefinition der Implementierung: Es stellt fest, dass die Bereitstellung eines Agenten mit evaluativem Feedback in einer komplexen Welt per Definition ein CRL-Problem ist. Dieses Signal zu ignorieren und auf menschliche Interventionen für Updates zu vertrauen, ist eine suboptimale Strategie, die Leistung kostet.
Sicherheit und Adaptivität: Entgegen der Ansicht, dass feste Policies sicherer seien, argumentiert das Paper, dass feste Policies in nicht-stationären Umgebungen unsicher degradieren. Kontinuierliches Lernen ist – bei Design mit Sicherheitsbeschränkungen – notwendig, um die Übereinstimmung mit sich entwickelnden Zielen und Regularien aufrechtzuerhalten.
Richtung für die Community: Es fordert einen Fokuswechsel in der Forschung: Weg von Algorithmen, die zu festen Artefakten konvergieren, hin zu Agenten, die zu dauerhaftem, offenem Lernen fähig sind, und fordert Praktiker auf, die bereits in ihren Systemen vorhandenen Feedbacksignale zu nutzen.

Das Paper schließt mit der Feststellung, dass der Weg zu besserer Leistung in realem RL nicht in besserem Offline-Training liegt, sondern in der Akzeptanz der kontinuierlichen Natur der Implementierung und dem Design von Agenten, die niemals aufhören, nach besseren Policies zu suchen.