Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

Technischer Zusammenfassung: Fehlende alte Logits im asynchronen agentic RL

Problemdefinition
Im asynchronen Reinforcement Learning (RL) für Large Language Models (LLMs) ist die Entkopplung der Stichprobengenerierung (Rollout) von der Policy-Optimierung entscheidend, um den Durchsatz zu maximieren. Diese Architektur führt jedoch zu einem kritischen Fehlermodus für die Off-Policy-Korrektur im Stil von Proximal Policy Optimization (PPO).

Idealerweise sollte das Importance Ratio in PPO in zwei semantisch unterschiedliche Faktoren zerlegt werden:

1. Trainings-Inferenz-Abweichung ($r_d$): Korrigiert numerische Unterschiede zwischen der Inferenz-Engine (z. B. vLLM) und der Trainings-Engine (z. B. Megatron-LM) bei derselben Policy-Version.
2. Policy-Veraltetheit ($r_s$): Korrigiert die Lücke zwischen der historischen Verhaltens-Policy, die die Tokens generiert hat, und der aktuellen Policy, die optimiert wird.

Die Arbeit identifiziert, dass in praktischen asynchronen Pipelines, insbesondere solchen mit partiellen Rollouts und verzögerten Updates, die für die Berechnung des Abweichungsterms $r_d$ erforderlichen alten Trainings-Logits ($\pi_{old}$) häufig fehlen. Wenn der Actor seine Gewichte aktualisiert, bevor der Rollout, der einer früheren Version entspricht, vollständig verarbeitet ist, ist die spezifische Policy-Version $\pi_{old}$, die zur Generierung dieser Tokens verwendet wurde, möglicherweise nicht mehr verfügbar.

Dieses „fehlende-alte-Logit"-Problem zwingt bestehende Methoden dazu, das wahre $\pi_{old}$ durch Approximationen zu ersetzen (z. B. lineare Interpolation oder statische Proxy-Modelle). Die Autoren argumentieren, dass dieser Ersatz die Reparatur der Abweichung mit der Korrektur der Veraltetheit verknüpft und die beabsichtigte semantische Trennung aufhebt. Folglich interagieren Clipping- und Maskierungsschwellenwerte unerwünscht, was zu suboptimaler Optimierungsstabilität und Leistung führt.

Methodik
Die Arbeit schlägt eine vereinheitlichte Analyse von Off-Policy-Korrekturen unter einem „Dual-Constraint"-Standpunkt vor und bewertet zwei Hauptrichtungen zur Lösung:

1. Exakte Gewinnung alter Logits (Systemebene):
   Die Autoren untersuchen drei Strategien, um das Ground-Truth-$\pi_{old}$ ohne reliance auf Approximationen wiederherzustellen:

   • Versionsverfolgung auf Snapshot-Basis: Aufbewahrung historischer Parameter-Snapshots und Neuladen der spezifischen Version, die jeden Token generiert hat. Dies ist exakt, verursacht jedoch hohe Speicher- und I/O-Overheads.
   • Dediziertes Modell für alte Logits: Aufrechterhaltung einer separaten Modellinstanz ausschließlich zur Berechnung alter Logits, während der Haupt-Actor trainiert. Dies ermöglicht eine Überlappung der Berechnungen, erfordert jedoch eine Ressourcenpartitionierung.
   • Synchronisierung durch Unterbrechung partieller Rollouts: Unterbrechung der Rollout-Worker, um alte Logits für partielle Trajektorien zu berechnen, bevor die Policy-Version verworfen wird. Dies vermeidet Speicherkosten, führt jedoch zu Synchronisationsverzögerungen und Overhead bei der Ressourcenneuordnung.

2. Approximative Korrektur (Algorithmusebene):
   In Anbetracht dessen, dass die exakte Wiederherstellung für großskalige Systeme oft zu teuer ist, schlägt die Arbeit eine revidierte PPO-EWMA (Exponentially Weighted Moving Average)-Methode vor.

   • Anstatt einen statischen Interpolations-Proxy zu verwenden, pflegt diese Methode eine geglättete Referenz-Policy ($\pi_{prox}$), die das Zentrum des asynchronen Versionsfensters verfolgt.
   • Veraltetheitsbewusster Zerfall: Der Zerfallsfaktor $\beta$ wird basierend auf dem erwarteten Veraltetheitsfenster ($W_{stale}$) festgelegt, um sicherzustellen, dass die Referenz-Policy mit der Mitte der Versionslücke übereinstimmt, anstatt hinterherzuhinken.
   • Automatisches Zurücksetzen: Um zu verhindern, dass die Referenz-Policy zu weit driftet und die „Train-Infer-Maske" (die Tokens mit hoher Abweichung filtert) kollabiert, überwacht das System den Anteil aktiver Tokens. Fällt dieser Anteil unter einen Schwellenwert ($\tau$), wird die Referenz-Policy auf die aktuellen Actor-Parameter zurückgesetzt.

Die Arbeit liefert zudem eine theoretische Analyse (Proposition 1), die zeigt, dass Interpolationsbasierte Proxy-Modelle (linear oder log-linear) das fehlende Referenz-Policy nicht wirklich wiederherstellen; vielmehr parametrisieren sie lediglich die effektiven Clipping-Grenzen des gesamten Importance Ratios neu.

Hauptbeiträge

• Identifikation des Problems fehlender alter Logits: Die Arbeit definiert formal den semantischen Fehlermodus im asynchronen Agentic RL, bei dem das Fehlen von $\pi_{old}$ die Entkopplung der Abweichungsreparatur und der Veraltetheitskorrektur unterbricht.
• Vereinheitlichte Analyse von Off-Policy-Korrekturen: Sie formuliert bestehende PPO-Varianten im Rahmen eines Masked Importance Sampling (MIS), um zu klären, warum ein einzelnes Ratio oder ein einzelner Schwellenwert nicht ausreicht, um sowohl numerische Abweichungen als auch Policy-Veraltetheit zu behandeln.
• Analyse von Systemkompromissen: Sie bewertet drei exakte Gewinnungsstrategien und quantifiziert deren Kosten in Bezug auf Speicher, I/O und Synchronisations-Overhead.
• Vorschlag von PPO-EWMA: Sie stellt eine kostengünstige, approximative Korrekturmethode vor, die die Vorteile der entkoppelten Korrektur bewahrt, ohne teure Infrastrukturänderungen zu erfordern.

Experimentelle Ergebnisse
Die Autoren bewerteten ihre Methoden an Agentic-RL-Benchmarks ($\tau^2$-Bench und VitaBench) unter Verwendung sowohl dichter (Qwen3-4B) als auch Mixture-of-Experts-Modelle (Qwen3-30B-A3B).

• Leistung: Die PPO-EWMA-Methode übertraf konsistent das Standard-Decoupled-PPO und lineare Interpolations-Proxy-Modelle (Linear_prox). Beim 30B-MoE-Modell erreichte PPO-EWMA die höchsten Bestehensquoten im Airline-Split und landete bei den Retail- und Telekommunikationsaufgaben gleichauf mit dem Besten.
• Vergleich mit dem Ideal: Obwohl PPO-EWMA die Leistung der „Snapshot"-Methode (die einen perfekten Zugriff auf alte Logits voraussetzt) nicht vollständig erreichte, erzielte es Ergebnisse, die dem Ideal sehr nahe kamen. Dies deutet darauf hin, dass eine gut abgestimmte approximative Referenz den Großteil der Vorteile einer exakten Korrektur wiederherstellen kann.
• System-Overhead: Exakte Wiederherstellungsmethoden (Snapshot) verursachten erhebliche Systemkosten (z. B. ~178 Sekunden extra pro Schritt für das 30B-Modell aufgrund historischer Forward-Passes). Im Gegensatz dazu fügte PPO-EWMA einen vernachlässigbaren Overhead hinzu und bot ein überlegenes Verhältnis von Leistung zu Kosten.
• Ablationsstudien: Experimente bestätigten, dass ohne den automatischen Zurücksetzungsmechanismus die EWMA-Referenz driften und den Kollaps der Train-Infer-Maske sowie ein Versagen des Trainings verursachen könnte. Der Zurücksetzungsmechanismus zentrierte die Referenz erfolgreich neu und erhielt die Stabilität aufrecht.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass das Problem der fehlenden alten Logits ein fundamentales semantisches Problem im asynchronen LLM-RL ist, das die theoretischen Garantien der entkoppelten Korrektur untergräbt. Die Autoren behaupten, dass:

1. Exakte Wiederherstellung der einzige Weg ist, eine semantisch korrekte Abweichungsreparatur und Veraltetheitskorrektur zu erreichen, dies jedoch oft prohibitiv teuer ist.
2. Approximative Methoden, die auf einfacher Interpolation basieren, unzureichend sind, da sie das wahre Referenz-Policy nicht wiederherstellen, sondern lediglich die Randbedingungen verschieben.
3. PPO-EWMA eine praktische, kostengünstige Alternative bietet, die die Trainingsgeschwindigkeit und die Optimierungleistung im Vergleich zu bestehenden asynchronen Baselines erheblich verbessert und somit eine tragfähige Lösung für großskalige Agentic-RL-Systeme darstellt, bei denen eine exakte Logit-Wiederherstellung nicht machbar ist.

Die Arbeit schließt damit, dass PPO-EWMA zwar eine Approximation ist und unter extremen Nicht-Stationaritäten oder sehr großen Versionslücken Schwierigkeiten haben könnte, sie jedoch einen bedeutenden Schritt nach vorne zur Stabilisierung asynchronen Trainings darstellt, ohne schwere Infrastrukturmodifikationen zu erfordern.