Technisches Resümee: Co-Evolving Skill Generation and Policy Optimization (SAPO)

1. Problemstellung

Die Arbeit adressiert eine kritische Einschränkung bestehender fertigkeitserweiterter Reinforcement Learning (RL)-Methoden für Sprachagenten. Während vorangegangene Ansätze (z. B. SkillRL, Skill0, D2Skill) nutzbaren prozeduralen Wissensschatz (Skills) verwenden, um die Leistung von Agenten zu verbessern, leiden sie unter drei primären Problemen:

1. Unvalidierte Skill-Injektion: Bestehende Methoden injizieren neu generierte Skills oft unmittelbar in einen abrufbaren Skill-Speicher, wobei sie auf der impliziten Annahme beruhen, dass von starken proprietären Large Language Models (LLMs) produzierte Skills zuverlässig sind. Vorläufige Experimente in der Arbeit zeigen, dass diese Annahme fehlerhaft ist: Selbst Skills, die von Frontier-Modellen (z. B. GPT-5.4) generiert wurden, weisen eine höchst gemischte Nützlichkeit auf, wobei viele wenig Nutzen bringen oder die Leistung aktiv verschlechtern.
2. Verzögtes und nicht-kontextuelles Feedback: Aktuelle Methoden verfolgen die Skill-Nützlichkeit erst nach der Speicherung mittels verzögertem Rollout-Feedback. Zudem spiegeln diese Feedback-Signale typischerweise den aggregierten Effekt mehrerer abgerufener Skills wider, anstatt den marginalen Beitrag eines einzelnen Skills. Dies erschwert die Unterscheidung, ob ein Skill isoliert nützlich ist oder lediglich redundant im gegebenen Retrieval-Kontext.
3. Hohe Kosten und Abhängigkeit: Die Nutzung proprietärer Frontier-LLMs für die kontinuierliche Skill-Generierung während des Online-Trainings verursacht erhebliche API-Kosten. Zudem fehlt bestehenden Methoden ein Mechanismus, um veraltete Skills effizient zu beschneiden oder Kandidaten ohne teure kontrafaktische Rollouts umzuordnen.

2. Methodik: Skill-Augmented Policy Optimization (SAPO)

Die Autoren schlagen SAPO vor, ein Online-RL-Framework, das Skill-Induktion, Validierung und Wartung in einem einheitlichen Kreislauf integriert. Die zentrale Innovation ist die Pre-Storage Skill-Validierung unter Verwendung des Standard-Rollout-Budgets, wodurch zusätzliche kontrafaktische Rollouts überflüssig werden.

2.1 Online-Rollouts und Matched Group Validation

SAPO operiert auf Induktions-Einheiten (Queries oder Gruppen semantisch ähnlicher Queries). Für jede Einheit wird das Rollout-Budget ($G$) in zwei korrespondierende Gruppen unter derselben Aufgabe und demselben abgerufenen Skill-Kontext aufgeteilt:

• Base Rollouts ($Y_{base}$): Generiert mit der aktuellen Policy $\pi_\theta$, die nur auf die Aufgabe und die Menge der aktuell abgerufenen existierenden Skills ($S_{i,j}$) konditioniert ist.
• Skill-Augmented Rollouts ($Y_{skill}$): Generiert mit derselben Policy und demselben Kontext, jedoch mit einem Kandidaten-Skill ($\hat{s}_i$), der aus den Base-Trajektorien induziert wurde, als Ergänzung zum Kontext.

Der Kandidaten-Skill wird durch die Policy selbst basierend auf den in den Base-Rollouts beobachteten Fehlermustern induziert.

2.2 Schätzung des marginalen Nutzens

Das Framework schätzt den kontextabhängigen marginalen Nutzen des Kandidaten-Skills, indem es die Reward-Differenz zwischen den beiden korrespondierenden Gruppen berechnet:
$$u(x_{i,j}, \hat{s}_i) = \text{AvgReward}(Y_{skill}) - \text{AvgReward}(Y_{base})$$
Diese Metrik isoliert den spezifischen Wert, den der Kandidaten-Skill über die bereits abgerufenen Skills hinaus liefert. Wenn der Nutzen positiv ist und der Skill sich von bestehenden Langzeit-Skills unterscheidet, wird er in den Langzeit-Speicher ($B_{long}$) befördert; andernfalls wird er verworfen.

2.3 Die Policy als Skill-Generator und Scorer

SAPO nutzt das Nutzen-Signal, um die Policy $\pi_\theta$ in zwei Funktionen zu trainieren, was die Abhängigkeit von proprietären Modellen reduziert:

1. Skill-Generator: Die Policy wird mit einem asymmetrischen, utilitätsgewichteten Ziel (inspiriert von W-REINFORCE) trainiert. Sie wird verstärkt, um Skills mit positivem marginalem Nutzen zu generieren, und unterdrückt, wenn der Nutzen negativ ist. Dies ermöglicht es der Open-Weight-Policy, im Laufe der Zeit qualitativ hochwertige Skills zu generieren.
2. Skill-Scorer: Die Wahrscheinlichkeit, mit der die Policy eine spezifische Skill-Sequenz generiert, dient als gelernter Qualitätswert.
   • Training: Die Policy wird darauf destilliert, den Nutzen eines Skills allein basierend auf der Aufgabe und dem Kontext vorherzusagen (unter Auslassung von Rollout-Evidenz), um eine effiziente Inferenz zu ermöglichen.
   • Wartung & Retrieval: Dieser Likelihood-Score wird verwendet, um veraltete Skills aus dem Langzeit-Speicher zu entfernen und Kandidaten-Skills während der Auswahl beim Retrieval neu zu ordnen, um sicherzustellen, dass nur die relevantesten und nicht-redundanten Skills verwendet werden.

3. Zentrale Beiträge

1. Identifizierung gemischter Nützlichkeit: Die Arbeit zeigt empirisch auf, dass von Frontier-LLMs generierte Skills nicht inhärent zuverlässig sind (der durchschnittliche marginale Nutzen liegt oft nahe Null) und dass eine unvalidierte Injektion das Lernen schädigt.
2. SAPO-Framework: Ein neuartiges Online-RL-Framework, das Skills vor der Speicherung mittels einer Matched-Group-Rollout-Strategie validiert und so den marginalen Nutzen ohne zusätzlichen Rollout-Overhead schätzt.
3. Selbstüberwachte Skill-Generierung: Die Methode trainiert die Agent-Policy selbst dazu, als Skill-Generator und -Scorer zu fungieren, was die kostspieligen proprietären API-Aufrufe für die Skill-Induktion ersetzt und eine kontextsensitive Skill-Wartung ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SAPO auf ALFWorld (verkörperte Haushaltsaufgaben), WebShop (Web-Navigation) und einer Suite von Search-Augmented Question Answering Benchmarks (Single-Hop und Multi-Hop).

• Leistung: SAPO übertraf konsistent vorangegangene skill-erweiterte RL-Methoden (SkillRL, Skill0, D2Skill) sowie starke Baselines (ReAct, Reflexion, RLOO, GRPO). Auf ALFWorld erreichte SAPO eine Erfolgsrate von 92,2 % (All) und 78,1 % (Success) und übertraf damit den bisherigen Bestwert (SkillRL bei 85,2 % bzw. 72,7 %).
• Trainingsdynamik: SAPO zeigte im Vergleich zu SkillRL eine schnellere Konvergenz und eine höhere finale Validierungsleistung, insbesondere in der Frühphase, in der die utilitätsbasierte Filterung eine zuverlässige Orientierung bietet.
• Skill-Qualität: Analysen zeigten, dass die SAPO-Policy (die ein kleineres Open-Weight-Modell nutzt) zwar mit weniger nützlichen Skills als GPT-5.4 startete, aber schnell lernte, Skills mit vergleichbarer oder überlegener Nützlichkeit zu generieren, was die Effektivität des utilitätsgewichteten Trainings beweist.
• Ablationsstudien: Das Entfernen einer der drei Kernkomponenten (Validierung, Generator-Training oder Scoring) führte zu einer Leistungsverschlechterung, was bestätigt, dass die Skill-Validierung, die Policy-basierte Generierung und die Likelihood-basierte Wartung alle essenziell sind.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass SAPO die „Black Box“-Natur der Skill-Generierung in aktuellen RL-Agenten adressiert. Durch die explizite Validierung des marginalen Nutzens eines Skills innerhalb seines spezifischen Retrieval-Kontexts verhindert das Framework, dass minderwertige oder redundante Skills das Gedächtnis des Agenten korrumpieren.

Entscheidend ist, dass die Autoren betonen, dass SAPO diese Gewinne ohne zusätzliche Rollout-Kosten (durch Wiederverwendung des Standard-Budgets für die Validierung) und ohne wiederholte Aufrufe proprietärer LLMs (durch das Training der Policy zur Generierung und Bewertung von Skills) erzielt. Dies macht den Ansatz skalierbar und kosteneffizient für die langfristige Evolution von Agenten und verschiebt das Paradigma von „generieren und hoffen“ hin zu „validieren und entwickeln“.