General learned delegation by clones

1. Problemstellung

Große Sprachmodelle (LLMs) verbessern ihre Leistung oft durch zusätzliche Berechnungen zur Laufzeit (test-time scaling), z. B. durch selbstkonsistente Sampling-Verfahren oder paralleles Reasoning. Diese Ansätze stoßen jedoch unter festen Inferenz-Budgets an Grenzen:

• Ineffizienz: Serielles Reasoning erhöht die Latenz, während unkoordinierte parallele Methoden (wie Self-Consistency) viele redundante Pfade berechnen und erst am Ende aggregieren.
• Kontext-Problematik: In langen Kontexten ist der effektiv nutzbare Kontext oft kleiner als das nominale Fenster. Modelle haben Schwierigkeiten, Informationen in der Mitte des Kontexts robust zu nutzen.
• Fehlende Lernfähigkeit: Bisherige Methoden nutzen oft starre Heuristiken oder manuell definierte Agenten-Rollen. Es fehlt eine Methode, die dem Modell beibringt, was parallelisiert werden soll, wie der Kontext-Budget aufgeteilt wird und wie Teilergebnisse unter einem festen Ressourcenlimit rekombiniert werden.

Das Ziel ist es, eine generalisierte, gelernte Delegation zu entwickeln, die begrenzte Kontext-Bandbreite und Reasoning-Budgets optimal auf Subprobleme verteilt, während der Hauptkontext („Root") kompakt bleibt.

2. Methodik: SELFCEST

Die Autoren stellen SELFCEST (SELF-reinforCEment by Shared-weight Training) vor, ein Framework, das ein Basis-Modell befähigt, in separaten parallelen Kontexten „Klone" mit denselben Gewichten zu spawnen.

• Architektur:
  • Ein Root-Agent koordiniert die Aufgabe.
  • Der Root-Agent kann über ein benutzerdefiniertes Tool Helper-Klone spawnen. Diese Klone teilen sich die Parameter des Root-Modells (Shared-Weight), sind aber in separaten Kontexten aktiv.
  • Der Root weist Subaufgaben zu, weist Kontext-Budgets zu und aggregiert die Zwischenergebnisse der Klone, um die finale Lösung zu bilden.
• Training (End-to-End RL):
  • Das Training erfolgt vollständig durch Reinforcement Learning (RL) basierend auf einem globalen Aufgaben-Reward (z. B. Korrektheit der Antwort).
  • Da alle Agenten (Root und Klone) dieselben Parameter teilen, wird der Gradient über alle Pfade (Rollouts) summiert.
• Credit Assignment & Stabilität:
  • Ein zentrales Problem im Multi-Agenten-RL ist die Zuordnung von Belohnungen (Credit Assignment): Ein Klon erhält fälschlicherweise Kredit, wenn das Team erfolgreich ist, obwohl der Klon selbst versagt hat.
  • Um dies zu lösen, verwenden die Autoren GRPO (Group Relative Policy Optimization) für die Vorteilsschätzung.
  • Zur Stabilisierung des Trainings bei geteilten Parametern führen sie Rollout Gating ein: Dies ist eine Heuristik, die Gradienten für offensichtlich nicht beitragende Pfade (z. B. Klone, die keine parsebare Antwort liefern oder Protokollverletzungen begehen) auf Null setzt. Dies reduziert die Varianz und verhindert das „Catastrophic Forgetting" von Tool-Fähigkeiten, führt aber zu einem leichten Bias.
• Reward-Funktion:
  • Besteht aus einem Genauigkeits-Term (1 für richtige Antwort, 0 sonst).
  • Zwei Strafterme für Token-Überschreitung (Root und Klone), um die Effizienz zu erzwingen.

3. Schlüsselbeiträge

1. Minimalistische Formulierung: Eine tool-basierte Methode für gelernte Delegation mit gewichteten Klonen, die keine neuen Architekturen erfordert, sondern als Post-Training-Verfahren funktioniert.
2. End-to-End RL-Recipe: Ein Trainingsansatz für adaptive, mehrstufige Inferenz unter einem einheitlichen Kostenbudget.
3. Analyse der Credit Assignment: Eine Untersuchung der Verzerrungen bei geteilten Parametern und die Einführung von Rollout Gating als stabilisierender Mechanismus für Multi-Agenten-Rollouts.
4. Empirische Evidenz: Nachweis verbesserter Trade-offs zwischen Genauigkeit und Kosten (Pareto-Frontier) auf komplexen Reasoning-Aufgaben.

4. Ergebnisse

Die Methode wurde auf mathematischen Benchmarks und Multi-Hop-Question-Answering-Datensätzen evaluiert:

• Arithmetik-Datensatz:
  • SELFCEST erreicht eine höhere Genauigkeit bei deutlich weniger Tokens als monolithische Baselines (z. B. Qwen3-4B) oder reine Self-Consistency-Ansätze.
  • Im Vergleich zum „Thinking"-Modell (das oft viele Tokens verbraucht) erreicht SELFCEST ähnliche oder bessere Ergebnisse bei einem Bruchteil der Token-Kosten (z. B. 930 Tokens vs. 6.220 Tokens im Durchschnitt).
  • Stabilität: Ohne Rollout Gating scheitert das Training in den meisten Fällen (kein Lernen oder instabiler Reward).
• Mathematisches Reasoning (AIME, MATH-Hard):
  • Das Modell generalisiert auf Out-of-Distribution-Daten.
  • Es erreicht auf AIME eine Genauigkeit von 0,47 bei einem Budget von 1.850 Tokens, während das Basis-Modell 3.928 Tokens benötigt.
• Long-Context Multi-Hop QA (2WikiMultiHopQA, MuSiQuE):
  • SELFCEST übertrifft sowohl das Basis-Modell als auch ein agentic RAG-Pipeline (Retrieval-Augmented Generation).
  • Es lernt, gezielt Informationen in langen Kontexten zu extrahieren und parallel zu verarbeiten, was zu einer höheren Genauigkeit bei geringeren Token-Kosten führt (z. B. 0,70 Genauigkeit bei 644 Tokens auf 2WikiMultiHopQA).

5. Bedeutung und Ausblick

• Paradigmenwechsel: SELFCEST zeigt, dass Parallelismus nicht nur „mehr Samples" bedeutet, sondern eine dynamische Budgetierung von Kontext und Generierung als Ressource erfordert. Delegation wird zu einer lernbaren Inferenz-Primitive.
• Effizienz: Die Methode ermöglicht es, leistungsstarke Reasoning-Fähigkeiten auf ressourcenbeschränkter Hardware (z. B. Edge-Geräte) kosteneffizienter einzusetzen, da weniger Token pro Anfrage benötigt werden.
• Zukunft: Die Autoren sehen Potenzial in der Verbesserung des Credit Assignments durch lernbare Schätzer (statt heuristischem Gating) und die Integration stärkerer MARL-Baselines (Multi-Agent Reinforcement Learning) für noch präzisere Budget-Kontrolle.

Zusammenfassend bietet SELFCEST einen praktischen Weg, Modelle beizubringen, Berechnungen durch intelligente Delegation und Parallelisierung optimal zu verteilen, was insbesondere bei langen Kontexten und komplexen Reasoning-Aufgaben zu signifikanten Effizienzgewinnen führt.