Supplement Generation Training for Enhancing Agentic Task Performance

1. Problemstellung

Die Anpassung großer Sprachmodelle (Foundation Models) für spezifische Agenten-Aufgaben wird zunehmend unpraktisch. Die Gründe hierfür sind:

• Hohe Kosten: Das Fine-Tuning von Modellen mit hunderten Milliarden Parametern ist rechenintensiv und teuer.
• Lange Iterationszyklen: Der Trainingsprozess dauert lange.
• Schnelle Obsoleszenz: Neue Basis-Modelle werden kontinuierlich veröffentlicht, wodurch spezifische Fine-Tunes oft veralten, bevor sie sich amortisieren können.
• Eingeschränkter Zugriff: Viele der leistungsfähigsten Modelle sind Closed-Source-APIs, bei denen kein Gradientenzugriff möglich ist.

Während Prompt-Optimierung eine Alternative darstellt, konzentrieren sich bestehende Methoden (wie DSPy oder TextGrad) oft auf das Auswählen oder Umordnen existierender Templates oder globaler Variablen. Sie lernen jedoch selten, neue, instanzspezifische Inhalte zu synthetisieren, die für die Lösung einer spezifischen Aufgabe notwendig sein könnten.

2. Methodik: Supplement Generation Training (SGT)

Das Paper schlägt Supplement Generation Training (SGT) vor, eine Strategie, bei der ein kleines, trainierbares Modell (der „Supplement-Generator") gelernt, nützliche Zusatztexte zu generieren. Diese Texte werden an die ursprüngliche Eingabe angehängt, um ein großes, eingefrorenes Modell (den „Actor") bei der Aufgabenerfüllung zu unterstützen.

Das Grundprinzip:
Statt das große Modell zu trainieren, wird der Eingabe-Kontext optimiert. Der Generator lernt, den Actor so zu „füttern", dass dieser seine Fähigkeiten optimal nutzt, ohne dass die Gewichte des Actors geändert werden müssen.

Der Trainingsprozess (Pipeline):
Der Ansatz besteht aus zwei Phasen, um das Modell schrittweise zu verbessern:

1. Warm-Start SFT (Supervised Fine-Tuning):

   • Da ein untrainiertes Modell dazu neigt, die Aufgabe selbst zu lösen statt Zusatzinformationen zu generieren, wird zunächst ein SFT durchgeführt.
   • Das Modell lernt, aus einer vordefinierten Liste von 8 Supplement-Typen (z. B. Chain-of-Thought, Hintergrundwissen, Fehlerwarnungen, Zusammenfassungen, One-Shot-Beispiele) den passenden Typ auszuwählen und korrekt zu formatieren.
   • Die Trainingsdaten werden durch Sampling mit dem Actor-Modell und Filtern nach erfolgreichen Ergebnissen erstellt.

2. Iteratives DPO (Direct Preference Optimization):

   • Dies ist die Kernphase zur weiteren Verfeinerung. Das Ziel ist es, die effektivsten Supplement-Typen (auch neue, nicht vordefinierte) zu identifizieren und die Qualität der Generierung zu steigern.
   • Proxy-Reward-Signal: Da keine direkte Belohnungsfunktion für den Supplement-Text existiert, wird der Erfolg der vom Actor-Modell generierten Lösung als Proxy für die Qualität des Supplements verwendet.
   • Such-und-Fokus-Strategie:
     • In frühen Iterationen wird der Suchraum erweitert (inklusive Out-of-Distribution-Typen und Verkettungen).
     • In späteren Iterationen konzentriert sich das Training auf die Optimierung innerhalb der vielversprechendsten Typen.
   • Das Modell lernt durch Präferenzpaare (erfolgreiche vs. weniger erfolgreiche Supplements), welche Art von Zusatzinformation zu besseren Ergebnissen führt.

3. Schlüsselbeiträge

• Neues Framework (SGT): Einführung eines Frameworks, das ein kleines Modell (z. B. 1,7 Mrd. Parameter) trainiert, um pro Eingabe maßgeschneiderte Text-Supplements zu generieren, die die Leistung großer LLMs steigern, ohne deren Parameter zu ändern.
• Effiziente Trainingspipeline: Entwicklung eines skalierbaren Verfahrens, das Warm-Start SFT mit iterativem DPO kombiniert und dabei auf Outcome-basierte Belohnungen (Proxy Rewards) eines Black-Box-Actors zurückgreift.
• Umfassende Validierung: Empirischer Nachweis der Wirksamkeit über fünf verschiedene Benchmarks hinweg, mit einer durchschnittlichen Leistungssteigerung von 21 % gegenüber Baselines.

4. Ergebnisse

Die Experimente wurden auf fünf Benchmarks durchgeführt (Spider, DS-1000, HotpotQA, HLE, superGPQA) unter Verwendung verschiedener Actor-Modelle (v3.5-sonnet-v2, GPT-OSS-120B) und eines Qwen3-1.7B als Generator.

• Leistungssteigerung: Die SGT-Methode (nach 5 DPO-Iterationen) erzielte eine durchschnittliche Verbesserung von 21 % gegenüber dem Actor-Modell ohne Supplements.
• Vergleich mit Baselines:
  • Deutlich besser als reines Inference-Time Scaling (Chain-of-Thought).
  • Überlegen gegenüber reinem SFT des Generators (+16 % zusätzlicher Gewinn durch DPO).
  • Konsistent besser als etablierte Prompt-Optimierungsmethoden wie TextGrad und DSPy, die oft inkonsistente Ergebnisse lieferten.
• Aufgabenspezifische Effekte:
  • Die größten Gewinne wurden bei strukturierten Aufgaben (Code-Generierung, SQL) erzielt, wo Supplements helfen, Zwischenschritte zu externalisieren und Constraints zu klären.
  • Bei offenen Aufgaben (Faktenabfrage) waren die Gewinne moderater, aber dennoch signifikant.
• Dynamische Anpassung: Die Analyse der Supplement-Typen zeigt, dass das Modell lernt, den Typ dynamisch an die Aufgabe anzupassen (z. B. dominieren „Pairs"-Supplements bei strukturierten Aufgaben, während „Zusammenfassungen" bei Code-Aufgaben häufiger sind).

5. Bedeutung und Fazit

SGT stellt einen Paradigmenwechsel dar: Statt teure, große Modelle für jede neue Aufgabe neu zu trainieren, wird ein kleines, kostengünstiges Modell trainiert, das als intelligenter „Assistent" fungiert. Dieser Assistent bereitet den Kontext so auf, dass das teure, eingefrorene Hauptmodell („Executive") effizienter arbeiten kann.

Wichtige Implikationen:

• Kosteneffizienz: Training eines kleinen Modells (1,7B) ist deutlich günstiger als das Fine-Tuning großer Modelle.
• Flexibilität: Das System kann sich schnell an neue Aufgaben anpassen, indem nur der Generator neu trainiert wird, während das Basis-Modell unverändert bleibt.
• Entkopplung: Die aufgabenspezifische Optimierung wird von der Basis-Architektur entkoppelt, was eine nachhaltigere und flexiblere Bereitstellung von LLM-Agenten in der realen Welt ermöglicht.

Zusammenfassend demonstriert das Paper, dass die gezielte Generierung von kontextuellen Zusatzinformationen durch ein kleines, trainiertes Modell eine hochwirksame Methode ist, um die Leistungsfähigkeit großer, eingefrorener Sprachmodelle in agenticen Szenarien signifikant zu steigern.