Technisches Resümee: Skalierung der Harness-Intelligenz durch Just-in-Time Harness-Evolution

1. Problemstellung

Die Leistungsfähigkeit eines LLM-Agenten wird nicht allein durch die Gewichte des Fundamentmodells bestimmt, sondern gemeinsam durch den Agent-Harness – das operative Gerüst, das aus Speicherverwaltung, Planungsstrategien, Aktionsprotokollen sowie Tool-/Skill-Orchestrierung besteht. Während ein starkes Modell unter einem ungeeigneten Harness versagen kann, kann ein robuster Harness Potenzial nur dann erschließen, wenn das Modell in der Lage ist, ihn zu interpretieren und zu befolgen.

Aktuelle Ansätze zur Harness-Optimierung verlassen sich überwiegend auf Ahead-of-Time (AOT)-Methoden. Diese Systeme behandeln den Harness als ein dauerhaftes Artefakt, das über einen Erfahrungsschatz hinweg optimiert wird, um auf zukünftige Aufgaben zu generalisieren. AOT-Ansätze haben jedoch Schwierigkeiten mit der Instanzabhängigkeit: Unterschiedliche Aufgaben (z. B. breite Suche vs. terminale Aufgaben vs. tiefe Recherche) erfordern grundlegend verschiedene Harness-Priors. Die Optimierung eines einzelnen AOT-Harness über heterogene Anforderungen hinweg ist mühsam, erfordert große Designräume sowie die Akkumulation von Trajektorien und scheitert oft daran, die spezifische Struktur eines neuen Problems abzubilden. Das Paper postuliert, dass das Harness-Design von einer manuellen, statischen Engineering-Aufgabe zu einer Just-in-Time (JIT)-Fähigkeit werden sollte, bei der ein trainierter Meta-Agent einen aufgabenbezogenen Harness on-the-fly synthetisiert.

2. Methodik: JIT-Agent

Die Autoren schlagen den JIT-Agent vor, einen kompakten Meta-Agenten, der darauf ausgelegt ist, aufgabenadaptive Harnesses für beliebige, fertige (off-the-shelf) agentische LLMs zu synthetisieren, zu reparieren und zu entwickeln.

2.1 Formalisierung: Das Vier-Modul-Protokoll

Um die Generierung des Harness gangbar und strukturiert zu machen, formalisiert das Paper den Agent-Harness als ein komponierbares, maschinengenerierbares Artefakt, das durch ein festes Vier-Modul-Protokoll $\Pi = (M, P, A, F)$ gesteuert wird:

1. Memory ($M$): Komprimiert die Historie in eine Ansicht ($v_t$) der realisierten Historie.
2. Planning ($P$): Überführt die Ansicht in eine lokale Direktive ($d_t$).
3. Capability Orchestration ($F$): Wählt relevante Tools/Skills ($C_t$) aus und sequenziert diese basierend auf der Direktive.
4. Action ($A$): Verarbeitet den zusammengestellten Kontext, um den Zustand des Controllers zu aktualisieren und die nächste Aktion ($e_t$) auszuge-geben.

Diese Faktorisierung wandelt heterogene Programme in vergleichbare Koordinaten innerhalb eines protokollkonformen Raums ($H_\Pi$) um. Die Autoren führen HarnessFactory ein, eine vereinheitlichte Codebasis, die 13 repräsentative zeitgenössische Scaffolds (z. B. ReAct, Plan-and-Execute, rekursive Agenten) unter dieser gemeinsamen Schnittstelle implementiert, um als Seed-Bank ($B_0$) zu dienen.

2.2 Trainings-Pipeline

Der JIT-Agent wird über eine dreistufige Pipeline trainiert, um Harness-Intelligenz (Adaptivität, Zuverlässigkeit und Evolvierbarkeit) zu erreichen:

• Stufe I: Aufgabenbedingte Anpassung (Task-Conditioned Customization)

  • Ziel: Dem Modell beizubringen, eine Aufgabenbeschreibung und einen kleinen Referenzkontext auf einen protokollkonformen Harness abzubilden.
  • Methode: Ein eingefrorener, stärkerer Teacher-Modell synthetisiert aufgabenangepasste Harnesses. Die Trainingsdaten umfassen sowohl Supervised Fine-Tuning (SFT) auf validen Generierungen als auch Preference Learning. Das Präferenzziel ($L_{pref}$) optimiert für Harnesses, die die Aufgabenbelohnung verbessern, ohne die Effizienz (Latenz oder Kosten) zu beeinträchtigen, wobei eine Pareto-artige Präferenzregel verwendet wird.

• Stufe II: Reparieren von Harnesses (Repairing Harnesses)

  • Ziel: Sicherstellung der Zuverlässigkeit durch das Erlernen der Erholung von Synthesefehlern.
  • Methode: Fehlgeschlagene Generierungen (Compilerfehler, Interface-Mismatches, Laufzeit-Exceptions) werden in begrenzte Repair-Trajektorien umgewandelt. Ein Teacher schlägt strukturierte Revisionen ($\Delta$) vor, um den Harness zu fixen. Das Modell wird darauf trainiert, diese Repair-Transitionen zu imitieren, um durch die Nutzung von Ausführungs-Feedback die protokollkonforme Ausführung innerhalb eines kurzen Horizonts (max. 2 Runden) wiederherzustellen.

• Stufe III: Evolutionary Group-Decoupled Policy Optimization (Evo-GDPO)

  • Ziel: Ermöglichung der Online-Evolution, bei der das Modell lernt, Harnesses vorzuschlagen, die die aktuelle Archiv-Frontier übertreffen.
  • Methode: Während des Trainings schlägt das Modell eine Gruppe von Kandidat-Harnesses vor. Diese werden gegen einen Incumbent (den besten Harness in der aktuellen Bank für diese Aufgabe) evaluiert. Das Belohnungssignal wird in drei Kanäle entkoppelt:
    1. Reward: Primäres Signal; Kandidaten müssen die Belohnung des Incumbents erreichen oder übertreffen.
    2. Latency & Cost: Effizienzsignale, die nur aktiviert werden, wenn die Belohnung beibehalten wird.
  • Die Policy wird mittels eines PPO-ähnlichen Objekts aktualisiert, das durch einen normalisierten, aggregierten Advantage gesteuert wird, welcher das Überschreiten der Frontier belohnt, während die Effizienz gewahrt bleibt. Die Harness-Bank ($B_n$) wird konservativ aktualisiert, wobei nur Designs beibehalten werden, die die Frontier vorantreiben.

2.3 Inferenz-Architektur

Der JIT-Agent unterstützt zwei Inferenz-Modi:

• Statische Inferenz: Generiert $N$ Harnesses parallel, wählt einen aus und führt ihn aus. Nützlich, um die Diversität der Kandidaten zu maximieren, ohne die Anzahl der Umgebungsläufe zu erhöhen.
• Streaming-Inferenz: Entwickelt für Aufgabenströme. Das Modell ruft Referenzen aus einer sich entwickelnden Bank ab, generiert einen Harness, führt ihn aus und aktualisiert die Bank basierend auf dem Feedback. Dies ermöglicht den Transfer von Erfahrungen über Aufgaben hinweg, ohne die Modellparameter während des Deployments zu aktualisieren.

3. Kernergebnisse

Das Paper evaluiert den JIT-Agent über neun Benchmarks, die Deep Research, tägliche Arbeit, Planung und Workspace-Aufgaben abdecken, unter Verwendung von Backbones wie GLM-5.2, DeepSeek-V4-Flash, Qwen3.6 und Mimo-V2.5.

• Leistungssteigerungen: Der Ersatz von Standard-Scaffolds durch JIT-generierte Harnesses liefert konsistente Verbesserungen.

  • GLM-5.2: Durchschnittliche Verbesserung von +7,7 Punkten über neun Benchmarks. Bemerkenswerte Gewinne sind +20,2 bei DeepPlanning-Travel und +4,3 bei OdysseyBench.
  • DeepSeek-V4-Flash: Durchschnittliche Verbesserung von +8,8 Punkten. Es übertrifft GPT-5.6 bei DeepSearchQA (+9,1).
  • Generalisierung: JIT-Agent verbessert die Leistung über alle getesteten Modellfamilien (DeepSeek, Qwen, Mimo) und Varianten (Flash/Pro) hinweg, was zeigt, dass die Fähigkeit auf die Modellgewichte übertragbar ist.

• Wettbewerbsfähigkeit gegenüber festen Harnesses:

  • JIT-generierte Harnesses sind leistungswettbewerbsfähig mit ausgereiften Runtimes wie OpenCode und Claude Code.
  • Auf DeepSeek-V4-Flash übertrifft JIT-Agent den stärksten festen Harness (NanoBot) um +4,7 Punkte auf DeepSearchQA und um +4,0 Punkte auf xBench-DS.

• Kosteneffizienz:

  • JIT-Agent erreicht den geringsten Token-Verbrauch und die niedrigsten API-Kosten in allen kontrollierten Settings.
  • Im Vergleich zum günstigsten festen Harness reduziert er die Kosten pro Fall um 14,9–54,1 % (Durchschnitt 36,0 %), während er gleichzeitig die Leistung steigert. Beispielsweise sank bei DeepSeek-V4-Flash xBench-DS der Token-Verbrauch von 527K auf 212K, während die Leistung von 78,0 auf 82,0 stieg.
  • Die Pareto-Frontier-Analyse zeigt, dass JIT-Agent die Betriebspunkte in Richtung oben-links verschiebt (höhere Leistung, geringere Kosten), was beweist, dass die Gewinne nicht durch längere Trajektorien, sondern durch bessere Orchestrierung erzielt werden.

• Test-Time-Evolution:

  • Streaming JIT (welches die Harness-Bank über einen Aufgabenstrom hinweg aktualisiert) übertrifft konsistent Static JIT (unabhängige Generierungen) in der kumulativen Genauigkeit, was den Wert des Lernens aus Ausführungs-Feedback demonstriert.

4. Bedeutung und Ansprüche

Das Paper behauptet, die Harness-Intelligenz als eine neue, trainierbare und übertragbare Dimension der Agenten-Fähigkeit etabliert zu haben, die orthogonal zur Modellskalierung steht.

• Paradigmenwechsel: Die Arbeit verschiebt das Harness-Engineering von „Ahead-of-Time“ (Optimierung eines statischen Artefakts) zu „Just-in-Time“ (Synthese eines aufgabenspezifischen Scaffolds on-the-fly).
• Modell-als-Harness: Es zeigt, dass ein trainierter Meta-Agent operative Scaffolds generieren kann, die es schwächeren oder effizienteren Backbones ermöglichen, stärkere Modelle mit festen Harnesses zu rivalisieren oder gar zu übertreffen.
• Skalierbarkeit: Durch die Formalisierung des Harness als komponierbares Protokoll und das Training eines Generators zu dessen Entwicklung legt das Paper einen Weg auf, die Agenten-Fähigkeit durch die Optimierung der Ausführungsumgebung selbst zu skalieren, statt ausschließlich durch die Skalierung der Modellparameter.
• Zukünftige Ausrichtung: Die Autoren betrachten dies als Schritt in Richtung Model-Harness Co-Design, bei dem Fundamentmodelle letztlich die Fähigkeit verinnerlichen könnten, ihre eigenen Ausführungssysteme zu konstruieren, zu revidieren und zu entwickeln.

Das Paper schließt mit der Feststellung, dass Harness-Intelligenz nicht bloß ein Implementierungsdetail ist, sondern ein primärer Determinant der Agenten-Leistung, der in der Lage ist, erhebliche Fähigkeiten zurückzugewinnen, die andernfalls ein teures Backbone-Scaling erfordert hätten.