🤖 AI

Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses

Harness-1 ist ein auf Reinforcement Learning basierender Suchagent mit 20B Parametern, der das routinemäßige Zustandsmanagement an ein externes zustandsbehaftetes Harness auslagert, während er die semantische Entscheidungsfindung beibehält, wodurch er im Vergleich zu bestehenden offenen und führenden Modellen eine überlegene Retrieval-Leistung und eine starke Generalisierung über verschiedene Benchmarks hinweg erreicht.

Ursprüngliche Autoren: Pengcheng Jiang, Zhiyi Shi, Kelly Hong, Xueqiang Xu, Jiashuo Sun, Jimeng Sun, Hammad Bashir, Jiawei Han

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pengcheng Jiang, Zhiyi Shi, Kelly Hong, Xueqiang Xu, Jiashuo Sun, Jimeng Sun, Hammad Bashir, Jiawei Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Rätsel zu lösen. Sie haben einen brillanten Detektiv (das KI-Modell), aber er hat eine schreckliche Angewohnheit: Er vergisst alles, was er gerade gelesen hat, wird durch zu viel Papierkram verwirrt und verschwendet oft Zeit damit, dieselben Hinweise immer und immer wieder zu lesen.

Das Paper stellt ein neues System namens Harness-1 vor, das dieses Problem löst, indem es dem Detektiv einen super-organisierten Assistenten (das „Harness“) zur Seite stellt.

Hier ist die Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:

1. Das Problem: Der „brillante, aber vergessliche“ Detektiv

Normalerweise agiert eine KI, wenn sie versucht, nach Antworten zu suchen, wie ein Detektiv, der alles in seinem Kopf behalten muss. Er muss sich erinnern an:

Welcher Dokumente er bereits gelesen hat.
Welche nützlich waren und welche Müll waren.
Welche Fakten er noch finden muss.
Wie viel Zeit ihm noch bleibt.

Das Paper argumentiert, dass es eine Verschwendung der Gehirnleistung des KI-Modells ist, wenn man es zwingt, all diese „Buchhaltung“ (das Organisieren der Dateien) zu betreiben. Es ist, als würde man einen genialen Mathematiker bitten, gleichzeitig auch als Aktenführer zu fungieren. Er wird müde, macht Fehler und hört auf, effektiv zu suchen.

2. Die Lösung: Das „Stateful Harness“ (Der Super-Assistent)

Harness-1 teilt die Aufgabe in zwei klar unterscheidbare Rollen auf:

Die Policy (Der Detektiv): Dies ist das KI-Modell (ein Modell mit 20 Milliarden Parametern). Seine einzige Aufgabe ist es, kluge Entscheidungen zu treffen: „Was sollte ich als Nächstes suchen?“ „Ist dieses Dokument wichtig?“ „Habe ich genug Beweise, um aufzuhören?“
Das Harness (Der Assistent): Dies ist ein spezialisiertes Softwareprogramm, das um die KI herum läuft. Es erledigt all die langweiligen, mechanischen Arbeiten. Es führt eine perfekte Liste aller gefundenen Dokumente, kennzeichnet sie mit Wichtigkeitsstufen (wie „Sehr hoch“ oder „Niedrig“), verknüpft die Verbindungen zwischen verschiedenen Dokumenten und merkt sich genau, was bereits verifiziert wurde.

Die Analogie: Stellen Sie sich die KI als Koch vor und das Harness als Sous-Chef.

Der Koch (KI) entscheidet: „Ich muss Zwiebeln schneiden und prüfen, ob die Sauce fertig ist.“
Der Sous-Chef (Harness) tut tatsächlich: „Hier ist die Schüssel mit den geschnittenen Zwiebeln, ich habe bereits die guten Tomaten von den schlechten sortiert und aufgeschrieben, dass uns das Salz ausgeht.“
Der Koch muss sich keine Sorgen darüber machen, wo die Zwiebeln sind oder wie viele Tomaten sich noch im Korb befinden; er konzentriert sich nur darauf, zu kochen.

3. Wie sie gemeinsam lernen (Reinforcement Learning)

Das Team hat dieses System mittels Reinforcement Learning trainiert.

Das Training: Sie ließen die KI tausende Male die Rolle des „Detektivs“ spielen. Jedes Mal, wenn die KI einen guten Zug machte (den richtigen Hinweis fand, die Dateien gut organisierte), erhielt sie eine Belohnung.
Der Clou: Da das Harness die unordentlichen Details handhabte, lernte die KI viel schneller. Sie musste keine Energie mehr darauf verschwenden zu versuchen, sich zu erinnern, wohin sie eine Datei gelegt hatte; sie musste nur lernen, welche Dateien relevant waren.
Das Ergebnis: Die KI lernte, eine Meisterstrategin zu werden. Sie lernte, breit zu suchen, dann einzugrenzen, Fakten zu verifizieren und genau dann aufzuhören, wenn sie die Antwort hatte.

4. Die „magischen“ Funktionen des Assistenten

Das Harness ist nicht nur ein Notizblock; es besitzt spezielle Werkzeuge, die den Detektiv intelligenter machen:

Der „Evidence Graph“ (Beweis-Graph): Stellen Sie sich das Korkboard eines Detektivs vor, auf dem rote Fäden die Hinweise verbinden. Das Harness zeichnet diese Fäden automatisch. Wenn Dokument A „Brüssel“ erwähnt und Dokument B ebenfalls „Brüssel“, zieht das Harness eine Verbindung. Dies hilft der KI, das große Ganze zu sehen, ohne jedes einzelne Wort erneut lesen zu müssen.
Auto-Seeding: Wenn die Suche beginnt, lässt das Harness den Detektiv nicht mit einem leeren Schreibtisch allein. Es legt sofort die 8 wahrscheinlichsten Dokumente als „Startpunkt“ auf den Schreibtisch. Dies verhindert, dass die KI am Anfang stecken bleibt.
Kompression: Wenn eine Suche einen 50-seitigen Bericht liefert, fasst das Harness diesen in die 4 wichtigsten Sätzen zusammen, bevor es ihn der KI zeigt. Dies verhindert, dass das „Arbeitsgedächtnis“ der KI verstopft wird.

5. Die Ergebnisse: Kleines Modell, große Siege

Das Paper testete Harness-1 bei acht verschiedenen schwierigen Suchaufgaben (wie der Suche nach Finanzdaten, Patentinformationen und Multi-Step-Trivia).

Die Überraschung: Ein relativ kleines KI-Modell (20 Milliarden Parameter), das dieses Harness nutzt, schnitt besser ab als viel größere, teurere „Frontier“-Modelle (einige davon mit 120+ Milliarden Parametern), die keinen speziellen Assistenten hatten.
Die Generalisierung: Selbst als die KI mit Themen getestet wurde, die sie während des Trainings nie gesehen hatte (wie der Wechsel von Finanzfragen zu Geschichtsfragen), schnitt sie immer noch unglaublich gut ab. Dies beweist, dass die KI die Fähigkeit des Suchens gelernt hat, nicht nur Antworten auswendig gelernt hat.

Zusammenfassung

Harness-1 ist eine neue Art, KI-Suchagenten aufzubauen. Anstatt die KI alles machen zu lassen (denken, suchen und organisieren), gibt man ihr einen leistungsfähigen, zustandsbehafteten (stateful) Assistenten, der die Organisation übernimmt. Dies ermöglicht es einer kleineren, günstigeren KI, massive, teure Modelle zu übertreffen, indem sie ihre Gehirnkapazität darauf konzentriert, die richtigen Entscheidungen zu treffen, anstatt sich an die falschen Details zu erinnern.

Die Behauptung des Papers: Durch das Auslagern der „Buchhaltung“ auf die Umgebung (das Harness) lernt die KI effektiver zu suchen, generalisiert besser auf neue Themen und erreicht eine höhere Genauigkeit als aktuelle State-of-the-Art-Methoden – und das alles mit einem kleineren Modell.

Technisches Resümee: Harness-1

Problemstellung

Suchagenten, die typischerweise als Sprachmodelle implementiert sind, welche mit Retrieval-Tools interagieren, werden oft darauf trainiert, über wachsende Transkripte zu operieren. In dieser Formulierung muss die Policy gleichzeitig semantische Suchentscheidungen (z. B. was zu suchen ist, welche Dokumente zu lesen sind) und routinemäßiges Zustandsmanagement (z. B. das Erinnern an gesehene Dokumente, das Verfolgen von Constraints, die Pflege eines kuratierten Bestands an Evidenzen) bewältigen. Die Autoren argumentieren, dass es ineffizient ist, die Policy dazu zu zwingen, den nützlichen Zustand aus rohen, append-only Beobachtungen zu rekonstruieren, und dies zu einem schlecht konditionierten Reinforcement Learning (RL) führt. Wenn Transkripte wachsen, können harte Abfragen nahezu identische Empty-Set-Rewards liefern, Tool-Vokabulare können in repetitiven Suchaufrufen kollabieren, und die Unterscheidung zwischen Suchfehlern und Kuratierungsfehlern wird verschleiert.

Methodik: Harness-1

Das Paper stellt Harness-1 vor, einen 20B-Parameter-Suchagenten, der mittels Reinforcement Learning innerhalb eines stateful search harness (zustandsbehafteten Suchgerüsts) trainiert wurde. Das Kernprinzip ist stateful cognitive offloading (zustandsbehaftete kognitive Auslagerung): Die Umgebung (Harness) verwaltet den wiederherstellbaren Zustand, während die Policy nur die semantischen Entscheidungen behält.

Das Stateful Harness

Das Harness verwaltet ein WORKINGMEMORY mit zwei Ebenen:

Innere Ebene (Prompt-facing): Eine kompakte, gerenderte Zusammenfassung des Suchzustands, bestehend aus:
- Candidate Pool ( $P_t$ ): Komprimierte und deduplizierte Suchergebnisse.
- Curated Set ( $C_t$ ) & Importance Tags ( $I_t$ ): Ein begrenzter Satz (max. 30 Dokumente) ausgewählter Dokumente mit Tags (very high, high, fair, low).
- Evidence Graph ( $G_t$ ): Eine Zusammenfassung von dokumentenübergreifenden Verknüpfungen basierend auf Entitäten, Daten und Brückendokumenten.
- Verification Records ( $V_t$ ): Protokolle von Behauptungen, die gegen den Quelltext geprüft wurden.
- Search History ( $H_t$ ) & Budget Markers ( $B_t$ ): Zusammenfassungen des Fortschritts und der Kontextgrenzen.
Äußere Ebene (Full Text): Ein Volltext-Speicher ( $D_t$ ) von abgerufenen Chunks, der via review_docs zugänglich ist, ohne neue Korpus-Aufrufe zu tätigen.

Policy-Aktionen

Die Policy operiert durch das Ausgeben strukturierter Aktionen, die diesen Zustand editieren, anstatt ein Transkript zu erweitern:

Retrieval: fan_out_search, search_corpus, grep_corpus, read_document.
Curation: curate (Hinzufügen/Entfernen von Dokumenten und Zuweisung von Wichtigkeits-Tags).
Verification: verify (Prüfung der von der Policy geschriebenen Behauptungen gegen die gespeicherten Dokumente).
Termination: end_search.

Trainings-Pipeline

Supervised Fine-Tuning (SFT): Ein Teacher-Agent (GPT-5.4) läuft innerhalb des vollen Harnesss, um Trajektorien zu generieren. Die Policy lernt die Interface-Mechanik: Tool-Call-Formate, den Search-to-Curate-Rhythmus, Importance-Tagging und Verifikationsnormen.
Reinforcement Learning (RL): Die Policy wird On-Policy mittels CISPO über vollständige Such-Episoden trainiert. Die Reward-Funktion kombiniert:
- Set Quality: Gewichteter Recall des finalen kuratierten Sets.
- Trajectory Coverage: Credit für das Finden von Evidenzen an beliebiger Stelle im Pool.
- Answer Evidence: Belohnungen für das Einbeziehen antworttragender Dokumente und Strafen für das Übersehen derselben.
- Tool Diversity: Ein Bonus für die Nutzung eines diversen Sets an Tools, um einen Kollaps in repetitive Suche zu verhindern.
- Turn Penalty: Um Effizienz zu fördern.

Zentrale Design-Anforderungen

Die Autoren identifizieren drei Anforderungen für ein trainierbares stateful Search-Harness:

Warm-started Curation: Automatisches Seeden des kuratierten Sets mit den Top-Ergebnissen der ersten erfolgreichen Suche, um ein initiales Lernsignal bereitzustellen.
Compact Derived-State Rendering: Zusammenfassung des Zustands via Importance-Tags, Evidence-Graphs und Verification-Records, um Context Bloat zu vermeiden.
Diversity-Preserving Incentives: Reward-Strukturen, die einen Rhythmus aus Suchen, Kuratieren, Reviewen und Verifizieren fördern.

Zentrale Beiträge

Formulierung: Das Paper definiert das Harness-Design als zentrales Problem im Retrieval-Agent RL und schlägt „stateful cognitive offloading“ vor, um semantische Entscheidungen von der Buchhaltung zu trennen.
Harness-1 System: Ein 20B Suchagent mit einem Importance-getaggten kuratierten Set, kompaktem Evidence-Graph, Verification-Records und budgetbewusstem Context-Rendering.
Trainierbarkeits-Anforderungen: Identifikation von Warm-starting, kompaktem Rendering und Diversity-Incentives als notwendige Bedingungen für effektives RL in der zustandsbehafteten Suche.
Empirische Validierung: Nachweis, dass ein stateful Harness die Retrieval-Qualität und die nachgelagerte Antwortgenauigkeit über acht diverse Benchmarks hinweg verbessert.

Ergebnisse

Harness-1 wurde auf acht Benchmarks evaluiert, die Web, Finanzen, Patente und Multi-Hop-QA abdecken (z. B. BrowseComp+, SEC, HotpotQA).

Performance: Harness-1 erreichte einen durchschnittlichen Curated Recall von 0,730 und übertraf damit den nächststärksten Open-Search-Subagenten (Tongyi DeepResearch 30B) um +11,4 Punkte. Es bleibt wettbewerbsfähig mit deutlich größeren Frontier-Modellen (z. B. GPT-5.4, Opus-4.6) und übertrifft mehrere in der durchschnittlichen Curated-Recall-Rate.
Transfer-Generalisierung: Das Modell zeigte besonders starke Gewinne bei Held-out Transfer-Benchmarks (LongSealQA, Seal0QA, FRAMES, HotpotQA), die nicht im SFT oder RL Training verwendet wurden. Der durchschnittliche Gewinn auf diesen Held-out-Aufgaben (+17,0 Punkte gegenüber Context-1) war 2,2-mal größer als der Gewinn auf Source-Family-Benchmarks (+7,9 Punkte), was darauf hindeutet, dass die gelernten Operationen über explizite Zustände besser generalisieren als domänenspezifische Muster.
Ablationsstudien: Das Deaktivieren einzelner Harness-Mechanismen (z. B. Importance-Tags, Evidence-Graph, Auto-Seeding) führte zu signifikanten Einbußen beim Final-Answer-Recall (bis zu -7,9 %). Das gleichzeitige Deaktivieren aller Mechanismen verursachte einen Rückgang des Recalls um -12,2 %, was bestätigt, dass die Performance-Gewinne aus dem Harness-Design und nicht allein aus der inhärenten Modellkapazität resultieren.
Trainingsdynamik: Experimente zeigten, dass die Policy ohne einen Tool-Diversity-Reward in eine search-lastige Strategie mit geringer Kuratierungsqualität kollabierte. Der Diversity-Bonus war essenziell, um den Tool-Einsatz zu stabilisieren und den finalen Recall zu verbessern.

Bedeutung und Behauptungen

Das Paper behauptet, dass das stateful Harness-Design eine kritische, bisher unterexplorierte Achse für Retrieval-Agent RL darstellt. Durch die Auslagerung mechanischer Buchhaltung an die Umgebung kann sich die Policy auf hochgradig semantische Entscheidungen konzentrieren, was zu einem stabileren Training und besserer Generalisierung führt.

Die Autoren behaupten, dass Harness-1 demonstriert, dass ein kleineres Modell (20B) mit einem gut designten stateful Interface leistungsfähiger als größere Open-Modelle sein und mit Frontier-Modellen konkurrieren kann. Die Ergebnisse legen nahe, dass das „Interface selbst“ ein zentraler Bestandteil dessen ist, was die Policy zu nutzen lernt, und nicht bloß ein Tool-Wrapper ist. Die Arbeit weist auf eine Zukunft hin, in der Retrieval-Agenten durch die Synergie zwischen einer trainierbaren Policy und einem stateful, kognitiv auslagernden Harness definiert werden.

Das Paper schließt mit der Veröffentlichung der Modellgewichte, des Harness-Codes, der Datengenerierungs-Pipeline und des RL-Rezepts, um weitere Forschung in dieser Richtung zu ermöglichen.