🤖 AI

Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses

Harness-1 is een 20B reinforcement learning-gebaseerde zoekagent die routinematig statusbeheer overdraagt aan een externe stateful harness terwijl het semantische besluitvorming behoudt, waarmee het superieure retrieval-prestaties en sterke generalisatie over diverse benchmarks bereikt in vergelijking met bestaande open en frontier modellen.

Oorspronkelijke auteurs: Pengcheng Jiang, Zhiyi Shi, Kelly Hong, Xueqiang Xu, Jiashuo Sun, Jimeng Sun, Hammad Bashir, Jiawei Han

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pengcheng Jiang, Zhiyi Shi, Kelly Hong, Xueqiang Xu, Jiashuo Sun, Jimeng Sun, Hammad Bashir, Jiawei Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe mysteries probeert op te lossen. Je hebt een briljante detective (het AI-model), maar hij heeft een vreselijke gewoonte: hij vergeet alles wat hij net heeft gelezen, raakt in de war door te veel papierwerk en verspilt vaak tijd aan het herhaaldelijk opnieuw lezen van dezelfde aanwijzingen.

Het paper introduceert een nieuw systeem genaamd Harness-1 dat dit probleem oplost door de detective een supergeorganiseerde assistent (de "Harness") te geven.

Hier is de uitleg over hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Briljante maar Vergeetachtige" Detective

Normaal gesproken, wanneer een AI probeert naar antwoorden te zoeken, gedraagt het zich als een detective die alles in zijn hoofd moet onthouden. Hij moet onthouden:

Welke documenten hij al heeft gelezen.
Welke nuttig waren en welke afval waren.
Welke feiten hij nog moet vinden.
Hoeveel tijd hij nog over heeft.

Het paper betoogt dat het dwingen van de AI om al deze "boekhouding" (het organiseren van de bestanden) te doen, een verspilling van zijn hersencapaciteit is. Het is alsof je een geniale wiskundige vraagt om ook nog als archiefmedewerker te fungeren. Ze worden moe, maken fouten en stoppen effectief met zoeken.

2. De Oplossing: De "Stateful Harness" (De Super Assistent)

Harness-1 splitst de taak op in twee duidelijke rollen:

De Policy (De Detective): Dit is het AI-model (een model met 20 miljard parameters). Zijn enige taak is het nemen van slimme beslissingen: "Wat moet ik nu gaan zoeken?" "Is dit document belangrijk?" "Heb ik genoeg bewijs om te stoppen?"
De Harness (De Assistent): Dit is een gespecialiseerd softwareprogramma dat rondom de AI draait. Het doet al het saaie, mechanische werk. Het houdt een perfecte lijst bij van elk gevonden document, labelt ze met belangenniveaus (zoals "Zeer Hoog" of "Laag"), legt de verbanden tussen verschillende documenten en onthoudt precies wat is geverifieerd.

De Analogie: Denk aan de AI als een chef-kok en de Harness als de sous-chef.

De Chef (AI) beslist: "Ik moet uien snijden en controlen of de saus klaar is."
De Sous-chef (Harness) doet daadwerkelijk: "Hier is de kom met gesnipperde uien, ik heb de goede tomaten al gesorteerd van de slechte en ik heb genoteerd dat we zout op zijn."
De Chef hoeft zich geen zorgen te maken over waar de uien liggen of hoeveel tomaten er nog in de bak zitten; hij kan zich alleen concentreren op het koken.

3. Hoe ze Samen Leren (Reinforcement Learning)

Het team heeft dit systeem getraind met behulp van een methode genaamd Reinforcement Learning.

De Training: Ze lieten de AI duizenden keren de rol van "detective" spelen. Elke keer dat de AI een goede zet deed (de juiste aanwijzing vond, de bestanden goed organiseerde), kreeg hij een beloning.
De Twist: Omdat de Harness de rommelige details afhandelde, leerde de AI veel sneller. Hij hoefde geen energie te verspillen aan het proberen onthouden waar hij een bestand had gelaten; hij hoefde alleen te leren welke bestanden er toe deden.
Het Resultaat: De AI leerde een meesterstrateeg te worden. Het leerde breed te zoeken, dan te verfijnen, feiten te verifiëren en precies te stoppen wanneer het het antwoord had.

4. De "Magische" Kenmerken van de Assistent

De Harness is niet alleen een notitieblok; het heeft speciale tools die de detective slimmer maken:

De "Evidence Graph": Stel je een detectivebord voor met rode draden die aanwijzingen met elkaar verbinden. De Harness tekent deze draden automatisch. Als Document A "Brussel" vermeldt en Document B vermeldt ook "Brussel", dan verbindt de Harness deze. Dit helpt de AI om het grote plaatje te zien zonder elk woord opnieuw te hoeven lezen.
Auto-Seeding: Wanneer de zoekopdracht begint, laat de Harness de detective niet met een leeg bureau achter. Het legt onmiddellijk de top 8 meest waarschijnlijke documenten op het bureau als "startpunt". Dit voorkomt dat de AI aan het begin vastloopt.
Compressie: Als een zoekopdracht een rapport van 50 pagina's oplevert, vat de Harness dit samen tot de 4 belangrijkste zinnen voordat het aan de AI wordt getoond. Dit voorkomt dat het "werkgeheugen" van de AI verstopt raakt.

5. De Resultaten: Klein Model, Grote Winsten

Het paper testte Harness-1 op acht verschillende moeilijke zoekuitdagingen (zoals het vinden van financiële gegevens, patentinformatie en meerstaps-trivia).

De Verrassing: Een relatief klein AI-model (20 miljard parameters) dat deze Harness gebruikt, presteerde beter dan veel grotere, duurdere "frontier" modellen (sommigen met 120+ miljard parameters) die geen speciale assistent hadden.
De Generalisatie: Zelfs toen de AI werd getest op onderwerpen die hij nooit tijdens de training had gezien (zoals de overstap van financiële vragen naar geschiedenisvragen), presteerde hij nog steeds uitstekend. Dit bewijst dat de AI de vaardigheid van het zoeken heeft geleerd, en niet alleen antwoorden heeft uit het hoofd geleerd.

Samenvatting

Harness-1 is een nieuwe manier om AI-zoekagenten te bouwen. In plaats van de AI alles te laten doen (denken, zoeken en organiseren), geeft het een krachtige, stateful assistent om de organisatie te handelen. Dit stelt een kleiner, goedkoper AI-model in staat om grotere, duurdere modellen te overtreffen door zijn hersencapaciteit te richten op het maken van de juiste beslissingen in plaats van het onthouden van de verkeerde details.

De claim van het paper: Door de "boekhouding" uit te besteden aan de omgeving (de Harness), leert de AI effectiever te zoeken, generaliseert het beter naar nieuwe onderwerpen en bereikt het een hogere nauwkeurigheid dan huidige state-of-the-art methoden, terwijl het een kleiner model gebruikt.

Technische Samenvatting: Harness-1

Probleemstelling

Zoekagenten, doorgaans geïmplementeerd als taalmodellen die interageren met retrieval-tools, worden vaak getraind om te opereren over groeiende transcripten. In deze formulering moet het beleid (policy) simultaan semantische zoekbeslissingen beheren (bijv. wat te bevragen, welke documenten te lezen) en routinematig staatbeheer uitvoeren (bijv. het onthouden van eerder geziene documenten, het bijhouden van beperkingen, het onderhouden van een gecureerde set aan bewijslast). De auteurs stellen dat het dwingen van het beleid om nuttige staat te reconstrueren uit ruwe, append-only observaties inefficiënt is en leidt tot slecht geconditioneerd reinforcement learning (RL). Naarmate transcripten groeien, kunnen harde queries resulteren in bijna identieke lege-set-beloningen, de vocabulaire van tools kan instorten tot repetitieve zoekoproepen, en het onderscheid tussen zoekfalen en curatiefalen wordt vertroebeld.

Methodologie: Harness-1

Het artikel introduceert Harness-1, een 20B-parameter zoekagent getraind met reinforcement learning binnen een stateful search harness. Het kernprincipe is stateful cognitive offloading: de omgeving (de harness) onderhoudt de herstelbare staat, terwijl het beleid alleen de semantische beslissingen behoudt.

De Stateful Harness

De harness onderhoudt een WORKINGMEMORY met twee niveaus:

Inner Tier (Prompt-facing): Een compacte, gerenderde samenvatting van de zoekstaat inclusief:
- Candidate Pool ( $P_t$ ): Gecomprimeerde en gededupliceerde zoekresultaten.
- Curated Set ( $C_t$ ) & Importance Tags ( $I_t$ ): Een beperkte set (max. 30 docs) van geselecteerde documenten met tags (very high, high, fair, low).
- Evidence Graph ( $G_t$ ): Een samenvatting van cross-document links gebaseerd op entiteiten, datums en brugdocumenten.
- Verification Records ( $V_t$ ): Logs van claims die zijn gecontroleerd tegen de brontekst.
- Search History ( $H_t$ ) & Budget Markers ( $B_t$ ): Samenvattingen van voortgang en contextlimieten.
Outer Tier (Full Text): Een full-text opslag ( $D_t$ ) van opgehaalde chunks, toegankelijk via review_docs zonder nieuwe corpus-oproepen.

Policy Acties

Het beleid opereert door gestructureerde acties uit te sturen die deze staat bewerken in plaats van het transcript uit te breiden:

Retrieval: fan_out_search, search_corpus, grep_corpus, read_document.
Curation: curate (documenten toevoegen/verwijderen en belangstags toewijzen).
Verification: verify (door het beleid geschreven claims controleren tegen opgeslagen documenten).
Termination: end_search.

Trainingspipeline

Supervised Fine-Tuning (SFT): Een teacher-agent (GPT-5.4) draait binnen de volledige harness om trajecten te genereren. Het beleid leert de interface-mechanica: tool-call formaten, het ritme van zoeken-naar-cureren, belangstaggings en verificatienormen.
Reinforcement Learning (RL): Het beleid wordt on-policy getraind met CISPO over volledige zoekepisoden. De beloningsfunctie combineert:
- Set Quality: Gewogen recall van de uiteindelijke gecureerde set.
- Trajectory Coverage: Krediet voor het vinden van bewijs ergens in de pool.
- Answer Evidence: Beloningen voor het opnemen van antwoord-dragende documenten en straffen voor het missen daarvan.
- Tool Diversity: Een bonus voor het gebruik van een diverse set aan tools om te voorkomen dat de strategie instort in repetitief zoeken.
- Turn Penalty: Om efficiëntie te stimuleren.

Belangrijke Ontwerpeisen

De auteurs identificeren drie vereisten voor een stateful search harness om trainbaar te zijn:

Warm-started Curation: Het automatisch zaaien van de gecureerde set met de topresultaten van de eerste succesvolle zoekopdracht om een initieel leersignaal te bieden.
Compact Derived-State Rendering: Het samenvatten van de staat via belangstags, evidence graphs en verificatieverslagen om context-bloat te voorkomen.
Diversity-Preserving Incentives: Beloningsstructuren die een ritme van zoeken, cureren, reviewen en verifiëren stimuleren.

Belangrijkste Bijdragen

Formulering: Het artikel kadert harness-ontwerp als een centraal, voorheen onderbelicht aspect van retrieval-agent RL, waarbij "stateful cognitive offloading" wordt voorgesteld om semantische beslissingen te scheiden van boekhoudkundige taken.
Harness-1 Systeem: Een 20B zoekagent met een belangstaggings-gebaseerde gecureerde set, een compacte evidence graph, verificatieverslagen en budget-bewuste context-rendering.
Trainbaarheidseisen: Identificatie van warm-starting, compacte rendering en diversiteitsincentives als noodzakelijke voorwaarden voor effectieve RL in stateful search.
Empirische Validatie: Demonstratie dat stateful harnessing de retrieval-kwaliteit en downstream antwoordnauwkeurigheid verbetert over acht diverse benchmarks.

Resultaten

Harness-1 werd geëvalueerd op acht benchmarks die web, finance, patenten en multi-hop QA beslaan (bijv. BrowseComp+, SEC, HotpotQA).

Prestaties: Harness-1 bereikte een gemiddelde curated recall van 0,730, waarmee het de eerstvolgende sterkere open search subagent (Tongyi DeepResearch 30B) verslaat met +11,4 punten. Het blijft competitief met veel grotere frontier-modellen (bijv. GPT-5.4, Opus-4.6), en overtreft er enkele op het gebied van gemiddelde gecureerde recall.
Transfer Generalisatie: Het model vertoonde bijzonder sterke winsten op held-out transfer benchmarks (LongSealQA, Seal0QA, FRAMES, HotpotQA) die niet werden gebruikt tijdens SFT of RL-training. De gemiddelde winst op deze held-out taken (+17,0 punten over Context-1) was 2,2x groter dan de winst op source-family benchmarks (+7,9 punten), wat suggereert dat de geleerde operaties over expliciete staat beter generaliseren dan domeinspecifieke patronen.
Ablatie-studies: Het uitschakelen van individuele harness-mechanismen (bijv. belangstags, evidence graph, auto-seeding) leidde tot significante dalingen in Final-Answer Recall (tot -7,9%). Het uitschakelen van alle mechanismen tegelijkertijd veroorzaakte een daling van -12,2% in Recall, wat bevestigt dat de prestatiewinsten voortkomen uit het harness-ontwerp in plaats van enkel de inherente modelcapaciteit.
Trainingsdynamiek: Experimenten toonden aan dat zonder een tool-diversity reward, het beleid instortte in een zoek-zware strategie met een lage curatiekwaliteit. De diversiteitsbonus was essentieel voor het stabiliseren van toolgebruik en het verbeteren van de uiteindelijke recall.

Betekenis en Claims

Het artikel claimt dat stateful harness design een kritische, voorheen onderbelichte as is voor retrieval-agent RL. Door mechanische boekhouding naar de omgeving te verplaatsen, kan het beleid zich concentreren op hoogwaardige semantische beslissingen, wat leidt tot stabielere training en betere generalisatie.

De auteurs stellen dat Harness-1 aantoont dat een kleiner model (20B) met een goed ontworpen stateful interface beter kan presteren dan grotere open modellen en kan concurreren met frontier-modellen in complexe zoektaken. De resultaten suggereren dat de "interface zelf" een centraal onderdeel is dat het beleid leert gebruiken, in plaats van slechts een tool-wrapper te zijn. Het werk wijst naar een toekomst waarin retrieval-agenten worden gedefinieerd door de synergie tussen een trainbaar beleid en een stateful, cognitieve offloading harness.

Het artikel concludeert door de modelgewichten, de harness-code, de data-generatie pipeline en het RL-recept vrij te geven om verder onderzoek in deze richting te faciliteren.