🤖 machine learning

The Interplay of Harness Design and Post-Training in LLM Agents

Oorspronkelijke auteurs: Kyungmin Kim, Youngbin Choi, Seoyeon Lee, Suhyeon Jun, Dongwoo Kim, Sangdon Park

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Kyungmin Kim, Youngbin Choi, Seoyeon Lee, Suhyeon Jun, Dongwoo Kim, Sangdon Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar onervaren robot-butler leert hoe hij een huis moet schoonmaken. Je hebt twee hoofdtaken:

De Training: De robot leren hoe hij de klusjes moet doen (Post-training).
De Instructiehandleiding: De specifieke manier waarop je de regels schrijft, de hulpmiddelen opsomt en uitlegt wat de robot op elk moment ziet (De Harness).

Dit paper betoogt dat onderzoekers het lange tijd heel zwaar hadden op het trainen van de robot, maar de instructiehandleiding behandelden als een vaststaand, saai detail. Ze namen aan dat als je de robot maar genoeg trainde, de handleiding er niet toe deed.

De auteurs van dit paper zeggen: "Wacht eens even! De handleiding doet er net zo toe als de training, vooral wanneer de robot geconfronteerd wordt met nieuwe situaties."

Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De Drie Typen Instructiehandleidingen (De Harness)

De onderzoekers hebben drie verschillende versies van de "Instructiehandleiding" gemaakt om te zien welke het beste werkt. Ze noemden ze h-low, h-mid en h-high.

h-low (De Basis-handleiding): Dit is alsof je de robot een lijst met werkwoorden geeft ("Ga", "Pak", "Maak schoon") zonder extra hulp. Het vertelt de robot niet wat hij vasthoudt of welke hulpmiddelen er op dit moment beschikbaar zijn. Het is goedkoop om te schrijven, maar moeilijk voor de robot om te gebruiken.
h-mid (De Behulpzame Handleiding): Deze versie voegt een regel "Huidige Status" toe. Het vertelt de robot: "Trouwens, je houdt momenteel een bord vast," en "Hier is een lijst met hulpmiddelen die je nu kunt gebruiken."
h-high (De Expert-handleiding): Dit is de ultieme gids. Het legt uit hoe hulpmiddelen samenwerken (bijv. "Je moet eerst de lade openen voordat je een lepel kunt pakken"). Het herinnert de robot ook constant aan wat hij bij zich draagt.

De Bevinding: Net zoals een menselijke student beter leert met een gedetailleerd tekstboek dan met een vage lijst woorden, presteerde de robot aanzienlijk beter met de h-high handleiding, zelfs nog vóór de training begon.

2. De "Kookles" Analogie (Training vs. De Handleiding)

De onderzoekers vroegen zich af: Moeten we de robot eerst leren met de simpele handleiding, en dan later overstappen naar de gedetailleerde handleiding? Of moeten we hem vanaf dag één met de gedetailleerde handleiding leren?

De Fout: Veel mensen dachten: "Laten we de robot trainen met de simpele handleiding (h-low) omdat dat makkelijker is, en hem dan de gedetailleerde handleiding (h-high) geven wanneer hij aan het werk gaat."
De Realiteit: Dit is als het leren rijden aan een student op een leeg parkeerterrein zonder stuur, om hem vervolgens op de eerste dag van het examen een auto met een stuur te geven. De robot raakt in de war.
Het Resultaat: De robot moet getraind worden terwijl hij naar de gedetailleerde handleiding kijkt. Als je hem traint met de simpele handleiding en later wisselt, faalt hij. De robot moet leren hoe hij moet denken terwijl hij de gedetailleerde instructies leest.

3. De "Verhuizing" Test (Out-of-Distribution)

Het echte leven is rommelig. Soms moet de robot een ander huis schoonmaken (Taakverschuiving), of veranderen de namen van de hulpmiddelen (Tool Environment Shift).

Voorbeeld: In het trainingshuis heet het hulpmiddel "Ga". In het nieuwe huis heet het hulpmiddel "Navigeer".
De Test: Ze trainden robots met de simpele handleiding (h-low) en de gedetailleerde handleiding (h-high) en verplaatsten ze vervolgens naar deze "nieuwe huizen".

Het Schokkende Resultaat:

De robots die getraind waren met de simpele handleiding (h-low) stortten volledig in wanneer de namen van de hulpmiddelen veranderden. Ze konden zich niet aanpassen.
De robots die getraind waren met de gedetailleerde handleiding (h-high) waren als kameleon. Omdat ze de logica van de hulpmiddelen begrepen (dankzij de gedetailleerde handleiding), konden ze begrijpen dat "Navigeer" gewoon een nieuwe naam was voor "Ga" en werkten perfect door.

4. Het "Creditcard" Probleem (Waarom de Training Ertoe Doet)

Het paper keek ook naar hoe de robot leert. Ze gebruikten twee verschillende onderwijsmethoden (algoritmen):

GRPO: Geeft een cijfer aan het einde van de taak (Heb je het hele huis schoongemaakt? Ja/Nee).
GiGPO: Geeft feedback op elke stap (Goed gedaan met het oppakken van het bord; slecht gedaan met het laten vallen ervan).

Ze ontdekten dat zelfs de slimste onderwijsmethode (GiGPO) een robot met een slechte handleiding niet kon redden. Als de handleiding te simpel was, raakte de robot de weg kwijt, ongeacht hoe goed de leraar was. Maar als de handleiding gedetailleerd was, maakte de slimste onderwijsmethode de robot een genie.

De Belangrijkste Les

Je kunt hoe je leert (het trainingsalgoritme) niet loskoppelen van waarmee je leert (de harness/handleiding).

Bespaar niet op de handleiding: Een gedetailleerde, informatieve handleiding is niet alleen "extra werk"; het is het fundament dat de robot in staat stelt om effectief te leren.
Train met het definitieve hulpmiddel: Je moet de robot trainen met dezelfde gedetailleerde instructies die hij in de echte wereld zal gebruiken. Later van handleiding wisselen is een recept voor falen.
Voorbereiding op verandering: Als je wilt dat je robot omgaat met onverwachte veranderingen (zoals nieuwe namen van hulpmiddelen of andere kamers), moet je hem trainen met de meest informatieve handleiding die mogelijk is.

Kortom: Een geweldige leraar (training) is nutteloos als het tekstboek (harness) geschreven is in een taal die de student niet begrijpt.

Technische Samenvatting: De Interactie tussen Harness-ontwerp en Post-training in LLM-agenten

Probleemstelling

Tool-geïntegreerde Large Language Model (LLM) agenten vertrouwen op een "harness" — de ondersteunende code die bepaalt welke tools worden blootgesteld, hoe ze worden beschreven en welke aanvullende informatie de observaties vergezellen. Hoewel agenten routinematig worden onderworpen aan post-training om het gebruik van tools te verbeteren, beschouwt bestaand onderzoek de harness als een vaststaand technisch detail, dat doorgaans alleen wordt geoptimaliseerd in een training-vrije regime. Bovendien gaan standaard post-training algoritmen uit van een statische implementatieomgeving, waarbij zij rekening houden met de werkelijke verschuivingen in zowel taakdistributies (bijv. de overgang van workload scheduling naar het plannen van een reisroute) als in tool-omgevingen (bijv. veranderingen in invocatieprotocollen of API-signatures).

Het artikel adresseert de kloof in het begrip van hoe harness-ontwerp interageert met post-training. Specifiek onderzoekt het of de voordelen van harness-ontwerp zich uitstrekken tot de post-training fase en hoe de informatieve waarde van een harness de robuustheid van een agent beïnvloedt in Out-of-Distribution (OOD) settings, inclusief taakverschuivingen en verschuivingen in de tool-omgeving.

Methodologie

Benchmark Extensie: ALFWorld

De auteurs breiden de ALFWorld tekstgebaseerde planning-omgeving uit om te dienen als een gecontroleerde benchmark voor tool-geïntegreerde agentische taken. De extensie moduleert drie kerncomponenten om een systematische analyse mogelijk te maken:

Harness Design: De harness wordt behandeld als een controleerbare ontwerpdimensie in plaats van een vaste variabele.
Tool Schema: De omgeving ondersteunt verschuivingen in tool-invocatieprotocollen.
Taaktype: De omgeving ondersteunt verschuivingen in taakdistributies op basis van moeilijkheidsgraden.

Harness Variaties

Er zijn drie harnesses met variërende niveaus van informatieve waarde geïnstantieerd:

h-low (Low Effort): Biedt minimale begeleiding. Tools hebben een-regelige beschrijvingen in de system prompt, en de per-stap geschiedenis bevat alleen ruwe observaties.
h-mid (Medium Effort): Augmenteert de per-stap geschiedenis met een lijst van geldige tools die toegestaan zijn bij de huidige staat, terwijl een-regelige toolbeschrijvingen behouden blijven.
h-high (High Effort): Biedt rijke toolbeschrijvingen (inclusclusief preconditions en interacties) en voegt het object dat momenteel gedragen wordt toe aan de per-stap geschiedenis, waardoor expliciete inventariscontroles overbodig worden.

Tool Omgeving Verschuivingen

Om implementatieverschuivingen te simuleren, werd het tool schema gewijzigd:

v1.0 (Base): Originele ALFWorld tool namen (bijv. Go, Take).
v1.1 (Mild Shift): Geparafraseerde tool namen en parameters (bijv. Go $\to$ NavigateTo, receptacle $\to$ destination).
v2.0 (Strong Shift): Geconsolideerde tools gebaseerd op structurele/functionele gelijkenis (bijv. het samenvoegen van NavigateTo, OpenContainer, CloseContainer tot één enkele ReceptacleControl tool met een actieparameter).

Experimentele Opzet

Modellen: Open-source modellen (Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct) en een closed-source model (GPT-5 Mini).
Algoritmen: Group-Relative Policy Optimization (GRPO) en Group-in-Group Policy Optimization (GiGPO).
Regimes:
- Zero-shot: Evaluatie zonder post-training.
- In-distribution: Post-training en evaluatie op dezelfde taak/tool distributie.
- OOD (Tool Shift): Post-training op v1.0, evaluatie op v1.1 of v2.0.
- OOD (Task Shift): Post-training op een specifieke moeilijkheidsgraad (bijv. t-easy), evaluatie op andere graden.
Vergelijking: De studie vergelijkt "training-time" harness toepassing (post-training met de harness aanwezig) versus "post-hoc" toepassing (post-training onder h-low en het pas toepassen van een rijkere harness tijdens de evaluatie).

Belangrijkste Bijdragen

Harness als Controleerbare Variabele: Het artikel vestigt een framework om harness-ontwerp te behandelen als een expliciete variabele in post-training, waarmee de aanname dat harnesses vaste technische details zijn, wordt doorbroken.
Systematische Analyse van Informativiteit: Het levert empirisch bewijs over hoe het niveau van informatie geleverd door een harness (van h-low naar h-high) zowel de in-distribution prestaties als de OOD robuustheid beïnvloedt.
Timing van Harness Toepassing: Het onderzoekt of harnesses moeten worden toegepast tijdens de training of pas tijdens de inferentie, waarbij wordt geconstateerd dat training-time toepassing cruciaal is.
Robuustheid tegen Verschuivingen: Het demonstreert dat harness-bewuste post-training een vereiste is voor robuuste adaptatie aan tool-omgeving verschuivingen en taakverschuivingen, terwijl post-training onder low-effort harnesses leidt tot prestatie-instorting onder sterke verschuivingen.

Resultaten

Zero-Shot en In-Distribution Prestaties

Monotone Verbetering: De informatieve waarde van de harness verbetert de zero-shot prestaties monotoon. Deze winst schaalt met de modelcapaciteit; bijvoorbeeld vertoont GPT-5 Mini significante winsten met h-high.
Post-Training Extensie: De monotone winst waargenomen in zero-shot settings strekt zich uit tot post-training. Agenten die onder h-high zijn gepost-trained, presteren significant beter dan die onder h-low, zelfs wanneer de laatste een groter model of een geavanceerder algoritme (GiGPO) gebruikt.
Algoritme Vergelijking: GiGPO presteert consistent beter dan GRPO over alle configuraties, wat wordt toegeschreven aan de fijnere credit assignment in lang-horizon taken.

Post-Hoc vs. Training-Time Toepassing

Significant Gat: Het toepassen van een harness pas na de post-training (post-hoc) herstelt weinig van het voordeel vergeleken met trainen met de harness in de handeling.
Kwantitatieve Impact: De training-time toepassing van h-mid voor Qwen2.5-7B-Instruct met GRPO presteerde 20,7 procentpunt beter dan de post-hoc toepassing. Dit geeft aan dat agenten moeten adapteren aan de harness structuur tijdens het leerproces.

OOD Robuustheid

Tool Omgeving Verschuiving:
- Agenten gepost-trained onder h-low lijden onder drastische prestatiedalingen onder sterke tool-omgeving verschuivingen (v2.0). Bijvoorbeeld: Qwen2.5-7B-Instruct met GRPO daalde van 55,6% (in-distribution) naar 2,7% onder v2.0.
- In contrast hiermee behielden agenten gepost-trained onder h-high een hoge validiteit in tool calls (95,7% valide formaat onder v2.0) en toonden zij robuustheid, hoewel er een prestatiedaling optrad door inadmissibele acties (acties die wel een valide formaat hadden maar incorrect waren voor de staat).
- h-low en h-mid agenten genereerden frequent "Invalid tool format" fouten onder v2.0, wat wijst op een falen om te generaliseren naar nieuwe schema's.
Taak Verschuiving:
- De informatieve waarde van de harness versterkt de inter-taak transfer. Agenten gepost-trained onder h-high generaliseerden aanzienlijk beter naar onbekende taakcategorieën (bijv. van t-med naar t-hard) vergeleken met die onder h-low.
- Zo steeg onder GiGPO de prestatie op de Cool taak (OOD) van 0,0% met h-low naar 51,4% met h-high.

Betekenis en Claims

Het artikel claimt dat harness-ontwerp en post-training niet als scheidbare ontwerpkeuzes kunnen worden beschouwd. De auteurs stellen dat:

Harness-bewuste post-training een vereiste is voor robuuste prestaties in tool-geïntegreerde LLM-agenten, in plaats van een aanvullende optimalisatie.
De kosten van het ontwerpen van een informatieve harness (bijv. h-high) onmisbaar zijn voor het bereiken van OOD robuustheid, met name tegen tool-omgeving verschuivingen. Het vertrouwen op low-effort harnesses tijdens de training leidt tot breekbare agenten die falen wanneer de implementatiecondities veranderen.
De harness gespecificeerd moet worden vóór de post-training om de agent de specifieke transitiedynamiek en contextstructuur te laten leren die hij zal tegenkomen.

De studie concludeert dat hoewel bestaande post-training algoritmen (zoals GRPO en GiGPO) effectief zijn, hun succes in eerdere benchmarks (zoals de standaard ALFWorld) mogelijk werd vertekend door het gebruik van zeer informatieve, vaste harnesses die niet expliciet als ontwerpvariabelen waren meegenomen. Door de harness expliciet te modelleren, benadrukt het artikel dat toekomstige robuuste agentontwikkeling een gezamenlijke overweging vereist van zowel de scaffolding als het leeralgoritme.