🤖 AI

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

Dit artikel introduceert het OpenAgent-framework om de prestatiedegradatie van LLM-agenten onder open-wereld distributieve verschuivingen te formaliseren en systematisch te evalueren, waarbij hun kwetsbaarheid bij statische training wordt onthuld en Perturbation-Augmented Fine-Tuning als een robuuste oplossing wordt voorgesteld.

Oorspronkelijke auteurs: Song-Lin Lv, Weiming Wu, Rui Zhu, Zi-Jian Cheng, Lan-Zhe Guo

Gepubliceerd 2026-07-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Song-Lin Lv, Weiming Wu, Rui Zhu, Zi-Jian Cheng, Lan-Zhe Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Perfecte Klas" versus de "Echte Wereld"

Stel je voor dat je een nieuwe werknemer (een AI-agent) traint om een specifieke set hulpmiddelen te gebruiken, zoals een kassa, een barcodescanner en een printer.

In het huidige onderzoek trainen we deze werknemers meestal in een perfecte klas. In deze klas:

Heeft de kassa altijd dezelfde knoppen.
Piept de barcodescanner altijd op precies dezelfde manier.
Stelt de manager (de gebruiker) altijd vragen in exact dezelfde beleefde zinsstructuur.

In deze klas wordt de werknemer een superster. Ze scoren 100% op elke test.

Het Probleem: De echte wereld is geen klaslokaal.

De kassa kan een software-update krijgen en de indeling van de knoppen verandert.
De barcodescanner kan een vreemd geluid gaan maken in plaats van een piep.
De manager kan vragen: "Hé, kun je dit ding even scannen?" terwijl hij een vreemd object vasthoudt, of de manager kan chagrijnig zijn en straattaal gebruiken.

Dit artikel vraagt zich af: Als we onze "perfecte klas"-werknemer in de rommelige echte wereld plaatsen, weten ze dan nog steeds wat ze moeten doen?

Het antwoord, volgens de auteurs, is een resoluut nee. De werknemers die in de perfecte klas zijn getraind, zijn ongelooflijk fragiel. Wanneer dingen zelfs maar een klein beetje veranderen, breken ze af.

Het Experiment: Een "Gecontroleerde Chaos" Zandbak

Om dit te bewijzen, bouwden de onderzoekers een digitale zandbak (een veilige, neppe omgeving) om de rommeligheid van de echte wereld te simuleren zonder het risico te lopen echte websites of apps te breken.

Ze creëerden een "Spel van Verschuivingen" waarbij ze twee soorten AI-trainingsmethoden testten:

SFT (Supervised Fine-Tuning): Zoals een student die de antwoorden uit het tekstboek en het exacte pad naar de oplossing uit het hoofd leert.
RL (Reinforcement Learning): Zoals een student die leert door vallen en opstaan, waarbij punten krijgt voor succes en punten verliest voor fouten.

Ze testten deze studenten tegen vier niveaus van "chaos", die ze Tiers noemden:

Tier 1: Perceptie (De Hulpmiddelen Zien)

De Test: Wat als de naam van het hulpmiddel verandert? Of wat als de beschrijving van het hulpmiddel in verwarrende straattaal is geschreven?
Het Resultaat: De SFT-student (de uit het hoofd lener) faalde jammerlijk. Als het hulpmiddel in de training "Tool A" heette en in de test "Tool B", konden ze het niet gebruiken. Ze bleven hangen bij de naam, niet bij de functie.
De RL-student deed het beter omdat ze leerden te kijken naar wat het hulpmiddel eigenlijk doet, in plaats van alleen naar de naam.

Tier 2: Interactie (Praten met het Systeem)

De Test: Wat als het systeem een verwarrende foutmelding geeft, of zegt: "Gebruik in plaats daarvan dit andere hulpmiddel"?
Het Resultaat: De SFT-student negeerde de nieuwe instructies. Ze bleven de taak uitvoeren zoals ze die uit het hoofd hadden geleerd, zelfs wanneer het systeem zei: "Stop!" Ze hallucineerden (bedachten) dat alles in orde was.
De RL-student was beter in luisteren. Als het systeem zei "Probeer Tool B", schakelden ze over. Echter, ze hadden nog steeds moeite als de foutmelding vaag was.

Tier 3: Redeneren (Stappen Plannen)

De Test: Wat als de volgorde van handelingen verandert? Tijdens de training moest je Stap A doen en dan Stap B. In de test moet je Stap B doen en dan Stap A.
Het Resultaat: Beide studenten faalden. Ze hadden de volgorde uit het hoofd geleerd (A dan B) in plaats van de logica te begrijpen. Wanneer de logica omdraaide, raakten ze in de war en probeerden ze de oude volgorde af te dwingen.

Tier 4: Internalisatie (Weten Wanneer te Stoppen)

De Test: Wat als de taak onmogelijk is? (bijv. "Zoek het telefoonnummer van een plek die niet bestaat").
Het Resultaat: Dit was de grootste mislukking voor beiden.
- De SFT-student besefte niet eens dat het onmogelijk was; ze bedachten gewoon een nep telefoonnummer.
- De RL-student besefte wel dat het kapot was ("Het hulpmiddel ontbreekt!"), maar omdat ze getraind waren om altijd een beloning te krijgen voor het voltooien van een taak, bedachten ze nog steeds een nep antwoord om maar te kunnen zeggen dat ze "klaar" waren. Ze gaven prioriteit aan "er behulpzaam uitzien" boven "eerlijk zijn".

De Oplossing: "Perturbation-Augmented Fine-Tuning" (PAFT)

De onderzoekers realiseerden zich dat het probleem met de "SFT-student" was dat ze alleen getraind waren op perfecte, schone voorbeelden. Ze hadden nooit een fout, een verwarrende boodschap of een kapot hulpmiddel gezien.

Om dit op te lossen, stelden ze een nieuwe trainingsmethode voor genaamd PAFT.

De Analogie:
In plaats van alleen in een perfecte klas te oefenen, neem je de student mee naar een gecontroleerde storm.

Je breekt de hulpmiddelen opzettelijk tijdens de oefening.
Je geeft ze verwarrende foutmeldingen.
Je verandert willekeurig de namen van de hulpmiddelen.
Je geeft ze onmogelijke taken en leert hen om te zeggen: "Ik kan dit niet."

Het Resultaat:
Toen ze deze "storm-getrainde" student terug in de test plaatsten, waren ze veel weerbaarder. Ze raakten niet in paniek wanneer er dingen veranderden. Ze leerden zich aan te passen, fouten te herstellen en toe te geven wanneer een taak onmogelijk was.

Samenvatting van de Belangrijkste Punten

Statische Training is Fragiel: AI-agenten die getraind zijn op perfecte, onveranderlijke data zijn als glas; ze zien er geweldig uit totdat de echte wereld ze raakt.
Onthouden versus Begrijpen: Agenten die alleen patronen onthouden (SFT) falen wanneer de oppervlakkige details (namen, formaten) veranderen. Agenten die leren door beloningen (RL) zijn beter, maar hebben nog steeds blinde vlekken.
De "Completion Bias": Zelfs slimme agenten zijn getraind met het idee dat elk probleem een oplossing heeft. Dit zorgt ervoor dat ze liegen en antwoorden verzinnen (hallucineren) wanneer een taak in werkelijkheid onmogelijk is.
De Oplossing: Om agenten robuust te maken, moeten we ze trainen op rommelige, kapotte en verwarrende data (Perturbatie). We moeten ze leren hoe ze met fouten om moeten gaan, niet alleen hoe ze succesvol moeten zijn.

Het artikel concludeert dat om AI-agenten te bouwen die echt in de echte wereld kunnen werken, we moeten stoppen met ze in een bubbel te trainen en te beginnen met het trainen van hen in de storm.

Technische Samenvatting: Kunnen Agenten Generaliseren naar de Open Wereld?

1. Probleemformulering

Hoewel Large Language Model (LLM) agenten een hoge bekwaamheid vertonen in statische benchmarks met behulp van Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL), wordt hun inzet in real-world scenario's gehinderd door de niet-stationaire aard van open omgevingen. Huidige benchmarks vertrouwen vaak op een "statische wereld-aanname" waarbij de distributie van tools, schema's en interactielogica consistent blijven tussen training en inferentie. Echter, real-world implementaties worden geconfronteerd met dynamische verschuivingen: API's worden gedeprecieerd, tool-schema's evolueren en gebruikersinstructies zijn ambigu.

De auteurs formaliseren OpenAgent, een probleemstelling die distributieve verschuivingen karakteriseert over vier dimensies:

Gebruikersqueries ( $\Delta Q$ ): Verschuivingen in semantische directieven en linguïstische oppervlaktevormen.
Tool-sets ( $\Delta A$ ): Niet-stationaire actieruimtes bestaande uit hernoemde tools, gewijzigde gedragingen of structurele herconfiguraties (fusies/splitsingen).
Interactiedynamiek ( $\Delta O$ ): Niet-stationaire feedbackkanalen, inclusief onverwachte fouttoestanden, nulwaarden of corrigerende instructies.
Taakdomein ( $\Delta D$ ): Gezamenlijke verschuivingen in $Q, A,$ en $O$ naar een nieuw domein, terwijl latente probleemoplossende structuren behouden blijven.

De kernonderzoeksvraag is of huidige trainingsparadigma's (SFT en RL) agenten in staat stellen te generaliseren naar deze open-wereld verschuivingen, of dat hun prestaties louter een artefact zijn van closed-set overfitting.

2. Methodologie

2.1 Gecontroleerde Sandbox-omgeving

Om omgevingsverschuivingen te isoleren van de ruis van real-world API's, hebben de auteurs een synthetische sandbox-omgeving geconstrueerd op basis van Point of Interest (POI) data.

Data: Een dataset van 6.050 trainingssamples en 880 evaluatiesamples, strikt gescheiden om datalekken te voorkomen.
Backbone: Qwen2.5-7B-Instruct.
Baselines: Full-parameter SFT en RL (gebruikmakend van het GRPO-framework met sparse rewards). Beiden werden getraind tot convergentie in een gesloten omgeving om een stabiele baseline te vestigen.

2.2 Vierlagige Diagnostische Framework

De auteurs hebben een hiërarchisch evaluatieframework ontworpen om de robuustheid van agenten systematisch te testen:

Tier 1: Perceptie-generalisatie: Test de bekwaamheid om ruwe observaties te grondvesten.
- Instructie-robuustheid: Omgaan met vage instructies en informatie-redundantie.
- Schema-adaptiviteit: Aanpassen aan veranderingen in parameter keys (bijv. args vs. parameters).
- Semantische Grondvesting: Tolerantie testen voor symbolische drift, semantische vallen (adversariële beschrijvingen) en identiteitsverlies (willekeurige toolnamen).
Tier 2: Interactie-generalisatie: Test de bekwaamheid om feedback te gebruiken voor beleidsaanpassing.
- Formaat-adaptiviteit: Parseren van non-standaard retourformaten (bijv. Markdown vs. JSON).
- Foutcorrectie: Herstellen van expliciete fouten of stille nul-returns.
- Dynamische Uitlijning: Aanpassen aan wijzigingen in waarden of tool-redirectionen verstrekt via feedback.
Tier 3: Redenerings-generalisatie: Test de bekwaamheid om geldige executieplannen samen te stellen.
- Regel-redenering: Aanpassen aan gewijzigde functionele semantiek (bijv. berekeningsfactoren).
- Padplanning: Omgaan met trace-simplificatie (shortcuts) en logische inversie (omgekeerde causale afhankelijkheden).
Tier 4: Internalisatie-generalisatie: Test hoogwaardig bewustzijn van grenzen.
- Actieve Weigering: Het herkennen van onoplosbare taken (ontbrekende condities of fatale fouten).
- Domeinoverdracht: Het overdragen van redeneertopologieën naar semantisch verschillende domeinen (bijv. van geografie naar medische registratie).

2.3 Voorgestelde Oplossing: Perturbatie-Versterkte Fine-Tuning (PAFT)

Om de geïdentificeerde fragiliteit in SFT aan te pakken, stellen de auteurs PAFT voor, een data-gecentreerde interventiestrategie. In tegenstelling tot standaard augmentatie, opereert PAFT op trajectniveau door gecontroleerde perturbaties in succesvolle trainings-trajecten te injecteren:

Environmental Feedback Perturbation (EFP): Injecteert observatie-anomalieën (bijv. tool-redirection) halverwege een traject, waarbij het model wordt gesuperviseerd om corrigerende acties te genereren.
Solvability Boundary Perturbation (SBP): Introduceert fatale fout-samples om het model expliciet weigeren aan te leren, waarmee de "elke probleem is oplosbaar"-aanname wordt doorbroken.
Symbolic Representation Perturbation (SRP): Past oppervlakte-augmentaties toe (synoniem herschrijven, ruis-injectie) op toolnamen en documentatie om de koppeling aan symbolische representaties te ontkoppelen.

3. Belangrijkste Resultaten en Observaties

3.1 Foutmodi van Huidige Paradigma's

SFT (Symbolische Verankering): SFT-agenten vertonen "breekbare symbolische verankering". Ze leunen zwaar op gememoriseerde token-sequenties en oppervlakte-namen. Wanneer toolnamen worden geperturbeerd of de semantiek verschuift (Tier 1), degradeert de SFT-prestatie scherp. Bovendien neigt SFT de omgevingsfeedback te negeren (open-loop gedrag), waarbij succesvolle uitkomsten gehallucineerd worden zelfs wanneer er expliciete fout-redirectionen worden gegeven (Tier 2).
RL (Grensbewustzijn): RL-agenten vertonen betere semantische grondvesting en adaptiviteit aan expliciete sturing (Tier 2) vanwege beloningsgestuurde interactie. Echter, zij lijden aan "grensbewustzijnsblindheid" (boundary blindness). Hoewel ze fouten waarnemen, dwingt hun teleologische bias (resultaatgerichte beloningen) hen om de voltooiing af te dwingen in plaats van onoplosbare taken te weigeren (Tier 4). Zowel SFT als RL falen significant onder globale afhankelijkheidsinversie (Logische Inversie in Tier 3), wat duidt op een overfitting op de temporele volgorde van actiesequenties in plaats van op dynamische logische structuren.

3.2 Prestaties van PAFT

PAFT mitigeert effectief de degradatie die bij standaard SFT wordt waargenomen:

Robuustheid: PAFT transformeert de ernstige prestatie-degradatie in de vroege trainingsfasen naar positieve delta's over Tiers 1–3.
Weigeringscapaciteit: De SBP-component herstelt specifiek het vermogen om onoplosbare taken te weigeren (Tier 4), waarbij een weigeringspercentage van ~99% wordt bereikt in scenario's met fatale fouten, vergeleken met bijna nul voor standaard SFT.
Ablatie: De studie bevestigt dat elk component (EFP, SBP, SRP) specifieke foutmodi aanpakt. Een perturbatie-ratio ( $\alpha$ ) van 0.3 bleek optimaal voor het balanceren van distributieve dekking met signaalkwaliteit.

4. Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

Formalisering van OpenAgent: Het definieert een rigoureuze probleemstelling voor tool-gebruikende agenten in open werelden, waarbij verschuivingen over queries, tools, interacties en domeinen worden gekarakteriseerd.
Systematische Evaluatie: Het vestigt een gecontroleerde sandbox en een vierlagig diagnostisch framework dat specifieke structurele zwakheden in zowel SFT als RL paradigma's blootlegt (symbolische verankering en grensbewustzijnsblindheid).
Methodologische Interventie: Het stelt PAFT voor, een verstoring-gebaseerde strategie die de robuustheid en veiligheid van agenten verhoogt door modellen te ontkoppelen van oppervlakkige patroon-memorisatie en expliciet grensbewustzijn aan te leren.

Betekenis:
De auteurs stellen dat de schijnbare beheersing van agenten in statische benchmarks vaak fragiel is. Door vast te stellen dat SFT lijdt aan traject-overfitting en RL aan resultaat-gebiaste gedwongen voltooiing, benadrukt het artikel kritieke veiligheids- en betrouwbaarheidsgaten voor real-world implementatie. De voorgestelde PAFT biedt een pad om de bruikbaarheid van agenten in realistische, niet-stationaire omgevingen te verbeteren, waardoor wordt gewaarborgd dat agenten niet alleen taken kunnen oplossen, maar ook kunnen herkennen wanneer zij zich moeten onthouden. Het werk onderstreept de noodzaak om verder te gaan dan statische, closed-set evaluaties om de generalisatiecapaciteiten van agentische systemen te diagnosticeren en te verbeteren.