Can RL Improve Generalization of LLM Agents? An Empirical Study

Deze empirische studie toont aan dat hoewel Reinforcement Fine-Tuning (RFT) LLM-agenten goed laat generaliseren binnen een omgeving, de overdracht naar onbekende omgevingen beperkt blijft door semantische en interface-verschuivingen, terwijl sequentiële training en mix-training veelbelovende oplossingen bieden voor robuustere generalisatie.

De kern

Titel: Kan een AI-agent leren van zijn fouten om overal te kunnen werken? Een simpele uitleg.

Stel je voor dat je een slimme robot hebt die je helpt met boodschappen doen op internet. Je traint deze robot door hem te laten oefenen in één specifieke supermarkt (laten we die "WebShop" noemen). De robot leert snel: "Als ik op dit knopje klik, krijg ik een korting." Hij wordt een meester in die ene supermarkt.

Maar wat gebeurt er als je diezelfde robot nu in een heel ander gebouw zet? Bijvoorbeeld in een bibliotheek, een videospelletje of een huis waar hij de lampen moet repareren? Kan hij zijn vaardigheden daar ook gebruiken, of is hij nu een "één-traps-robot" die alleen in die ene supermarkt werkt?

Dit is precies wat onderzoekers van de Fudan NLP Lab hebben onderzocht in hun nieuwe paper. Ze kijken of Versterkende Lering (Reinforcement Learning) – oftewel "leren door te proberen en beloningen te krijgen" – een AI-agent echt slimmer en flexibeler maakt.

Hier is wat ze hebben ontdekt, vertaald naar alledaagse analogieën:

1. De drie vragen die ze stelden

De onderzoekers keken naar drie situaties, alsof ze een sporter trainen:

• Vraag 1: Kan hij moeilijker levels halen? (In dezelfde supermarkt, maar nu met lastigere producten).
  • Resultaat: Ja, zeker! Als de robot eerst oefent op simpele boodschappen en daarna op moeilijke, wordt hij een echte expert. Hij leert de regels van de supermarkt zo goed dat hij zelfs de moeilijkste taken aankan. Het is alsof je eerst traint met een bal op een vlakke weg, en daarna op een heuvel; als je de heuvel kunt beklimmen, is de vlakke weg een fluitje van een cent.
• Vraag 2: Kan hij naar een nieuwe stad verhuizen? (Naar een heel ander type omgeving).
  • Resultaat: Niet altijd. Dit is het lastige deel. Als de robot getraind is in een videospelletje (waar je knoppen moet indrukken) en je zet hem in een bibliotheek (waar je moet zoeken in boeken), faalt hij vaak.
  • Waarom? Omdat de "taal" en de regels te verschillend zijn. Het is alsof je iemand traint om een auto te besturen en hem dan plotseling vraagt om een vliegtuig te besturen. De basisprincipes zijn anders. Soms helpt het wel (zoals van zoeken in Google naar zoeken in een webshop), maar vaak is de robot te afhankelijk van de specifieke regels van zijn oude omgeving.
• Vraag 3: Wat als we hem door verschillende werelden laten reizen? (Eerst supermarkt, dan bibliotheek, dan videospel).
  • Resultaat: Dit werkt verrassend goed! Als je de robot stap voor stap door verschillende werelden laat reizen, vergeet hij zijn oude vaardigheden niet. Hij bouwt een "algemene intelligentie" op. Het is alsof je een reiziger bent die eerst in Parijs, dan in Tokio en dan in New York heeft gewoond. Hij leert niet alleen de regels van die steden, maar ook hoe je je aanpast aan nieuwe situaties zonder alles te vergeten.

2. De valkuilen: Waar gaat het mis?

De onderzoekers keken ook naar de fouten die de robots maakten. Ze ontdekten twee belangrijke "slechte gewoonten":

• De "Ik weet het zeker"-ziekte (Confirmation Bias): De robot wordt te zelfverzekerd. Hij denkt: "Ik heb het gevonden!" en stopt met zoeken, zelfs als hij nog niet zeker is. Hij luistert niet meer naar de omgeving.
• Het "Gokken"-probleem: Soms raakt de robot in paniek en gokt hij een antwoord in plaats van de juiste tools te gebruiken. Dit gebeurt vooral als hij in een nieuwe omgeving terechtkomt waar hij de regels niet kent.

3. De grote les voor de toekomst

De belangrijkste boodschap van dit onderzoek is: Leren door te oefenen (RL) is geweldig, maar je moet het slim doen.

• Als je een AI-agent wilt maken die echt nuttig is in de echte wereld (waar situaties altijd veranderen), mag je hem niet alleen trainen op één soort taak.
• De beste strategie is curriculum learning: laat de agent eerst simpele dingen doen, dan moeilijke, en laat hem door verschillende soorten werelden reizen. Zo wordt hij niet alleen een specialist in één ding, maar een veelzijdige generalist die zich kan aanpassen aan elke nieuwe situatie.

Kortom:
Stel je een student voor. Als je die student alleen maar laat studeren voor één specifiek tentamen, slaagt hij daar perfect voor, maar faalt hij als hij een ander vak moet doen. Maar als je hem laat studeren voor verschillende vakken, van makkelijk tot moeilijk, en hem laat zien hoe je problemen oplost in verschillende situaties, dan wordt hij een echte denker die overal mee klaar kan. Dat is precies wat deze onderzoekers hebben bewezen voor AI-agenten.

Technische samenvatting

Titel: Kan RL de Generalisatie van LLM-Agenten Verbeteren? Een Empirische Studie

Auteurs: Zhiheng Xi et al. (Fudan University, Meituan, Shanghai AI Laboratory)
Datum: 13 maart 2026

---

1. Het Probleem

Reinforcement Fine-Tuning (RFT) heeft veelbelovende resultaten laten zien voor het trainen van Large Language Model (LLM)-agenten in complexe interactieve taken (zoals webnavigatie en software-engineering). Echter, de meeste bestaande evaluaties zijn beperkt tot in-domein-scenario's, waarbij training en testen plaatsvinden in exact dezelfde omgeving of op sterk overlappende taken.

In de praktijk moeten agenten vaak opereren in ongezien omgevingen met verschillen in:

• Achtergrondkennis.
• Observatieruimtes (wat de agent waarneemt).
• Actieruimtes (welke acties mogelijk zijn).

De kernvraag van dit onderzoek is: Generaliseren de verbeteringen door RFT zich ook buiten de trainingsverdeling? Bestaande studies missen een systematisch inzicht in hoe agenten presteren bij verschuivingen in taakmoeilijkheid, tussen verschillende omgevingen en bij sequentiële training.

2. Methodologie

De auteurs voeren een systematische empirische studie uit langs drie assen om het generalisatieprofiel van RFT te karakteriseren.

Experimentele Opstelling:

• Modellen: Qwen2.5-3B-Instruct en Qwen2.5-7B-Instruct.
• Omgevingen: Vijf diverse agent-omgevingen uit AgentGym:
  1. WebShop (Webnavigatie, dichte beloningen).
  2. SearchQA (Zoekopdrachten, strikte validatie).
  3. TextCraft (Tekstgebaseerd spel, Minecraft-stijl).
  4. AlfWorld (Huishoudelijke taken, strikte validatie).
  5. BabyAI (Embodied agent, gedetailleerde feedback per stap).
• Algoritme: Reinforcement Fine-Tuning met GRPO (Group Relative Policy Optimization), een efficiëntere variant van PPO die geen critic-netwerk vereist.
• Training: Agenten worden getraind op trajecten met feedback van de omgeving (ReAct-paradigma).

De Drie Onderzoeksassen:

1. Intra-omgeving Generalisatie: Generalisatie binnen dezelfde omgeving maar over verschillende taakmoeilijkheden (gemakkelijk vs. moeilijk).
2. Inter-omgeving Generalisatie: Generalisatie naar volledig ongezien omgevingen (zero-shot transfer).
3. Sequentiële Multi-omgeving Training: Analyse van overdracht en "vergeten" (catastrophic forgetting) wanneer agenten sequentieel op meerdere omgevingen worden getraind, vergeleken met gezamenlijke training (mixing).

3. Belangrijkste Bijdragen en Resultaten

A. Generalisatie binnen een Omgeving (Intra-Environment)

• Sterke Transfer: RFT-getrainde agenten generaliseren uitstekend binnen dezelfde omgeving, zelfs van gemakkelijke naar moeilijke taken.
• Curriculum Learning: Een "easy-to-hard" curriculum (eerst trainen op gemakkelijke taken, dan op moeilijke) levert de beste resultaten op. Dit verbetert de prestaties aanzienlijk ten opzichte van training op één moeilijkheidsgraad of een willekeurige mix.
  • Voorbeeld: Training op gemakkelijke WebShop-taken verbeterde de prestaties op moeilijke testsets met 60+ punten.
• Efficiëntie: RFT zorgt voor efficiëntere exploratie. Agenten gebruiken minder interactie-omwentelingen en genereren minder tokens om dezelfde taken te voltooien.

B. Generalisatie tussen Omgevingen (Inter-Environment)

• Gemengde Resultaten: Hoewel RFT de agentencapaciteiten verbetert, is de generalisatie naar ongezien omgevingen inconsistent en afhankelijk van de specifieke omgeving.
• Positieve Transfer: Training op zoekgerelateerde omgevingen (zoals SearchQA) helpt bij WebShop, omdat beide zoeken en informatie-extractie vereisen.
• Negatieve Interferentie: Training op omgevingen met gedetailleerde feedback per stap (zoals BabyAI) kan leiden tot afhankelijkheid van die feedback. Wanneer deze agenten naar omgevingen gaan zonder directe validatie (zoals WebShop), daalt hun prestatie drastisch omdat ze hun redeneervermogen verliezen en niet meer zelfstandig kunnen valideren.
• Oorzaak: De generalisatie wordt sterk beïnvloed door verschuivingen in semantische priors, observatieruimtes en actieruimtes.

C. Sequentiële en Gezamenlijke Training

• Sequentiële Training (Anti-Vergeten): Het sequentieel trainen op meerdere omgevingen (bijv. eerst A, dan B) resulteert in sterke prestaties op de nieuwe omgeving zonder significante prestatieverlies op de eerdere omgevingen. Dit suggereert dat RFT goed bestand is tegen catastrofisch vergeten.
• Volgorde is Cruciaal: De volgorde van training beïnvloedt de generalisatie. Een "easy-to-hard" volgorde over omgevingen (bijv. eerst BabyAI, dan SearchQA) werkt beter dan het omgekeerde.
• Vergelijking met Mix-training: Sequentiële training presteert vergelijkbaar met het trainen op een gemengde dataset van alle omgevingen, maar biedt meer controle over het leerproces.

D. Foutanalyse (Failure Modes)

De auteurs identificeren acht veelvoorkomende fouttypen. Belangrijke bevindingen:

• Bevestigingsbias (Confirmation Bias): Na training neigen agenten om te snel te vertrouwen op hun eerste conclusie zonder verdere verificatie.
• Gissen of Fabricatie: Agenten gebruiken tools onvoldoende en vertrouwen te veel op interne kennis, wat leidt tot hallucinaties, vooral in ongezien omgevingen.
• Inconsistentie: Bij overgang naar nieuwe omgevingen neemt de "State or Memory Inconsistency" toe; agenten vergeten eerder verkregen informatie of herhalen stappen.

4. Significantie en Conclusie

Dit paper biedt een van de eerste systematische evaluaties van de generalisatie-eigenschappen van RFT voor LLM-agenten.

• Praktische Implicaties: Voor de implementatie van agenten in de echte wereld is het cruciaal om rekening te houden met de omgevingsspecifieke kenmerken. RFT is zeer effectief voor het verbeteren van vaardigheden binnen een domein en via curriculum learning, maar vereist zorgvuldige selectie van trainingsomgevingen om negatieve transfer te voorkomen.
• Trainingstrategie: De studie bevestigt dat sequentiële training een robuuste strategie is om multi-domein vaardigheden op te bouwen zonder vergeten, mits de volgorde van moeilijkheid en omgevingstype correct wordt gekozen.
• Toekomst: De resultaten onderstrepen de noodzaak van training in diverse, heterogene omgevingen om echt robuuste en generaliseerbare agenten te creëren die bestand zijn tegen distribution shifts.

Kortom, RL (via RFT) verbetert de agentic vaardigheden aanzienlijk, maar de mate van generalisatie is niet universeel; deze hangt sterk af van de overeenkomst in observatie- en actiestructuren tussen trainings- en testomgevingen.