Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

Deze survey biedt een overzicht van de adaptatie van agenten op basis van grote taalmodellen na het vooraf trainen, waarbij een vierparadigmatisch raamwerk wordt gebruikt om methoden voor post-training, adaptief geheugen en vaardigheden te structureren, vergelijken en evalueren.

De kern

Stel je voor dat een AI-agent (zoals een slimme chatbot) een chef-kok is in een gigantisch restaurant.

Vroeger was deze chef-kok alleen maar goed in het koken van de recepten die hij tijdens zijn opleiding (de "pre-training") had geleerd. Als je hem vroeg om een heel nieuw gerecht te maken, of als hij een speciale pan nodig had die hij nog nooit had gebruikt, kwam hij in de problemen. Hij kon niet improviseren en deed vaak raar.

Dit artikel, geschreven door een groot team onderzoekers, zegt: "We moeten deze chef niet alleen laten staan. We moeten hem aanpassen (adapteren) zodat hij beter wordt."

Maar hoe doen we dat? De auteurs zeggen dat er vier verschillende manieren zijn om deze chef te verbeteren. Ze noemen dit het A1-A2-T1-T2-raamwerk. Laten we het uitleggen met een simpele metafoor:

De Basis: De Chef en de Keukenhulpen

• De Chef (De Agent): Dit is de grote, slimme AI (zoals ChatGPT of DeepSeek). Hij denkt na en geeft commando's.
• De Hulpen (De Tools): Dit zijn de messen, de oven, de zoekmachine op internet, of een andere specialist die de chef kan aanroepen.

De vraag is: Wat moeten we aanpassen om de chef slimmer te maken? Moeten we de chef zelf herscholen, of moeten we zijn hulpen beter maken?

---

De Vier Manieren van Aanpassen

1. A1: De Chef leert van de "Testresultaten" van de Hulpen

(Agent Adaptation met Tool-uitvoering als signaal)

Stel je voor dat de chef een gerecht probeert te koken met een nieuwe, ingewikkelde machine.

• Hoe het werkt: De chef probeert iets, de machine doet zijn werk, en we kijken direct naar het resultaat. Is het gerecht geslaagd? Ja/Nee.
• De les: Als de machine faalt, zegt de chef: "Oeps, ik heb de knop verkeerd gedrukt." Hij leert direct van de fout in de machine.
• Voorbeeld: Een AI die code schrijft. Als de code compileert en werkt, is het goed. Als hij crasht, leert de AI direct wat hij verkeerd deed.
• Kortom: De chef wordt een meester in het gebruik van specifieke machines door direct te kijken of het werkt of niet.

2. A2: De Chef leert van het "Eindresultaat"

(Agent Adaptation met Agent-uitvoer als signaal)

Hier kijken we niet naar de machine, maar naar het eindgerecht dat op tafel komt.

• Hoe het werkt: De chef gebruikt misschien wel 10 verschillende machines, maar we geven pas feedback als het hele diner klaar is. "Het eten was lekker!" of "Het was te zout."
• De les: De chef moet zelf uitzoeken welke knoppen hij op welke machines moet drukken om uiteindelijk een lekker gerecht te krijgen. Hij leert een strategie.
• Voorbeeld: Een AI die een complex onderzoek doet. Hij zoekt op internet, leest artikelen en schrijft een verslag. We geven pas een punt als het hele verslag goed is, niet per zoekopdracht.
• Kortom: De chef leert hoe hij moet plannen en beslissen om een goed eindresultaat te krijgen, zelfs als hij niet precies weet welke stap fout ging.

3. T1: We kopen betere Hulpen (zonder de chef te veranderen)

(Tool Adaptation, onafhankelijk van de Chef)

Soms is de chef al erg slim, maar zijn zijn messen bot of zijn zijn zoekmachines traag.

• Hoe het werkt: We veranderen de chef niet. We kopen gewoon een beter mes of een snellere oven. Deze nieuwe hulpen zijn al getraind door anderen en werken voor iedereen.
• De les: De chef hoeft niet te leren hoe hij sneller moet denken; hij krijgt gewoon betere instrumenten.
• Voorbeeld: We koppelen de AI aan een super-snelle zoekmachine die al door experts is getraind. De AI gebruikt die machine gewoon, zonder zelf te worden herschreven.
• Kortom: We verbeteren het gereedschap, zodat de chef er beter mee kan werken.

4. T2: We trainen de Hulpen specifiek voor deze Chef

(Tool Adaptation, geleid door de Chef)

Dit is de slimste truc. Stel je voor dat de chef een heel specifieke manier van werken heeft.

• Hoe het werkt: We houden de chef stil (hij verandert niet), maar we trainen zijn assistenten (zoals een zoekmachine of een geheugen) om precies te doen wat deze chef nodig heeft.
• De les: De assistent leert: "Ah, deze chef houdt van korte antwoorden en zoekt altijd eerst op Wikipedia." De assistent past zich aan de chef aan, niet andersom.
• Voorbeeld: Een AI die een zoekmachine aanstuurt. De zoekmachine leert van de AI's antwoorden: "Deze AI vindt dit soort informatie het belangrijkst, dus ik moet die resultaten bovenaan zetten."
• Kortom: We maken de hulpen op maat voor de chef, zodat ze perfect samenwerken zonder dat de chef zelf zwaar moet worden getraind.

---

Waarom is dit belangrijk? (De Vergelijking)

De auteurs zeggen dat er een gevecht is tussen deze methoden:

• A1 en A2 (De Chef aanpassen): Dit is zoals het chef-kok zelf naar een dure kookschool sturen. Het kan heel goed werken, maar het is duur, het kost veel tijd, en als je hem iets nieuws leert, kan hij vergeten hoe hij zijn oude gerechten maakte (vergeten).
• T1 en T2 (De Hulpen aanpassen): Dit is zoals het chef-kok een nieuw, geweldig team van sous-chefs geven. Het is goedkoper, sneller, en als je een sous-chef wilt vervangen, hoef je de hoofdkok niet te ontslaan. De chef blijft stabiel, maar het team wordt steeds beter.

De grote ontdekking:
Voor veel taken (zoals zoeken op internet of geheugen beheren) werkt het trainen van de hulpen (T2) vaak beter en goedkoper dan het proberen om de hele AI (de chef) opnieuw te trainen. De hulpen leren snel en specifiek, terwijl de chef zijn slimme brein behoudt.

Conclusie in Eén Zin

In plaats van te proberen elke AI tot een alleskunner te maken door hem zwaar te herscholen, is de toekomst van slimme AI's een stabiele, slimme chef die werkt met een dynamisch team van gespecialiseerde hulpen die zich continu aanpassen aan wat er nodig is.

Het artikel is eigenlijk een handleiding voor ontwikkelaars: "Kijk eerst of je de hulpen kunt verbeteren voordat je de hele chef gaat herscholen!"

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills" in het Nederlands.

Probleemstelling

Hoewel Large Language Model (LLM) agents steeds geavanceerder worden, blijven ze beperkt door onbetrouwbare tool-gebruik, oppervlakkige langetermijnplanning en gebrekkige generalisatie naar nieuwe omgevingen. Bestaande onderzoeken zijn gefragmenteerd over verschillende gebieden zoals post-training, retrieval, geheugen en vaardigheidssystemen. Er ontbreekt een unificerend kader om te begrijpen hoe een agent, zijn hulpmiddelen (tools) of hun interactie aangepast moeten worden na de vooraftraining (pre-training) om specifieke taken beter uit te voeren. De centrale vraag is: wanneer een systeem tekortschiet, moeten we de agent zelf aanpassen, de tools aanpassen, of beide, en welk signaal drijft deze aanpassing?

Methodologie: Het Vier-Paradigma Kader

De auteurs introduceren een unificerend raamwerk dat agente adaptatie indeelt in vier paradigma's, gebaseerd op twee dimensies:

1. Wat wordt geoptimaliseerd? De Agent (het fundamentele model) of de Tool (externe componenten zoals zoekmachines, geheugen, sub-agenten).
2. Hoe wordt het adaptatiesignaal verkregen? Via verifieerbare uitvoer van tools of via evaluatie van de uiteindelijke output van de agent.

Dit resulteert in de volgende vier paradigma's:

• A1: Tool-Execution Signaled Agent Adaptation

  • Doel: De agent zelf aanpassen.
  • Signaal: Verifieerbare resultaten van tool-uitvoering (bijv. of code compileert, of een zoekopdracht relevante documenten oplevert).
  • Methoden: Supervised Fine-Tuning (SFT) en Reinforcement Learning met Verifiable Rewards (RLVR).
  • Voorbeeld: DeepSeek-R1 (code) of DeepRetrieval, waar de beloning direct gebaseerd is op de succesvolle uitvoering van een tool.

• A2: Agent Output Signaled Agent Adaptation

  • Doel: De agent zelf aanpassen.
  • Signaal: Evaluatie van de uiteindelijke output van de agent (bijv. juistheid van het antwoord, kwaliteit van het plan), ongeacht hoe de tools werden gebruikt.
  • Methoden: SFT en RL op basis van holistische beloningen.
  • Voorbeeld: Search-R1 of ReSearch, waar de agent leert wanneer en hoe te zoeken om het juiste eindantwoord te krijgen.

• T1: Agent-Agnostic Tool Adaptation

  • Doel: Tools aanpassen, terwijl de agent vaststaat (frozen).
  • Signaal: Onafhankelijk van de agent (bijv. standaard retrieval-metrics).
  • Methoden: Pre-training van tools (zoals dense retrievers of gespecialiseerde modellen) die als plug-and-play modules dienen.
  • Voorbeeld: Een standaard zoekmachine of een pre-getraind visueel model dat door elke agent kan worden aangeroepen.

• T2: Agent-Supervised Tool Adaptation

  • Doel: Tools aanpassen om een specifieke, vaste agent beter te dienen.
  • Signaal: Afgeleid van de output van de vaste agent.
  • Methoden: De agent fungeert als supervisor om kleine sub-agenten of tools (zoals zoekmodules, geheugen-curators) te trainen.
  • Voorbeeld: s3 (een zoek-subagent die wordt getraind om een vaste LLM te ondersteunen) of AgentFlow (een planner die wordt getraind om een vaste agent te orchestreren).

Geheugen en Vaardigheden: Het artikel positioneert adaptieve geheugensystemen (episodische buffers, kennisgrafieken) en vaardigheidsbibliotheken (reusable skills) voornamelijk binnen het T2-paradigma, waarbij de vaste agent de supervisie levert voor het bijwerken van deze externe systemen.

Belangrijkste Bijdragen

1. Unificerend Raamwerk: Een 2x2-matrix (A1, A2, T1, T2) die de complexe landschap van agente adaptatie structureert, met duidelijke afwegingen in kosten, flexibiliteit en generalisatie.
2. Systematische Analyse van Geheugen en Vaardigheden: Het toont aan hoe geheugen en vaardigheden fungeren als adaptatiemechanismen, waarbij ze de brug slaan tussen post-training (A1/A2) en tool-ecosystemen (T1/T2).
3. Multidimensionale Evaluatie: Een nieuw evaluatiekader dat benchmarks koppelt aan de vier paradigma's, onderscheid maakt tussen verifieerbare uitvoeringsmetrieken en holistische nutsmetrieken, en gaten in de huidige evaluatiepraktijk identificeert (vooral voor T2).
4. Domeinspecifieke Toepassingen: Een analyse van hoe het dominante adaptatieparadigma verschilt per domein (Deep Research, Software Development, Computer Use, Drug Discovery) afhankelijk van de beschikbaarheid van verifieerbare feedback.
5. Toekomstperspectieven: Identificatie van open uitdagingen zoals co-adaptatie (gelijktijdige optimalisatie van agent en tools), continue adaptatie, veiligheid en efficiëntie.

Resultaten en Vergelijkingen

De survey presenteert empirische inzichten uit de literatuur:

• Data-efficiëntie: T2-methoden kunnen vaak vergelijkbare prestaties bereiken als A2-methoden met aanzienlijk minder trainingsdata. Bijvoorbeeld, s3 (T2) bereikt vergelijkbare nauwkeurigheid als Search-R1 (A2) met ongeveer 70x minder voorbeelden, omdat de T2-subagent alleen de procedurele vaardigheid moet leren, terwijl de kennis in de vaste agent zit.
• Signaaldichtheid: A1-methoden gedijen goed in domeinen met dichte, verifieerbare feedback (zoals code-executie en wiskundige bewijzen), wat leidt tot snellere convergentie. A2-methoden zijn noodzakelijk wanneer alleen holistische, schaarse beloningen beschikbaar zijn.
• Graduatiecyclus: Er is een cyclus waar agenten die zijn getraind via A1/A2 kunnen worden "bevroren" en opnieuw worden ingezet als T1-tools (sub-agenten), wat het tool-ecosysteem verrijkt.
• Kosten en Modulariteit: Agent-adaptatie (A1/A2) is duur en monolithisch (risico op cataclysmisch vergeten). Tool-adaptatie (T1/T2) is goedkoper, modulerer en stelt systemen in staat om componenten te vervangen zonder de kernagent te herschrijven.

Betekenis en Conclusie

Deze survey is een mijlpaal voor het veld van Agentic AI omdat het de discussie verschuift van "hoe maken we een betere agent?" naar "hoe optimaliseren we het ecosysteem van agent en tools?".

De kernconclusie is dat de toekomst van robuuste en schaalbare agente systemen ligt in hybride architecturen: een stabiele, vaste fundamentele agent (de "hersenen") omringd door een modulair ecosysteem van gespecialiseerde, adaptieve tools en geheugens (de "spieren en zintuigen") die via T1- en T2-mechanismen continu evolueren. Dit biedt een balans tussen de parametrische flexibiliteit van het aanpassen van de agent en de systemische flexibiliteit van het aanpassen van de tools, terwijl het de kosten en veiligheidsrisico's van monolithische herschrijvingen minimaliseert.

Het artikel benadrukt ook de urgentie voor nieuwe evaluatiestandaarden die niet alleen eindresultaten meten, maar ook adaptiedynamiek, veiligheid tijdens exploratie en de kosten-efficiëntie van de adaptatie zelf.