💻 computer science

Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

Het paper introduceert COSPLAY, een co-evolutieframework waarin een LLM-beslissingsagent samenwerkt met een vaardigheidsbank-agent om herbruikbare vaardigheden te ontdekken en op te slaan, wat leidt tot aanzienlijk betere prestaties in langdurige interactieve omgevingen zoals games.

Oorspronkelijke auteurs: Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een videospel speelt, zoals Super Mario of een strategisch bordspel als Diplomacy. Als je een nieuwe speler bent, maak je veel fouten. Je loopt tegen muren aan, valt in gaten of maakt slechte deals met andere spelers. Een slimme speler leert van deze fouten: "Ah, als ik hier spring, val ik. Volgende keer spring ik niet."

Dit is precies wat kunstmatige intelligentie (AI) ook doet, maar dan met een groot probleem: Hoe onthoudt een AI zijn lessen voor de lange termijn?

Deze paper introduceert COS-PLAY, een slimme manier om AI-agenten te laten groeien door niet alleen te spelen, maar ook een persoonlijk "vaardigheden-boekje" te schrijven en te verbeteren.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Vergeten Leraar

Stel je een AI voor als een student die een examen moet doen. Normaal gesproken leert een AI door duizenden keren te oefenen. Maar bij complexe spellen met lange spelrondes (zoals Diplomacy, waar je 20 beurten lang moet plannen) is het lastig.

Het probleem: De AI vergeet snel wat ze eerder leerde. Ze heeft geen "boodschappenlijstje" met slimme trucs die ze kan opslaan en later weer gebruiken. Ze probeert elke stap opnieuw uit te vinden, alsof ze elke dag weer de weg naar school moet uitvinden.

2. De Oplossing: COS-PLAY (De Twee-Hoofdige AI)

COS-PLAY lost dit op door twee verschillende "AI-persona's" te laten samenwerken. Je kunt het zien als een Team van een Speler en een Trainer.

De Speler (De Beslissings-Agent)

Dit is de AI die daadwerkelijk het spel speelt.

Wat doet hij? Hij kijkt naar het spelbord en vraagt zich af: "Wat moet ik nu doen?"
De truc: In plaats van alles zelf te bedenken, kijkt hij in zijn Vaardigheden-Boekje (de Skill Bank). Hij zoekt daar een slimme truc op, zoals "Hoe ik een muur omver haal" of "Hoe ik een bondgenoot overtuig".
Het resultaat: Hij speelt slimmer omdat hij al bewezen strategieën gebruikt in plaats van blindelings te klikken.

De Trainer (De Vaardigheden-Agent)

Dit is de AI die niet speelt, maar kijkt naar hoe de speler speelt.

Wat doet hij? Hij analyseert de spelrondes van de speler. Als de speler een reeks goede zetten maakt (bijvoorbeeld: eerst verkennen, dan een basis bouwen, dan aanvallen), pakt de Trainer dit op.
De magie: Hij schrijft deze reeks zetten op in het Vaardigheden-Boekje als een officiële "truc" met een duidelijke titel en instructies.
- Voorbeeld: Hij schrijft op: "Truc 'Basis Bouwen': Als je 3 punten hebt, bouw dan eerst een muur voordat je aanvalt."
De verbetering: Als de speler een fout maakt, corrigeert de Trainer het boekje. Hij zegt: "Die truc werkte niet altijd, laten we hem aanpassen."

3. De Co-Evolutie: Een Dans van Twee

Het mooiste aan COS-PLAY is dat deze twee elkaar voeden.

De Speler wordt beter door het boekje te gebruiken.
Omdat de Speler beter speelt, leert de Trainer betere patronen te herkennen.
De Trainer maakt het boekje nog slimmer.
De Speler gebruikt het nieuwe boekje en wordt nog slimmer.

Het is alsof je een sporter bent die elke dag traint, en een coach die elke avond de video's bekijkt, de beste bewegingen opschrijft in een trainingsplan, en de volgende dag een aangepast plan geeft. Samen worden ze onverslaanbaar.

4. Wat hebben ze ontdekt?

De onderzoekers hebben dit getest op zes verschillende spellen, van puzzels (2048, Tetris) tot complexe sociale spellen (Avalon, Diplomacy).

Resultaat: Zelfs met een relatief klein en goedkoop AI-model (een "8B" model, wat betekent dat het niet de grootste en duurste supercomputer is) haalde COS-PLAY betere resultaten dan de allerbeste, duurste AI's van de wereld (zoals de nieuwste versies van GPT of Gemini).
Waarom? Omdat de AI niet alleen "slimmer" is, maar georganiseerd is. Ze heeft een bibliotheek met bewezen strategieën.
Bijzonder: In sociale spellen waar je moet bluffen en onderhandelen, bleek COS-PLAY heel goed in het onthouden van wie wat beloofde en wanneer ze die belofte moesten nakomen.

Samenvatting in één zin

COS-PLAY is een systeem waarbij een AI-speler en een AI-trainer samenwerken: de speler gebruikt een groeiend boekje met slimme trucs om het spel te winnen, en de trainer schrijft die trucs continu bij, zodat de AI niet alleen leert, maar ook wijzer wordt naarmate ze meer speelt.

Het is de digitale versie van: "Niet alleen doen, maar ook onthouden hoe je het goed deed."

Titel: Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

Auteurs: Xiyang Wu et al. (Universiteit van Maryland, USC, Good Start Labs, etc.)
Framework: COS-PLAY

1. Probleemstelling

Interactieve omgevingen met een lange horizon (zoals complexe games) vormen een cruciale testomgeving voor de vaardigheden van agenten. Deze omgevingen vereisen:

Meerdere stappen redeneren.
Het ketenen van vaardigheden over veel tijdstappen.
Robuuste besluitvorming onder vertraagde beloningen en gedeeltelijke waarneembaarheid.

Hoewel Large Language Models (LLM's) veelbelovend zijn als spelende agenten, worstelen ze vaak met consistente besluitvorming op lange termijn. De belangrijkste beperking is het gebrek aan een mechanisme om gestructureerde vaardigheden te ontdekken, behouden en hergebruiken over verschillende episodes heen. Bestaande methoden vertrouwen vaak op handmatig samengestelde data of langdurig hertraining, wat inefficiënt is en geen echte zelfverbetering toestaat.

De kernvragen die dit paper adresseert zijn:

Moeten de vaardigheidsbank (skill bank) en de beslissingsagent (decision agent) gezamenlijk worden aangeleerd in plaats van apart?
Welke eigenschappen maken een vaardigheidsbank nuttig voor het verbeteren van besluitvorming?

2. Methodologie: COS-PLAY

COS-PLAY is een co-evolutie framework dat twee agenten koppelt in een gesloten lus: een LLM-beslissingsagent en een LLM-gebaseerde vaardigheidsbank-agent.

A. De Beslissingsagent (Decision Agent)

Deze agent interacteert met de omgeving (game) en gebruikt de huidige vaardigheidsbank om acties te plannen.

Werking: Op elk tijdstap $t$ observeert de agent de staat, haalt kandidaat-vaardigheden op uit de bank, kiest een vaardigheid, update zijn intentie ( $z_t$ ) en voert een primitieve actie uit.
Vaardigheidsstructuur: Een vaardigheid is een gestructureerd protocol met: Samenvatting, Voorwaarde (pre-condition), Plan, Succes/Abort-criteria en een Contract (de verwachte staatveranderingen).
Training: De agent wordt getraind om vaardigheden effectief op te halen en uit te voeren, waarbij hij beloningen maximaliseert.

B. De Vaardigheidsbank-Agent (Skill Bank Agent)

Deze agent is verantwoordelijk voor het ongesuperviseerd ontdekken en onderhouden van de vaardigheidsbank op basis van de rollouts (trajecten) van de beslissingsagent.

Pipeline:
1. Boundary Proposal: Identificeert kandidaat-punten in een traject waar een vaardigheid wisselt (gebaseerd op veranderingen in intentie, beloning, of predikaten).
2. Infer Segmentation: Segmentatie van het traject in vaardigheidsblokken en toewijzing van labels (bestaande vaardigheid of nieuwe vaardigheid).
3. Contract Learning: Aggregeert staatveranderingen over meerdere episodes om een betrouwbaar "effectcontract" te leren voor elke vaardigheid.
4. Bank Maintenance: Voert operaties uit zoals refine (verfijnen), materialize (nieuwe vaardigheden toevoegen), merge (samenvoegen van duplicaten), split (opsplitsen van te brede vaardigheden) en retire (verouderde vaardigheden verwijderen).

C. Co-Evolutie en Training

Het systeem gebruikt Group Relative Policy Optimization (GRPO) met LoRA-adapters voor efficiënte fine-tuning.

Beslissingsagent: Twee adapters (één voor acties, één voor vaardigheidsopslag).
Vaardigheidsbank-agent: Drie adapters (segmentatie, contractleren, curator voor bankbeheer).
Cyclus: De beslissingsagent verzamelt data $\rightarrow$ de bank-agent verwerkt deze tot nieuwe/verbeterde vaardigheden $\rightarrow$ de beslissingsagent gebruikt de nieuwe bank voor betere prestaties. Dit creëert een zelfversterkende lus.

3. Belangrijkste Bijdragen

Co-evolutie Framework: Een uniek systeem dat besluitvorming en vaardigheidslering in een gesloten lus koppelt, waarbij de agenten elkaar wederzijds verbeteren zonder menselijke annotatie.
Ongesuperviseerd Ontdekken: Het vermogen om herbruikbare vaardigheden en hun contracts automatisch te extraheren uit ongelabelde rollouts.
Uitgebreide Evaluatie: Evaluatie over zes verschillende game-omgevingen (van puzzels tot complexe sociale deductiespellen).
Efficiëntie: Het framework bereikt sterke prestaties met een klein basismodel (8B parameters) en vereist slechts weinig-shot aanpassing (maximaal 25 iteraties) om nieuwe benchmarks te beheersen.

4. Resultaten

De experimenten werden uitgevoerd op zes omgevingen: 2048, Candy Crush, Tetris, Super Mario Bros (single-player) en Avalon, Diplomacy (multi-player sociale redenering).

Single-Player Games: COS-PLAY (gebaseerd op Qwen3-8B) behaalde een gemiddelde verbetering van 25,1% in beloning ten opzichte van vier state-of-the-art LLM-baselines (waaronder GPT-5.4, Gemini-3.1-PRO, Claude-4.6).
Multi-Player Games:
- In Avalon was COS-PLAY vergelijkbaar met de grootste modellen (Gemini, GPT-OSS-120B), met slechts 1% verschil in winstpercentage.
- In Diplomacy (een spel dat complexe onderhandeling en langetermijnplanning vereist) overtrof COS-PLAY Gemini-3.1-PRO met 8,8% in het aantal bezette bevoorradingscentra.
Ablatie Studies: Resultaten tonen aan dat noch alleen het LLM, noch alleen de vaardigheidsbank voldoende is. De co-evolutie is essentieel; zonder deze synchronisatie presteren varianten slechter omdat de strategie en de vaardigheden niet meer op elkaar zijn afgestemd.
Algemene Redenering: De aanpassing voor games leidde tot een verwaarloosbare daling in algemene redeneerprestaties (Math-500, MMLU-Pro), wat aantoont dat de vaardigheidsbank specifiek is voor de taak zonder het basisvermogen van het model te beschadigen.

5. Betekenis en Toekomstperspectief

COS-PLAY bewijst dat een gestructureerde, herbruikbare vaardigheidsbank, die continu wordt bijgewerkt via interactie, een krachtige inductieve bias biedt voor langetermijnplanning. Het systeem lost het probleem op van "stateless" LLM's die moeite hebben met lange contexten door expliciete, gestructureerde protocollen te gebruiken.

Significantie: Het toont aan dat kleinere modellen (8B) via co-evolutie en vaardigheidsretrieval concurrentieel kunnen zijn met veel grotere modellen (120B+) in complexe, sociale en strategische omgevingen.
Beperkingen: Het huidige systeem vertrouwt op tekstuele samenvattingen van de staat, wat de toepassing in pure visuele omgevingen beperkt.
Toekomst: De auteurs plannen uitbreiding naar multi-modale omgevingen om visuele redenering en interactie-dynamica direct in de vaardigheden te integreren.

Kortom, COS-PLAY biedt een nieuwe paradigma voor autonome agenten: niet door het model zelf te hertrainen, maar door een levende, evoluerende bibliotheek van vaardigheden te onderhouden die de besluitvorming sturen.