Technische Samenvatting: Capabiliteitsdegradatie en -behoud bij Levenslange LLM-Agentadaptatie

Probleemdefinitie: Capabiliteitserosie bij Zelfevoluerende Agenten

Recente kaders hebben Large Language Model (LLM)-agenten in staat gesteld om hun redeneringsworkflows autonoom te verfijnen, herbruikbare vaardigheden op te bouwen, onderliggende modelparameters bij te werken en persistente geheugens te onderhouden. Hoewel deze systemen een toekomst beloven waarin agenten voortdurend hun competentie uitbreiden, identificeert dit artikel een fundamenteel faalmechanisme: capabiliteitserosie onder zelfevolutie.

De auteurs tonen aan dat zelfevolutie vaak niet-monotoon is. Wanneer een agent zich aanpast aan een nieuwe taakverdeling ($Y$), leidt het proces van optimalisatie voor $Y$ er vaak toe dat eerder verworven capabiliteiten op eerdere taakverdelingen ($X$) verslechteren. Dit fenomeen manifesteert zich structureel over drie dimensies:

1. Retrospectieve Capabiliteitsafname: Prestaties op eerder beheerste taken dalen na fijnafstelling of updates voor nieuwe taken.
2. Gedragsbeleiddrift: Workflows worden onnodig complex en opgeblazen, waardoor ruis en uitvoeringsstappen worden geïntroduceerd die niet aanwezig waren in succesvol eerder gedrag.
3. Generaliseringserosie: Adaptatie versmalt de effectieve redeneringsruimte, wat interfereert met eerder verworven vaardigheden of patronen voor geheugentoegang.

Het artikel betoogt dat dit niet slechts een falen van specifieke algoritmen is, maar een structureel gevolg van onbeperkte continue zelfmodificatie. Of het nu gaat om een mutable repository in de vorm van een workflowgrafiek, een vaardighedenbank, modelparameters of een geheugenopslag: het uitsluitend optimaliseren voor de huidige taakverdeling introduceert destructieve interferentie, waarbij de structuren die succesvol gedrag op eerdere taken ondersteunden, worden overschreven of verslechterd.

Methodologie: Capabiliteitsbehoudende Evolutie (CPE)

Om dit aan te pakken, stellen de auteurs Capability-Preserving Evolution (CPE) voor, een algemeen stabilisatieprincipe. CPE wijzigt het standaarddoel van zelfevolutie door een expliciete retentie-regularisator op te nemen.

Theoretisch Kader

De auteurs modelleren zelfevolutie als een sequentieel proces waarbij een agent een capabiliteitsstaat $R_t$ bijwerkt om de verliezen op een nieuwe verdeling $D_t$ te minimaliseren. Naïeve evolutie minimaliseert alleen het huidige verlies $L_t(R)$. CPE lost daarentegen op:
$$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$$
waarbij $\Omega_t$ de afwijking meet van eerdere capabiliteitsondersteunende structuren, en $\lambda$ de afweging tussen stabiliteit en plasticiteit regelt.

Lokale analyse (Propositie 1 en 2) toont aan dat naïeve updates het behouden risico verhogen wanneer de update-richting overlapt met richtingen van hoge kromming (gevoeligheid) voor eerdere taken. CPE onderdrukt dit door updates langs deze gevoelige richtingen te bestraffen, waardoor de agent effectief wordt beperkt tot beweging richting de nieuwe verdeling zonder de "capabiliteitsondersteuning" die door oude taken wordt vereist, te vernietigen.

Dimensiespecifieke Instantiaties

Het artikel implementeert CPE over vier distincte evolutiekanalen, elk met een op maat gemaakte regularisator:

1. Workflow-evolutie:
   • Repository: Uitvoerbare workflowgrafieken/promptprogramma's.
   • Mechanisme: De regularisator $\Omega_{wf}$ ontmoedigt afwijkingen van "anker-gedragskenmerken" die zijn ontleend aan een zaad-workflow. Het voorkomt de ophoping van overmatig complexe validatiestappen en structurele omwegen die de prestaties op eenvoudige taken verslechteren.
2. Vaardigheids-/Tool-evolutie:
   • Repository: Een vaardighedenbank met beperkte capaciteit van procedurale sjablonen.
   • Mechanisme: De regularisator $\Omega_{sk}$ voorkomt dat nuttige vaardigheden worden verwijderd vanwege capaciteitsbeperkingen. Het hanteert capabiliteitsbehoudende consolidatie, waarbij semantisch gerelateerde vaardigheden worden samengevoegd en entries met hoge nuttigheid uit het verleden worden beschermd tegen directe verwijdering wanneer nieuwe vaardigheden worden toegelaten.
3. Model-evolutie:
   • Repository: Trainbare modelparameters (bijv. LoRA-adapters).
   • Mechanisme: De regularisator $\Omega_{md}$ gebruikt een Elastic Weight Consolidation (EWC)-achtige penalty. Het schat de parameterbelangrijkheid (via Fisher-informatie) voor eerdere domeinen en straft beweging langs die richtingen, waardoor adaptatie alleen mogelijk is in richtingen met lage belangrijkheid.
4. Geheugenevolutie:
   • Repository: Persistente externe geheugenbanken.
   • Mechanisme: De regularisator $\Omega_{mem}$ maakt gebruik van evidence-gated behoud. Geheugenitems die herhaalde zelfgeverifieerde ondersteuning verzamelen, worden als stabiel behandeld en beschermd tegen verwijdering of destructief herschrijven, terwijl entries met lage evidence aanpasbaar blijven.

Belangrijkste Resultaten

De auteurs evalueren CPE tegenover onbeperkte ("Vanilla") zelfevolutie over vier grote benchmarks en meerdere modelruggengraten (waaronder GPT-5.1, GPT-5 nano, GPT-4o mini, Qwen3-0.6B en Llama3.2-3B).

• Workflow-evolutie (EvoAgentX op $\tau^2$-Bench):
  • Vanilla-evolutie leidde tot opgeblazen workflows en een daling in prestaties op eenvoudige taken (bijvoorbeeld van 57,1% naar 41,8% op Airline-taken met GPT-5.1).
  • CPE behield een meer compacte uitvoeringsstructuur, waardoor het behouden rendement op eenvoudige taken verbeterde naar 52,8%, terwijl de adaptatie op complexe taken behouden of verbeterd bleef.
• Vaardigheidsevolutie (MemSkill op MATH):
  • Vanilla-evolutie overschreef progressief eerdere vaardigheden (bijvoorbeeld Meetkunde) naarmate de verdeling verschuift naar Getaltheorie, wat leidde tot continue degradatie op Algebra- en Meetkunde-evaluatiesets.
  • CPE behield een stabiel gebruik van eerdere vaardigheden, wat resulteerde in een hoger behouden nauwkeurigheidspercentage over alle sequentiële domeinen (bijvoorbeeld verbeterde meetkudenauwkeurigheid van 58,9% naar 59,3% met GPT-5 nano).
• Model-evolutie (STaR op MedMCQA):
  • Vanilla zelftraining vertoonde catastrofale vergeetachtigheid op eerdere medische domeinen (Anatomie, Biochemie) naarmate het model zich aanpaste aan nieuwe.
  • CPE verbeterde consistent het behouden nauwkeurigheidspercentage over alle domeinen en modelgroottes (bijvoorbeeld steeg de anatomienauwkeurigheid op Qwen3-0.6B van 29,4% naar 30,5%).
• Geheugenevolutie (Dynamic Cheatsheet):
  • Onbeperkte geheugenupdates degradeerden het behoud van oude taken met gemiddeld 2,3%.
  • CPE verkleinde dit behoudsgap tot 0,7%, waardoor patronen voor toegang tot eerder geleerde domeinen werden gestabiliseerd zonder de adaptatie aan nieuwe taken te belemmeren.

Betekenis en Claims

Het artikel claimt de eerste te zijn die capabiliteitserosie systematisch identificeert als een structureel faalmechanisme over alle belangrijke dimensies van zelfevoluerende agenten (workflow, vaardigheid, model en geheugen).

• Unificerend Perspectief: De auteurs bieden een unificerend interferentieperspectief, waarbij wordt aangetoond dat ondanks heterogene implementaties, alle vier dimensies lijden onder hetzelfde mechanisme: het optimaliseren voor nieuwe taken overschrijft structuren die oude taken ondersteunen.
• Stabilisatieprincipe: Het artikel stelt dat stabiele zelfevolutie op lange termijn niet alleen vereist dat nieuwe capabiliteiten worden verworven, maar ook dat eerder geleerde capabiliteiten expliciet worden behouden. CPE wordt gepresenteerd als een algemeen ontwerpprincipe om dit te bereiken.
• Bescheiden Scope: De auteurs erkennen dat hun huidige behoudsmechanismen lichtgewicht en domeinspecifiek zijn. Ze kaderen het werk in als een verificatie van het erosieverschijnsel en een demonstratie dat expliciete regularisatie het kan mitigeren, in plaats van een complete oplossing voor alle toekomstige uitdagingen voor autonome agenten. Zij merken op dat real-world agenten mogelijk geconfronteerd worden met complexere, open-ended trajecten dan de gecontroleerde sequentiële verschuivingen die hier zijn getest.

Concluderend betoogt het artikel dat zonder expliciete behoudsbeperkingen zelfevoluerende agenten onvermijdelijk zullen afdrijven van betrouwbaar gedrag, en dat Capabiliteitsbehoudende Evolutie een noodzakelijk onderdeel is voor het bouwen van agenten die in staat zijn tot echte levenslange leerprocessen.