Agent-Dice: Disentangling Knowledge Updates via Geometric Consensus for Agent Continual Learning

Probleemstelling: Het Stabiliteit-Plasticiteit Dilemma

Het paper adresseert een fundamentele uitdaging bij het toepassen van Large Language Model (LLM)-gebaseerde agenten in dynamische omgevingen: het vermogen om continu nieuwe taken te leren zonder catastrophical forgetting (catastrofaal vergeten) van eerder geleerde kennis. Dit staat bekend als het stabiliteit-plasticiteit dilemma.

• Stabiliteit: Het behoud van bestaande kennis.
• Plasticiteit: Het vermogen om nieuwe kennis te integreren.

De auteurs stellen dat bestaande methoden (zoals externe geheugens of continue iteratieve training) vaak falen omdat ze niet expliciet onderscheid maken tussen:

1. Gedeelde kennis: Informatie die consistent is over verschillende taken (belangrijk voor stabiliteit).
2. Conflicterende kennis: Taken-specifieke interferentie die de prestaties van eerdere taken ondermijnt.

Zonder dit onderscheid leidt het leren van nieuwe taken tot interferentie, waardoor de agent zijn eerdere vaardigheden verliest of nieuwe taken slecht leert.

Methodologie: Agent-Dice

Om dit probleem op te lossen, stellen de auteurs Agent-Dice voor, een parameterfusieframework gebaseerd op Directional Consensus Evaluation. In plaats van modellen sequentieel te finetunen, fuseren ze de "task vectors" (de parameterveranderingen $\tau_k$) van verschillende taken op de oorspronkelijke pre-trained manifold.

Het proces verloopt in twee fasen:

1. Geometrische Consensus Filtering (Stabiliteit)

Deze fase filtert conflicterende updates om stabiliteit te garanderen.

• Principe: Voor elke parameter wordt gekeken naar de tekenrichting (positief of negatief) van de updates van alle taken.
• Methode: Er wordt een meerderheidsstemming uitgevoerd. Alleen updates die overeenkomen met de dominante richting (de consensus) worden behouden. Updates die als "outliers" worden beschouwd (tegenstrijdige richtingen) worden uitgefilterd (gewicht = 0).
• Theoretische basis: Gebaseerd op Theorema 2, waarbij wordt aangetoond dat het filteren van outliers de kans op updatefouten exponentieel verlaagt ten opzichte van standaard gemiddelden.

2. Kromme-gebaseerde Belangrijke Weging (Plasticiteit)

Nadat de conflicterende updates zijn verwijderd, worden de resterende updates gewogen op basis van hun "betrouwbaarheid" of relevantie.

• Principe: De grootte (magnitude) van een update $|\tau_{k,i}|$ dient als proxy voor de lokale kromming (curvature) van de loss-landschap. Grote updates duiden vaak op hoge zekerheid of steile gradiënten.
• Methode: Er wordt een Softmax-functie (Boltzmann-verdeling) toegepast op de magnitudes van de toegestane updates binnen de actieve set. Updates met een grotere magnitude krijgen een hoger gewicht.
• Theoretische basis: Gebaseerd op Theorema 3, waarbij wordt bewezen dat deze verdeling de entropie maximaliseert onder de beperking van de verwachte salientie, waardoor de meest informatieve kenmerken worden versterkt.

Fusieformule:
De uiteindelijke gefuseerde parameter $\theta_{fused}$ wordt berekend als:
$$\theta_{fused} = \theta_{pre} + \sum_{k=1}^{K} W_k \odot \tau_k$$
Waarbij $W_k$ de gewichten zijn die worden bepaald door de twee bovenstaande fasen en $\odot$ het element-wise product is.

Belangrijkste Bijdragen

1. Diagnose van het Dilemma: Het paper identificeert dat het stabiliteit-plasticiteit-dilemma voornamelijk voortkomt uit het gebrek aan expliciet onderscheid tussen gedeelde en conflicterende kennis tijdens het leerproces.
2. Agent-Dice Framework: Een nieuw parameterfusieframework dat geometrische consensusfiltering combineert met kromme-gebaseerde weging. Dit stelt agenten in staat om effectief multi-task continu te leren.
3. Theoretische Validatie: Een rigoureuze theoretische analyse (met bewijzen in de appendix) die de geldigheid van het fusieschema aantoont en inzicht geeft in de oorsprong van het dilemma.
4. Empirische Superioriteit: Uitgebreide experimenten tonen aan dat Agent-Dice superieure prestaties levert met minimale rekenkosten en parameterupdates.

Resultaten

De methode is getest in twee domeinen: GUI-agenten (interactie met grafische interfaces) en Tool-use agenten (gebruik van externe tools/API's).

• Domein: GUI-agenten:
  • Gebruikte datasets: AITZ, AndroidControl, GUI-Odyssey.
  • Basismodellen: OS-Atlas-Pro-7B en Qwen3-VL-8B.
  • Resultaat: Agent-Dice behaalde de hoogste AvgZ (gemiddelde Z-score) en vermindert catastrofaal vergeten aanzienlijk. Bijvoorbeeld, bij het leren van drie datasets tegelijk, behield Agent-Dice de prestaties op AITZ en AndroidControl veel beter dan traditionele methoden, terwijl de daling op GUI-Odyssey minimaal was.
• Domein: Tool-use agenten:
  • Gebruikte dataset: ToolACE (opgedeeld in subsets).
  • Basismodellen: Qwen3-8B en Llama-3.1-8B.
  • Resultaat: Agent-Dice behaalde topresultaten op bijna alle subsets voor zowel modellen met als zonder native tool-use capaciteiten. Het toonde aan dat het filteren van ruis en versterken van gedeelde kennis essentieel is voor deze domeinen.
• Efficiëntie:
  • De methode voegt zeer weinig rekenoverhead toe (gemiddeld ~77 seconden op GPU, ~10 minuten op CPU) vergeleken met urenlang trainen.
  • Het vereist geen extra geheugen voor replay-data.

Significantie

Agent-Dice biedt een elegante en efficiënte oplossing voor een van de grootste obstakels in de ontwikkeling van autonome AI-agenten: het leren van nieuwe vaardigheden zonder oude te verliezen.

• Praktische toepasbaarheid: Door de lage rekenkosten en het ontbreken van noodzaak voor grote datasets of externe geheugens, is de methode direct toepasbaar in real-world scenario's.
• Fundamenteel inzicht: Het paper verschuift de focus van complexe architecturale wijzigingen naar een fundamentele analyse van de richting en magnitude van parameterupdates. Het benadrukt dat "consensus" (wat alle taken gemeen hebben) de sleutel is tot stabiliteit, terwijl "kromming" (hoe sterk een taak een parameter wil veranderen) de sleutel is tot plasticiteit.
• Toekomstperspectief: Het werk legt een basis voor het ontwikkelen van agenten die zich kunnen aanpassen aan een steeds veranderende digitale wereld zonder dat ze opnieuw getraind hoeven te worden vanaf nul.