Technische Samenvatting: CP-MoE

Probleemstelling

Catastrophic forgetting (catastrofaal vergeten) blijft een primaire hindernis bij het toepassen van Large Language Models (LLMs) en Vision-Language Models (VLMs) in scenario's voor continu leren (CL) waarbij data-distributies in de loop van de tijd evolueren. Hoewel Mixture-of-Experts (MoE)-architecturen gecombineerd met Parameter-Efficient Fine-Tuning (PEFT), specifiek LoRA-MoE, een schaalbaar pad bieden voor adaptatie, staan bestaande methoden voor een fundamentele afweging:

1. Over-isolatie: Aggressieve isolatie van taakspecifieke experts (bijvoorbeeld learn-and-freeze-strategieën) beperkt de overdracht van kennis tussen taken, wat leidt tot slechte generalisatie op onzichtbare taken.
2. Over-menging: Het toestaan dat taakspecifieke updates bestaande parameters overschrijven, leidt tot ernstig vergeten.
3. Routingsrigiditeit: Standaard load-balancing-beperkingen in MoE dwingen vaak een uniform gebruik van experts af, wat in conflict komt met de behoefte aan taakspecifieke specialisatie in sequentieel leren, wat semantische interferentie en representatie-inzakking veroorzaakt.

Huidige benaderingen missen mechanismen om representatie-compatibiliteit te beoordelen voordat nieuwe kennis wordt geïntegreerd, en falen in het beschermen van kritieke historische parameters tijdens sequentiële updates.

Methodologie: CP-MoE

De auteurs stellen CP-MoE (Consistency-Preserving Mixture-of-Experts) voor, een raamwerk ontworpen om nieuwe taakkennis te integreren in stabiele experts terwijl interferentie wordt geminimaliseerd. De kerninnovatie is het gebruik van een transiënte expert als een lichtgewicht sonde voordat permanente updates plaatsvinden.

1. Transiënte Expert-Gestuurde Parameterbescherming

In plaats van stabiele experts direct bij te werken, instantieert CP-MoE een transiënte expert ($\phi^{TE}_t$) voor elke binnenkomende taak $t$.

• Warm-up Fase: De transiënte expert is een taakspecifieke LoRA-adapter die wordt getraind op een kleine warm-up subset van de nieuwe taakdata, terwijl de bevrozen backbone en stabiele experts vast blijven staan.
• Vooruitkijkende Schatting: De optimalisatietrajectorie van de transiënte expert wordt gebruikt om prospectieve parameterbelangrijkheid te schatten via een pad-integraalregel. Dit genereert een taakspecifiek belangrijkheidsmasker ($\Omega_t$) dat identificeert welke parameters kritiek zijn voor de nieuwe taak.
• Selectieve Regularisatie: Dit masker wordt overgebracht naar de stabiele experts. Tijdens de hoofdtrainingsfase beschermt een regularisatieterm selectief parameters die als belangrijk worden beschouwd voor eerdere kennis, waardoor minder kritieke parameters zich kunnen aanpassen. Dit voorkomt ondoordachte overschrijving.

2. Expert Representatie-Consistentie Routing

Om de spanning tussen load balancing en expert-specialisatie aan te pakken, introduceert CP-MoE een Consistency-Preserving (CP) Bias.

• Similariteitsmeting: De transiënte expert dient als sonde om representatiesimilariteit te meten met elke stabiele expert met behulp van Centered Kernel Alignment (CKA).
• Routing Bias: Deze similariteitsscores ($h^{CP}_i$) worden ingebracht als een bias in de router-logits. Dit stuurt het routingmechanisme naar experts met representaties die compatibel zijn met de huidige taak.
• Gedecoupleerde Load Balancing: De CP-bias leidt semantische uitlijning, terwijl een standaard auxiliaire load-balancing loss (berekend op native logits zonder de bias) een gebalanceerd gebruik garandeert, waardoor expert-inzakking wordt voorkomen zonder semantisch mismatchende inputs op gespecialiseerde experts te forceren.

3. Totale Doelfunctie

De uiteindelijke trainingsdoelfunctie combineert de taakloss, de op belangrijkheid gewogen regularisatie (ter bescherming van historische parameters) en de load-balancing loss:
$$L^{total}_t = L^{task}_t + \lambda L^{reg}_t + \gamma L^{aux}_t$$
Cruciaal is dat de transiënte expert na de warm-upfase wordt verwijderd, waardoor geen persistente rekenkosten of parameteruitbreiding optreedt.

Belangrijkste Bijdragen

1. Transiënte Expert voor Selectieve Consolidatie: Een nieuw mechanisme dat een wegwerpbare, taakspecifieke LoRA-adapter gebruikt om vroege adaptatiesignalen te sonderen en parameterbelangrijkheid te schatten, waardoor selectieve integratie in een vast pool van stabiele experts mogelijk wordt.
2. Consistency-Preserving Routing Bias: Een routingmechanisme dat representatiesimilariteit (CKA) gebruikt om compatibele experts te bevoordelen, wat de routingstabiliteit en specialisatie verbetert boven standaard load balancing.
3. Representatie-Gestuurde Regularisatie: Een dynamisch regularisatieschema dat selectief belangrijke historische parameters beschermt op basis van de trajectorie van de transiënte expert, waardoor interferentie wordt verminderd.
4. Empirische Validatie: Demonstratie van state-of-the-art prestaties op zowel unimodale (SuperNI) als multimodale (VQA v2) benchmarks, met sterke zero-shot transfer en aanzienlijk verminderd vergeten in vergelijking met sterke baselines.

Experimentele Resultaten

De auteurs hebben CP-MoE geëvalueerd op:

• SuperNI (Unimodaal): Een benchmark van diverse sequentiële taal taken.
  • Prestatie: Bereikte de hoogste Average Performance (AP) van 50,84% en Zero-Shot Transfer (ZST) van 35,80% op Order 1, prestaties die baselines zoals GainLoRA en InfLoRA overtreffen.
  • Vergeten: Behield een lage Average Forgetting (AF) van 0,62%.
  • Zero-Shot: Toonde superieure generalisatie naar onzichtbare taken in vergelijking met methoden die experts te agressief isoleren.
• VQA v2 (Multimodaal): Een visuele vraagbeantwoordingsbenchmark opgesplitst in 10 sequentiële redeneertaken.
  • Prestatie: Bereikte de beste AP van 62,30%.
  • Vergeten: Bereikte een bijna-nul Average Forgetting (-0,35%), een aanzienlijke verbetering ten opzichte van de vorige state-of-the-art CL-MoE (-1,77%).

Ablatiestudies bevestigden dat zowel de Transiënte Expert Regularisatie (TE-Reg) als de CP Bias complementair zijn; het verwijderen van een van beide componenten leidt tot verhoogd vergeten en verminderde nauwkeurigheid. De op CKA gebaseerde consistentiescore bleek kritiek, aangezien uniforme regularisatie zonder deze score resulteerde in hoger vergeten (1,50% versus 0,62%).

Betekenis en Claims

Het artikel claimt dat CP-MoE de afweging tussen kennisoverdracht en catastrofaal vergeten in MoE-gebaseerd continu leren succesvol oplost. Door een transiënte expert in te voeren als een "vooruitkijkende" sonde, maakt het raamwerk selectieve consolidatie mogelijk zonder de noodzaak voor dynamische expertuitbreiding of persistente rekenkosten.

De auteurs benadrukken dat het grondvesten van routingbeslissingen in intrinsieke representatie-consistentie, in plaats van rigide load-balancing-beperkingen, een stabielere en meer overdraagbare representatieruimte behoudt. Bovendien stelt de selectieve bescherming van parameters het model in staat om voorgeprogrammeerde kennis te behouden terwijl het zich aanpast aan nieuwe taken. Het werk suggereert dat deze benadering zeer effectief is voor zowel unimodale als multimodale foundation-modellen, en een schaalbaar pad biedt voor continue adaptatie in real-world, niet-stationaire omgevingen.

Het artikel erkent bescheiden beperkingen met betrekking tot de vaste bemonsteringsschaal van de transiënte expert, waarbij wordt opgemerkt dat optimale bemonstering kan variëren met de complexiteit van de dataset, en suggereert toekomstig werk over adaptieve bemonsteringsmechanismen.