Technische Samenvatting: Task-Differentiated Atomic Skill Expansion and Routing (TASER)

1. Probleemstelling

Continual learning (CL) voor Large Language Models (LLMs) wordt traditioneel bestudeerd onder de aanname dat opeenvolgende taken semantisch gerelateerd of structureel vergelijkbaar zijn. De werkelijkheid in real-world implementaties omvat echter zeer heterogene taakstromen, waarbij taken substantieel verschillen in redeneerpatronen, input-outputformaten en cognitieve dimensies (bijv. de verschuiving van wiskundig redeneren naar juridische samenvatting).

In deze settings worden bestaande methoden geconfronteerd met twee primaire uitdagingen:

1. Catastrofale Vergetelheid (Catastrophic Forgetting): Extreme divergentie tussen taken zorgt ervoor dat updates voor nieuwe domeinen de eerder geleerde representaties ernstig verstoren.
2. Inefficiënte Capaciteitsallocatie: Modellen met een vaste capaciteit kunnen opkomende vaardigheden niet accommoderen, terwijl willekeurige expansie het risico op redundantie en interferentie vergroot. Het is moeilijk vooraf te bepalen hoeveel nieuwe parameters (vaardigheden) nodig zijn voor een specifieke taak, aangezien taken een mix vereisen van gedeelde en gespecialiseerde capaciteiten.

Huidige benchmarks falen vaak in het vastleggen van deze complexiteit, omdat ze vertrouwen op taaksequenties met een hoge semantische overlap of identieke outputmodaliteiten.

2. Methodologie: TASER-framework

De auteurs stellen Task-differentiated Atomic Skill Expansion and Routing (TASER) voor, een modulair CL-framework dat is ontworpen om capaciteitsgroei dynamisch te beheren terwijl de parameterstabiliteit behouden blijft. TASER organiseert de modelcapaciteit in een groeiende bibliotheek van "atomaire vaardigheden" (herbruikbare functionele modules geïmplementeerd via parameter-efficiënte adapters zoals LoRA) en bestaat uit drie gecoördineerde componenten:

A. Atomic Skill Incremental Learning (Adaptieve Capaciteitsexpansie)

In plaats van een vaste rank voor alle taken te gebruiken, bepaalt TASER dynamisch het aantal benodigde nieuwe atomaire vaardigheden voor elke binnenkomende taak $T_k$ op basis van taakdivergentie en modelonzekerheid.

• Task Subspace Probing: Een tijdelijke, overgeparameteriseerde "probe"-adapter wordt kortstondig getraind om de update-richtingen te onthullen die de nieuwe taak verkiest.
• Novel Subspace Extraction: De update-richtingen van de probe worden geprojecteerd op het orthogonaal complement van de historische vaardigheidssubspace (geconstrueerd uit eerdere adapters) om residuele, nieuwe richtingen te isoleren.
• Adaptive Capacity Sizing: Singular Value Decomposition (SVD) wordt uitgevoerd op de residuele matrix. De rank van de nieuwe adapter ($r_{new}$) wordt bepaald door het minimum aantal singuliere waarden dat nodig is om een doelstelling van een fractie ($\theta_{energy}$) van de spectrale energie te dekken. Dit zorgt ervoor dat de capaciteit alleen wordt uitgebreid wanneer de nieuwe taak richtingen vereist die niet door bestaande vaardigheden worden beslagen.

B. Orthogonaliteit-versterkende Vaardigheidsdetectie

Om ervoor te zorgen dat de nieuw toegevoegde capaciteit semantisch onderscheidend en onafhankelijk herbruikbaar blijft, legt TASER expliciete orthogonaliteitsrestricties op tijdens het trainen van de nieuwe vaardigheid:

• Inter-Taak Orthogonaliteit: Een strafterm ($L_{inter}$) minimaliseert de correlatie tussen de down-projectie matrix van de nieuwe vaardigheid en de historische vaardigheidssubspace, wat representatieve overlap voorkomt.
• Intra-Taak Orthogonaliteit: Een strafterm ($L_{intra}$) dwingt rij-gewijze orthogonaliteit en een eenheidsnorm af binnen de matrix van de nieuwe vaardigheid, wat rank-instorting voorkomt en ervoor zorgt dat de nieuwe capaciteit meerdere onderscheidende richtingen beslaat.

C. Skill Dynamic Routing

Om de computationele inefficiëntie en interferentie te vermijden die gepaard gaat met het activeren van alle vaardigheden voor elke input, gebruikt TASER een lichtgewicht, taak-geconditioneerd gating-mechanisme.

• Sparse Composition: Een router (een twee-laagse MLP met een bottleneck) neemt de input-activatie en geeft een gating-vector $\alpha(x)$ terug.
• Selectie: Deze vector versterkt of onderdrukt selectief de bijdragen van specifieke atomaire vaardigheden in de bibliotheek.
• Sparsity: Een $L_1$-straf wordt toegepast op de output van de router om de activatie van slechts de minimale set relevante vaardigheden voor een gegeven input te stimuleren, wat efficiënte cross-taak hergebruik faciliteert.

3. Belangrijkste Bijdragen

1. HeteroCLBench: De auteurs introduceren een nieuwe benchmark die specifiek is ontworpen voor zeer heterogene continual learning. Deze bestaat uit 19 functioneel diverse taken die zijn toegewezen aan 9 cognitieve macro-dimensies (bijv. Wiskundig Redeneren, Code Generatie, Emotionele Intelligentie) en 24 fijnmazige subcategorieën. De benchmark gebruikt een gestandaardiseerd sequentieel protocol met gerandomiseerde taakvolgorde om skill-isolatie en plasticiteit rigoureus te testen.
2. TASER Framework: Een nieuw CL-methode die gezamenlijk adaptieve atomaire vaardigheidsexpansie, vaardigheidsscheiding en dynamische routing uitvoert. Het adresseert de vragen "hoeveel" en "welke" met betrekking tot capaciteitsallocatie zonder volledige hertraining te vereisen.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat TASER sterke baselines (inclusief EWC, Replay, I-LoRA, MoE-LoRA en CL-MoE) overtreft op zowel de nieuwe HeteroCLBench als de bestaande LNT-benchmark.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met Llama-3-8B-Instruct en Qwen-2.5 backbones.

• Prestaties op HeteroCLBench: TASER bereikte een Average Performance (AP) van 63.31, waarmee het alle continual learning baselines overtrof en de Multi-Task Learning (MTL) bovengrens van 65.70 benaderde.
• Mitigatie van Vergetelheid: TASER bereikte de beste Backward Transfer (BWT) van -0.94, een significante verbetering ten opzichte van Sequential Fine-tuning (-13.54) en andere modulaire baselines zoals CL-MoE (-15.13). Dit duidt op superieure stabiliteit en verminderde catastrofale vergetelheid.
• Ablatie-studies: Het verwijderen van een van de drie kerncomponenten (Incremental Learning, Orthogonality Detection, of Dynamic Routing) leidde tot consistente prestatiedalingen. Opvallend genoeg veroorzaakte het verwijderen van Dynamic Routing de meest ernstige daling (AP daalde met 18.49), wat de cruciale rol ervan bij het beheersen van taakinterferentie benadrukt.
• Robuustheid: Het framework vertoonde consistente prestaties over verschillende modelarchitecturen (Llama-3 en Qwen-2.5) en verschillende capaciteitsbudgetten ($r_{max}$), wat de stabiliteit van het SVD-gebaseerde routingmechanisme valideert.
• Dynamische Allocatie: Visualisatie van de rank-allocatie liet zien dat TASER correct hogere ranks toewijst aan structureel veeleisende taken (bijv. cross-lingual vertaling) en lagere ranks aan taken die bestaande semantische priors kunnen hergebruiken (bijv. classificatie), wat de capaciteit om redundantie te voorkomen bevestigt.

5. Betekenis en Claims

Het artikel betoogt dat continual learning onder hoge taakheterogeniteit adaptieve, modulaire capaciteitsgroei vereist naast parameterbehoud, wat de biologische neuroplasticiteit weerspiegelt.

• Paradigmaverschuiving: Het werk verschuift de CL-focus van louter het behouden van kennis in vergelijkbare domeinen naar het gelijktijdig mogelijk maken van specialisatie voor onderscheidende taken en het hergebruiken van gedeelde capaciteiten in zeer uiteenlopende domeinen.
• Noodzaak van Benchmarks: De auteurs stellen dat bestaande benchmarks de gestructureerde taxonomie en cognitieve diversiteit missen die nodig zijn om modellen te evalueren in realistische lifelong learning scenario's. HeteroCLBench vult dit gat door 9 cognitieve dimensies en 19 diverse taken te dekken.
• Schaalbaarheid: TASER biedt een schaalbare oplossing voor het aanpassen van LLM's aan complexe, real-world stromen waar taakcomplexiteit en overdraagbaarheid variëren, waarbij de balans tussen plasticiteit (nieuwe vaardigheden leren) en stabiliteit (oude vaardigheden behouden) wordt gevonden zonder de noodzaak voor vaste capaciteitsrestricties of excessieve parameterinflatie.