Technische Samenvatting: Vaardigheidsneologismen: Op weg naar vaardigheidsgebaseerd continu leren

1. Probleemstelling

Moderne Large Language Models (LLM's) tonen beheersing van een breed scala aan vaardigheden en het vermogen om deze flexibel te combineren. Het uitbreiden van deze capaciteiten op een schaalbare manier naar nieuwe vaardigheden blijft echter een open probleem. Bestaande aanpakken ondervinden aanzienlijke beperkingen:

• Fine-tuning en Parameter-efficiënte Fine-tuning (PEFT): Methoden zoals LoRA lopen het risico van catastrofaal vergeten van eerder beheerste capaciteiten en kunnen veiligheidsrisico's introduceren.
• Context-gebaseerde aanpakken: In-context learning (ICL) heeft beperkte expressiviteit en wordt beperkt door het effectieve contextvenster van het model.
• Prompt Tuning: Hoewel effectief voor taakadaptatie, zijn geleerde prefixes doorgaans taakspecifiek in plaats van vaardigheidsspecifiek. Ze kunnen niet worden gecombineerd of aangepast aan nieuwe situaties zonder hertraining, waardoor ze falen in het ondersteunen van zero-shot-combinatie van onafhankelijk geleerde vaardigheden.

Het artikel definieert vaardigheidsgebaseerd continu leren als het doel om nieuwe combineerbare vaardigheden te leren zonder modelparameters te wijzigen. Om praktisch en schaalbaar te zijn, moet deze aanpak drie eigenschappen vervullen:

1. Geen gewichtsupdates: Nieuwe vaardigheden worden geleerd zonder de bevroren modelparameters te wijzigen.
2. Compositional Transfer: Geleerde vaardigheden moeten kunnen worden gecombineerd met bestaande vaardigheden, inclusief die welke out-of-distribution (OOD) zijn ten opzichte van de trainingsset.
3. Multi-vaardigheidscompositie: Meerdere onafhankelijk geleerde vaardigheden moeten zero-shot combineerbaar zijn, zonder gezamenlijke training op hun specifieke combinatie.

2. Methodologie: Vaardigheidsneologismen

De auteurs stellen Vaardigheidsneologismen voor, een methode die soft tokens direct integreert in de vocabulaire van het model om specifieke procedurele kennis te vertegenwoordigen.

Kerncomponenten

• Vaardigheidsgerichte training: In tegenstelling tot taakgerichte datasets waar samples impliciet vertrouwen op diverse vaardigheden, worden vaardigheidsneologismen getraind op datasets waarbij elk voorbeeld de doelvaardigheid vereist, gemengd met andere vaardigheden die al door het model zijn beheerst. Dit stimuleert het leren van over het algemeen combineerbare representaties.
• Integratie op vocabulariumniveau: Een vaardigheidsneologisme bestaat uit een set leerbare soft tokens (een "vaardigheidstoken") die worden toegevoegd aan de embeddingmatrix en vocabulaire van het model. Deze tokens worden geoptimaliseerd op de vaardigheidsgerichte dataset, terwijl de rest van de modelparameters bevroren blijft.
• Invoegfunctie: De vaardigheidstokens worden via een functie $\phi_S$ in de prompt ingevoegd (bijvoorbeeld door een trefwoord te vervangen of een instructie toe te voegen) om de specifieke vaardigheid tijdens inferentie te activeren.

Trainingsprocedure

1. Initialisatie: Een set soft tokens wordt geïnitieerd (bijvoorbeeld vanuit de gemiddelde embedding van bestaande operationele tokens) en toegevoegd aan de vocabulaire.
2. Optimalisatie: De tokens worden getraind via backpropagatie door het bevroren model op een vaardigheidsgerichte dataset. De verliesfunctie (bijvoorbeeld cross-entropy) wordt geminimaliseerd met betrekking tot alleen de token-embeddings.
3. Evaluatie: De prestaties worden gemeten op in-distribution (ID) combinaties (doelvaardigheid + trainingsvaardigheden) en out-of-distribution (OOD) combinaties (doelvaardigheid + terughoudende vaardigheden).

3. Belangrijkste bijdragen

1. Voorstel van Vaardigheidsneologismen: Het artikel introduceert vaardigheidsneologismen als een weg naar vaardigheidsgebaseerd continu leren, gemotiveerd door empirisch bewijs dat voorgeprogrammeerde LLM's van nature vocabulaire-tokens vertonen die geassocieerd zijn met procedurele kennis (bijvoorbeeld dat de token "XOR" de XOR-bewerking beter encodeert dan een tekstuele beschrijving).
2. Aantonen van compositie-eigenschappen: In gecontroleerde algoritmische settingen tonen de auteurs aan dat vaardigheidsneologismen voldoen aan de drie vereiste eigenschappen:
   • Ze leren zonder gewichtsupdates.
   • Ze combineren succesvol met OOD-vaardigheden die tijdens de training niet zijn gezien.
   • Onafhankelijk getrainde vaardigheidsneologismen kunnen zero-shot worden gecombineerd.
3. Ablatie-analyse: Het artikel analyseert de mechanismen achter het succes van vaardigheidsneologismen, met name het onderzoek naar de impact van tokencapaciteit (lengte) en de complexiteit van vaardigheidscombinaties in de trainingsdata.

4. Experimentele resultaten

De auteurs hebben de methode geëvalueerd op een synthetische dataset met taken voor het transformeren van cijferreeksen (bijvoorbeeld sorteren, optellen, verschuiven) met behulp van een gefinetuned Qwen2.5-0.5B-model.

• Vergelijking met baselines: Vaardigheidsneologismen werden vergeleken met LoRA en Prompt Tuning.
  • Compositional Transfer (Eigenschap 2): Hoewel LoRA en Prompt Tuning een hoge nauwkeurigheid behaalden op ID-combinaties, faalden ze om te generaliseren naar OOD-combinaties. Alleen Vaardigheidsneologismen slaagden er consistent in om nieuwe vaardigheden te combineren met terughoudende vaardigheden.
  • Multi-vaardigheidscompositie (Eigenschap 3): Onafhankelijk getrainde vaardigheidsneologismen voor "SHIFT" en "INV-POL" werden zero-shot gecombineerd. Vaardigheidsneologismen presteerden aanzienlijk beter dan In-Context Learning (ICL)-baselines over verschillende reekslengten, wat aantoont dat de tokens herbruikbare procedurele kennis vastleggen in plaats van te vertrouwen op patroonextractie uit voorbeelden.
• Ablatiebevindingen:
  • Tokencapaciteit: Er is een afweging in tokenlengte. Hoewel een grotere capaciteit helpt bij het leren, verminderde een excessieve capaciteit (bijvoorbeeld lengte > 20) de OOD-generalisatie, wat suggereert dat beperkte capaciteit fungeert als een inductieve bias voor combineerbare representaties.
  • Trainingscomplexiteit: Training op complexere composities (bijvoorbeeld 3-vaardigheidscombinaties) verbeterde de generalisatie naar OOD 2-vaardigheids- en 3-vaardigheidscombinaties.
  • Initialisatie: Hoewel initialisatie vanuit voorgeprogrammeerde vaardigheids-embeddings marginale verbeteringen bood, leverde willekeurige initialisatie nog steeds sterke OOD-compositie-vaardigheden op.

5. Betekenis en claims

Het artikel beweert dat vaardigheidsneologismen een schaalbare weg bieden naar vaardigheidsgebaseerd continu leren. Door gebruik te maken van de bestaande compositie-vaardigheden van het model en soft tokens op vocabulariumniveau te integreren, maakt deze aanpak de incrementele toevoeging van nieuwe vaardigheden mogelijk zonder catastrofaal vergeten of de noodzaak van gezamenlijke hertraining.

De auteurs positioneren dit werk als een proof-of-concept in een gecontroleerde experimentele setting. Ze erkennen beperkingen, waaronder de vereiste voor het construeren van diverse vaardigheidsgerichte datasets, de inherente optimalisatie-instabiliteit van het trainen van soft tokens en de rekenkosten van backpropagatie door het volledige model tijdens de training. De resultaten suggereren echter dat interventies op vocabulariumniveau procedurele kennis effectief kunnen coderen, waardoor LLM's hun capaciteiten op een gecontroleerde en combineerbare manier kunnen laten groeien.