Technische Samenvatting: Taak Prompt Vectoren

Probleemstelling

Prompt tuning is een parameter-efficiënte fine-tuning (PEFT) methode voor Large Language Models (LLMs) waarbij slechts een kleine set continue zachte prompt-weights wordt getraind, terwijl het voorgeprogrammeerde model bevroren blijft. Echter, bestaande methoden op basis van zachte prompts missen vaak voldoende multi-task modulariteit. Typisch vereist het trainen van een zachte prompt voor een nieuwe taak een volledige of gedeeltelijke hertrainingsprocedure, en het combineren van prompts voor meerdere taken leidt vaak tot prestatieverlies of vereist verdere fine-tuning. Hoewel "taakvectoren" (rekenkundige bewerkingen op volledige modelweights) veelbelovend zijn gebleken in computer vision en oudere NLP-modellen voor het bereiken van multi-task prestaties, is dit concept niet effectief uitgebreid naar het domein van zachte prompt-gebaseerde tuning. Bovendien zijn bestaande PEFT weight-interpolatiemethoden vaak sterk afhankelijk van specifieke willekeurige initialisaties, wat hun herbruikbaarheid beperkt.

Methodologie

De auteurs introduceren Task Prompt Vectors (TPVs), een nieuw concept dat de principes van taakvector-rekenkunde aanpast aan de ruimte van zachte prompts.

Definitie

Een taak prompt vector ($\tau_{P}^{t}$) wordt gedefinieerd als het elementsgewijze verschil tussen de weights van een zachte prompt na fine-tuning op een specifieke taak ($\theta_{P_{ft}}^{t}$) en zijn willekeurige initialisatie ($\theta_{P_{pre}}$):
$$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$$
Deze vector vertegenwoordigt een richting in de embedding-ruimte die de prompt verplaatst van een willekeurige staat naar een taak-specifiek subruimte.

Rekenkundige Operaties

De kernmechaniek omvat prompt-rekenkunde, specifiek het optellen van taak prompt vectoren om kennis van verschillende taken te combineren:
$$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$$
Deze gecombineerde vector kan worden toegepast op een nieuwe zachte prompt-initialisatie ($\theta_{P}$) om deze te initialiseren voor een doeltaak zonder verdere training:
$$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$$
waarbij $\lambda$ een herschalingfactor is.

Experimentele Opzet

De auteurs evalueerden TPVs op 19 datasets die 8 taaktypen bestrijken (waaronder NLI, onderwerpclassificatie, sentimentanalyse en het oplossen van wiskundeproblemen) met behulp van T5-base, LLaMa-3.1-8B-Instruct en DeepSeek-LLM-7B-Chat modellen. Belangrijke experimentele doelen waren:

1. Initialisatie-onafhankelijkheid: Testen of TPVs werken ongeacht de willekeurige initialisatie van de doel-zachte prompt.
2. Vector Similariteit: Analyseren van cosinus-similariteiten tussen vectoren van gerelateerde en niet-gerelateerde taken.
3. Multi-task Transfer: Evaluatie van de prestaties van gecombineerde vectoren op bron-taken en als initialisaties voor zero-shot en few-shot learning op doeltaken.

Belangrijkste Bijdragen en Bevindingen

1. Onafhankelijkheid van Willekeurige Initialisatie

De studie toont aan dat taak prompt vectoren grotendeels onafhankelijk zijn van de willekeurige initialisatie van de zachte prompt. Wanneer een TPV die is getraind op één willekeurige initialisatie wordt toegepast op een andere willekeurige initialisatie, blijft de downstream-prestatie vergelijkbaar met de oorspronkelijke opzet voor de meerderheid van de taken. Deze eigenschap is cruciaal omdat het TPVs toelaat om te worden gedeeld en hergebruikt over verschillende trainingsruns heen zonder dat dezelfde seed vereist is.

2. Taakmodulariteit en Vectorrekenkunde

De auteurs tonen aan dat het toevoegen van taak prompt vectoren van vergelijkbare taken (bijvoorbeeld MNLI + RTE) de single-task prestaties op beide taken behoudt of licht verbetert. Dit suggereert dat TPVs taak-specifieke kennis op een modulaire manier effectief kunnen coderen. De cosinus-similariteit van TPVs bleek een betere voorspeller van transferbaarheid te zijn dan de similariteit van de ruwe taak-prompts zelf.

3. Low-Resource Initialisatie

In zero-shot en few-shot settings (0–100 shots) presteert het initialiseren van prompt tuning met een combinatie van voorgeprogrammeerde TPVs vaak beter dan of gelijk aan state-of-the-art baselines zoals SPoT (Soft Prompt Transfer) en ATTEMPT. Specifiek:

• TPV-combinaties presteerden beter dan single-task bron-prompts op SciTail en IMDB.
• Ze kwamen overeen met SPoT-prestaties op AG News en Yahoo Answers.
• Ze presteerden aanzienlijk beter dan ATTEMPT in verschillende scenario's, met name wanneer het aantal voorgeprogrammeerde bron-prompts beperkt was.

4. Vergelijking met Bestaande Methoden

In tegenstelling tot SPoT, dat hertraining van de bron-prompt vereist wanneer de set bron-taken verandert, en ATTEMPT, dat sterk afhankelijk is van de kwaliteit en kwantiteit van bron-prompts, bieden TPVs hoge modulariteit en onafhankelijkheid van bron-prompts. Dit maakt het mogelijk om een "vector hub" te creëren waar voorgeprogrammeerde vectoren kunnen worden hergebruikt voor nieuwe taken zonder extra training.

Betekenis en Beweringen

Het artikel beweert dat Task Prompt Vectors een rekenkundig effectief alternatief bieden voor state-of-the-art multi-task oplossingen. Door gebruik te maken van eenvoudige rekenkundige operaties op voorgeprogrammeerde vectoren, bereikt de methode hoge multi-task modulariteit zonder de rekenkosten van hertraining.

De auteurs stellen dat het succes van deze methode suggereert dat de optimale subruimte voor zachte prompts mogelijk een convexe vorm heeft, waardoor lineaire benaderingen (vectoroptelling) effectief werken zelfs in niet-lineaire ruimten. Bovendien maakt de onafhankelijkheid van willekeurige initialisatie het potentieel mogelijk voor een door de gemeenschap aangedreven repository van taakvectoren.

Beperkingen opgemerkt door de auteurs:

• Experimenten werden voornamelijk uitgevoerd op monolinguale (Engelse) modellen en datasets.
• De studie richtte zich op T5-base als representatief model, hoewel resultaten werden gevalideerd op grotere LLaMa- en DeepSeek-modellen.
• Theoretische analyse van de geometrische eigenschappen van de ruimte van zachte prompts blijft over voor toekomstig werk.
• De methode richt zich momenteel op NLU- en NLG-taken, maar is niet uitgebreid getest op meertalige settings.

Concluderend stelt het werk dat taak prompt vectoren kunnen worden gebruikt om prompt tuning effectief te initialiseren in low-resource settings, en biedt een robuuste, modulaire en trainingsvrije aanpak voor multi-task adaptatie.