Technische Samenvatting: Leren vertalen van zachte naar harde LLM-prompts

Probleemstelling

Zachte prompt-tuning biedt een parameter-efficiënt alternatief voor volledige fine-tuning bij het aanpassen van Large Language Models (LLM's) aan specifieke taken. Een aanzienlijke beperking van zachte prompts is echter hun gebrek aan interpreteerbaarheid. In tegenstelling tot natuurlijke taal-tokens bestaan zachte prompts als continue vectoren in de embedding-ruimte, vaak in gebieden die verschillen van natuurlijke taal. Naïeve projecties van deze vectoren naar een discreet token-ruimte leveren vaak misleidende, tegenstrijdige of niet-informatieve resultaten op (Khashabi et al., 2022).

Recent werk, met name de InSPEcT-techniek (Ramati et al., 2024), probeerde dit aan te pakken door een trainingsvrije, in-context learning-benadering te gebruiken om tekstuele verbalisaties van zachte prompts op te wekken. Hoewel InSPEcT soms correcte klasselabels kan produceren, merken de auteurs van dit artikel op dat hun verbalisaties vaak onbetrouwbaar zijn, gevoelig voor specifieke architecturale hyperparameters (laagparen), en vaak onnatuurlijke taal bevatten. Bovendien lijkt de prestatie van InSPEcT sterk afhankelijk te zijn van het feit dat de onderliggende zachte prompt een hoge taaknauwkeurigheid bereikt, wat de bruikbaarheid beperkt wanneer zachte prompts worden getraind op kleinere of minder capabele modellen.

Methodologie

De auteurs stellen een supervised learning-benadering voor om zachte prompts naar natuurlijke taal ("harde prompts") te vertalen met behulp van een dedicated vertaalmodel. De kernworkflow omvat drie fasen:

1. Training van zachte prompts: Zachte prompts worden eerst geoptimaliseerd op een klein, open-source LLM (specifiek meta-llama/Llama-3.1-8B-Instruct) voor diverse downstream-taken met behulp van standaard supervised learning op (input, output)-paren.
2. Constructie van een Dataset van Datasets (DoD): Om de vertaler te trainen, construeerden de auteurs twee verschillende "Datasets of Datasets" (DoD's) met paren van (zachte prompt, ground-truth harde prompt):
   • Classificatie-DoD: Een synthetische dataset bestaande uit 5.500 mini-datasets met sterk semantisch geclusterde klasselabels (bijv. {muziek, films, boeken, kunst, software}) en 2,75 miljoen zinnen.
   • Algemene DoD: Gebaseerd op de Super-NaturalInstructions-dataset, die 1.616 diverse natuurlijke taal-taken (samenvatting, vertaling, redenering, enz.) over 76 taaktypen bestrijkt.
3. Training van de vertaler: Een dedicated vertaalmodel, dat dezelfde architectuur deelt als het basis-LLM maar met andere gewichten, wordt fine-getuned met LoRA. Het model behandelt de vertaling van zachte prompts als een sequence-to-sequence generatietaken, waarbij de input de embedding-vector van de zachte prompt is en de output de bijbehorende beschrijving van de taak in natuurlijke taal.

Belangrijkste bijdragen

Het artikel levert drie primaire bijdragen:

1. Een dedicated vertaalmodel: De auteurs trainen een supervised model om zachte prompts om te zetten in vloeiende, grammaticaal correcte natuurlijke taal. Deze benadering presteert beter dan de trainingsvrije InSPEcT-methode, zowel op kwantitatieve metrieken (Recall, F1-Score, ROUGE-L) als op kwalitatieve beoordelingen over meerdere datasets.
2. Gedemonstreerde bruikbaarheid van verbalisaties: De auteurs tonen aan dat de vertaalde "harde prompts" niet alleen geloofwaardig klinkende tekst zijn, maar functioneel relevant. Wanneer deze verbaal gemaakte prompts worden ingezet op grotere, gesloten-source LLM's (bijv. GPT-4o-mini), bereiken ze taakprestaties die vaak de oorspronkelijke prestaties van de zachte prompt op het kleine model overtreffen en, in specifieke gevallen, few-shot learning-baselines overtreffen.
3. Een nieuwe workflow voor draagbare prompts: Het werk stelt een nieuwe pijplijn voor waarbij een zachte prompt wordt getraind op een klein, open-source model, wordt vertaald naar een menselijk leesbare prompt, en vervolgens wordt ingezet op een groter, krachtiger model. Dit maakt het mogelijk om taakspecifieke kennis over te dragen van kleinere modellen naar grotere modellen zonder dat het grotere model hoeft te worden gefine-tuned.

Resultaten

• Kwaliteit van interpreteerbaarheid: Op de InSPEcT-datasets (SST-2, SST-5, AG-News, Subj, TREC) bereikte de vertaler een perfecte of bijna perfecte Recall (1,0) en aanzienlijk hogere F1-Scores in vergelijking met InSPEcT. Opmerkelijk is dat de vertaler robuuste prestaties behield op datasets waar InSPEcT moeite mee had (bijv. TREC), wat suggereert dat deze minder afhankelijk is van de initiële taaknauwkeurigheid van de zachte prompt.
• Generalisatie: Op de Algemene DoD bereikte de vertaler een gemiddelde ROUGE-L van 0,252 en een cosijn-similariteit van 0,427, beter dan InSPEcT (0,143 ROUGE-L, 0,269 cosijn-similariteit).
• Downstream-prestaties: In experimenten waarbij verbaal gemaakte prompts werden gebruikt met een grote gesloten-source LLM, presteerden de vertaalde prompts vaak beter dan de oorspronkelijke zachte prompts die op het kleine model werden gebruikt. In een specifieke subset van 10 taken overtroffen de vertaalde prompts zelfs few-shot learning op het grote model, met name voor taken die verfijnde patroonherkenning vereisten die few-shot-voorbeelden niet efficiënt konden vastleggen.
• Data-efficiëntie: De vertaler toonde het vermogen om de correspondentie tussen zachte en harde prompts te leren, zelfs met een relatief kleine trainingsset (539 samples voor de Algemene DoD), wat suggereert dat LLM's de "taal" van zachte prompts mogelijk van nature begrijpen.

Betekenis en claims

Het artikel beweert dat zachte prompts niet fundamenteel oninterpreteerbaar zijn, maar eerder een dedicated vertaalmechanisme vereisen om effectief te worden ontcijferd. Door weg te bewegen van in-context learning (InSPEcT) naar supervised vertaling, tonen de auteurs aan dat zachte prompts kunnen worden omgezet in draagbare, hoogwaardige instructies in natuurlijke taal.

De auteurs suggereren dat deze workflow aanzienlijk potentieel heeft voor "downstream-toepassingen", specifiek het mogelijk maken van het gebruik van kleine, open-source modellen om taakinstructies te ontdekken en te optimaliseren die vervolgens kunnen worden overgebracht naar grotere, gesloten-API-modellen voor superieure inferentie. Zij merken op dat hoewel de huidige vertaler een veelbelovend bewijs van concept is, toekomstig werk grotere datasets en stilistische uitlijning (bijv. preferentieoptimalisatie) zou kunnen omvatten om uitgebreide en gedetailleerde verbalisaties te garanderen, wat mogelijk inzichten oplevert in complexe taken zoals geneesmiddelenontwikkeling.

De auteurs blijven bescheiden over de huidige beperkingen en erkennen dat de vertaler momenteel gebonden is aan het specifieke basismodel dat voor training werd gebruikt en dat verbalisaties soms te beknopt kunnen zijn, relevante details weglatend door stilistische misalignering.