Riepilogo Tecnico: Vettori di Prompt di Attività

Enunciato del Problema

Il prompt tuning è un metodo di fine-tuning efficiente in termini di parametri (PEFT) per i Modelli Linguistici di Grandi Dimensioni (LLM) in cui viene addestrato solo un piccolo insieme di pesi di prompt soft continui, mentre il modello pre-addestrato rimane congelato. Tuttavia, i metodi esistenti basati su prompt soft spesso mancano di sufficiente modularità multi-attività. Tipicamente, l'addestramento di un prompt soft per una nuova attività richiede un processo di ri-addestramento completo o parziale, e la combinazione di prompt per più attività spesso degrada le prestazioni o necessita di ulteriore fine-tuning. Sebbene i "vettori di attività" (operazioni aritmetiche sui pesi completi del modello) abbiano mostrato promesse nella visione artificiale e nei modelli NLP più vecchi per ottenere prestazioni multi-attività, questo concetto non è stato esteso efficacemente al dominio del tuning basato su prompt soft. Inoltre, i metodi esistenti di interpolazione dei pesi PEFT dipendono spesso fortemente da inizializzazioni casuali specifiche, limitandone la riutilizzabilità.

Metodologia

Gli autori introducono i Vettori di Prompt di Attività (TPV), un concetto innovativo che adatta i principi dell'aritmetica dei vettori di attività allo spazio dei prompt soft.

Definizione

Un vettore di prompt di attività ($\tau_{P}^{t}$) è definito come la differenza elemento per elemento tra i pesi di un prompt soft dopo il fine-tuning su un'attività specifica ($\theta_{P_{ft}}^{t}$) e la sua inizializzazione casuale ($\theta_{P_{pre}}$):
$$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$$
Questo vettore rappresenta una direzione nello spazio di embedding che sposta il prompt da uno stato casuale a un sottospazio specifico dell'attività.

Operazioni Aritmetiche

Il meccanismo centrale coinvolge l'aritmetica dei prompt, specificamente l'addizione di vettori di prompt di attività per combinare conoscenze da diverse attività:
$$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$$
Questo vettore combinato può essere applicato a una nuova inizializzazione di prompt soft ($\theta_{P}$) per inizializzarlo per un'attività target senza ulteriore addestramento:
$$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$$
dove $\lambda$ è un fattore di ridimensionamento.

Configurazione Sperimentale

Gli autori hanno valutato i TPV su 19 dataset che coprono 8 tipi di attività (inclusi NLI, classificazione di argomenti, analisi del sentiment e risoluzione di problemi matematici) utilizzando i modelli T5-base, LLaMa-3.1-8B-Instruct e DeepSeek-LLM-7B-Chat. Gli obiettivi sperimentali chiave includevano:

1. Indipendenza dall'Inizializzazione: Verificare se i TPV funzionano indipendentemente dall'inizializzazione casuale del prompt soft target.
2. Somiglianza Vettoriale: Analizzare le similarità coseno tra vettori provenienti da attività correlate e non correlate.
3. Trasferimento Multi-Attività: Valutare le prestazioni dei vettori combinati sulle attività sorgente e come inizializzazioni per l'apprendimento zero-shot e few-shot su attività target.

Contributi e Risultati Chiave

1. Indipendenza dall'Inizializzazione Casuale

Lo studio dimostra che i vettori di prompt di attività sono in gran parte indipendenti dall'inizializzazione casuale del prompt soft. Quando un TPV addestrato su un'inizializzazione casuale viene applicato a una diversa inizializzazione casuale, le prestazioni a valle rimangono comparabili alla configurazione originale per la maggior parte delle attività. Questa proprietà è cruciale poiché consente ai TPV di essere condivisi e riutilizzati tra diverse esecuzioni di addestramento senza richiedere lo stesso seed.

2. Modularità delle Attività e Aritmetica Vettoriale

Gli autori mostrano che l'aggiunta di vettori di prompt di attività da attività simili (ad esempio, MNLI + RTE) mantiene o migliora leggermente le prestazioni a singola attività su entrambe le attività. Ciò suggerisce che i TPV possono codificare efficacemente conoscenze specifiche dell'attività in modo modulare. È stato riscontrato che la similarità coseno dei TPV è un predittore migliore della trasferibilità rispetto alla similarità dei prompt di attività grezzi stessi.

3. Inizializzazione a Risorse Limitate

In contesti zero-shot e few-shot (0–100 shot), l'inizializzazione del prompt tuning con una combinazione di TPV pre-addestrati spesso supera o eguaglia le baseline all'avanguardia come SPoT (Soft Prompt Transfer) e ATTEMPT. Nello specifico:

• Le combinazioni TPV hanno ottenuto prestazioni migliori rispetto ai prompt sorgente a singola attività su SciTail e IMDB.
• Hanno eguagliato le prestazioni di SPoT su AG News e Yahoo Answers.
• Hanno superato significativamente ATTEMPT in diversi scenari, in particolare quando il numero di prompt sorgente pre-addestrati era limitato.

4. Confronto con Metodi Esistenti

A differenza di SPoT, che richiede il ri-addestramento del prompt sorgente quando cambia l'insieme delle attività sorgente, e di ATTEMPT, che dipende fortemente dalla qualità e dalla quantità dei prompt sorgente, i TPV offrono alta modularità e indipendenza dal prompt sorgente. Ciò consente la creazione di un "hub vettoriale" dove i vettori pre-addestrati possono essere riutilizzati per nuove attività senza ulteriore addestramento.

Significato e Affermazioni

Il documento afferma che i Vettori di Prompt di Attività forniscono un'alternativa computazionalmente efficace alle soluzioni multi-attività all'avanguardia. Sfruttando semplici operazioni aritmetiche su vettori pre-addestrati, il metodo raggiunge un'alta modularità multi-attività senza il costo computazionale del ri-addestramento.

Gli autori ipotizzano che il successo di questo metodo suggerisca che il sottospazio ottimale per i prompt soft possa avere una forma convessa, permettendo alle approssimazioni lineari (addizione vettoriale) di funzionare efficacemente anche in spazi non lineari. Inoltre, l'indipendenza dall'inizializzazione casuale abilita il potenziale per un repository guidato dalla comunità di vettori di attività.

Limitazioni notate dagli autori:

• Gli esperimenti sono stati condotti principalmente su modelli e dataset monolingue (inglese).
• Lo studio si è concentrato su T5-base come modello rappresentativo, sebbene i risultati siano stati validati su modelli LLaMa e DeepSeek più grandi.
• L'analisi teorica delle proprietà geometriche dello spazio dei prompt soft è lasciata per lavori futuri.
• Il metodo si concentra attualmente su attività NLU e NLG ma non è stato testato estesamente in contesti multilingue.

In conclusione, il lavoro stabilisce che i vettori di prompt di attività possono essere utilizzati per inizializzare efficacemente il prompt tuning in contesti a risorse limitate, offrendo un approccio robusto, modulare e senza addestramento per l'adattamento multi-attività.