Riepilogo Tecnico: Neologismi di Abilità: Verso l'Apprendimento Continuo Basato sulle Abilità

1. Enunciato del Problema

I moderni Modelli Linguistici di Grande Dimensione (LLM) dimostrano una padronanza di un'ampia gamma di abilità e la capacità di combinarle in modo flessibile. Tuttavia, estendere queste capacità a nuove abilità in modo scalabile rimane un problema aperto. Gli approcci esistenti presentano limitazioni significative:

• Fine-tuning e Fine-tuning Efficiente in Parametri (PEFT): Metodi come LoRA rischiano la dimenticanza catastrofica delle capacità precedentemente padroneggiate e possono introdurre rischi per la sicurezza.
• Approcci Basati sul Contesto: L'apprendimento in contesto (ICL) ha un'espressività limitata ed è vincolato dalla finestra di contesto effettiva del modello.
• Prompt Tuning: Sebbene efficace per l'adattamento ai compiti, i prefissi appresi sono tipicamente specifici del compito piuttosto che specifici dell'abilità. Non possono essere composti o adattati a nuovi contesti senza un nuovo addestramento, fallendo nel supportare la composizione zero-shot di abilità apprese indipendentemente.

Il documento definisce l'Apprendimento Continuo Basato sulle Abilità come l'obiettivo di apprendere nuove abilità componibili senza modificare i parametri del modello. Per essere pratico e scalabile, questo approccio deve soddisfare tre proprietà:

1. Nessun Aggiornamento dei Pesi: Le nuove abilità sono apprese senza alterare i parametri del modello congelato.
2. Trasferimento Compositivo: Le abilità apprese devono comporsi con le abilità esistenti, incluse quelle fuori distribuzione (OOD) rispetto al set di addestramento.
3. Composizione Multi-Abilità: Multiple abilità apprese indipendentemente devono essere combinabili zero-shot, senza un addestramento congiunto sulla loro specifica combinazione.

2. Metodologia: Neologismi di Abilità

Gli autori propongono i Neologismi di Abilità, un metodo che integra token soft direttamente nel vocabolario del modello per rappresentare conoscenze procedurali specifiche.

Componenti Principali

• Addestramento Centrato sull'Abilità: A differenza dei dataset centrati sul compito in cui i campioni fanno implicitamente affidamento su varie abilità, i neologismi di abilità sono addestrati su dataset in cui ogni campione richiede l'abilità target, mescolata con altre abilità già padroneggiate dal modello. Questo favorisce l'apprendimento di rappresentazioni generalmente componibili.
• Integrazione a Livello di Vocabolario: Un neologismo di abilità consiste in un insieme di token soft apprendibili (un "token di abilità") aggiunti alla matrice di embedding e al vocabolario del modello. Questi token sono ottimizzati sul dataset centrato sull'abilità mentre il resto dei parametri del modello rimane congelato.
• Funzione di Inserimento: I token di abilità sono inseriti nel prompt tramite una funzione $\phi_S$ (ad esempio, sostituendo una parola chiave o aggiungendo un'istruzione) per attivare l'abilità specifica durante l'inferenza.

Procedura di Addestramento

1. Inizializzazione: Un insieme di token soft viene inizializzato (ad esempio, dalla media degli embedding dei token di operazione esistenti) e aggiunto al vocabolario.
2. Ottimizzazione: I token sono addestrati utilizzando la retropropagazione attraverso il modello congelato su un dataset centrato sull'abilità. La funzione di perdita (ad esempio, entropia incrociata) è minimizzata rispetto agli embedding dei token solamente.
3. Valutazione: Le prestazioni sono misurate sulle combinazioni In-Distribution (ID) (abilità target + abilità di addestramento) e sulle combinazioni Out-of-Distribution (OOD) (abilità target + abilità tenute fuori).

3. Contributi Chiave

1. Proposta dei Neologismi di Abilità: Il documento introduce i neologismi di abilità come un percorso verso l'apprendimento continuo basato sulle abilità, motivato da evidenze empiriche secondo cui gli LLM pre-addestrati esibiscono naturalmente token di vocabolario associati a conoscenze procedurali (ad esempio, il token "XOR" codifica l'operazione XOR meglio di una descrizione testuale).
2. Dimostrazione delle Proprietà Compositive: In ambienti algoritmici controllati, gli autori mostrano che i neologismi di abilità soddisfano le tre proprietà richieste:
   • Apprendono senza aggiornamenti dei pesi.
   • Si compongono con successo con abilità OOD non viste durante l'addestramento.
   • I neologismi di abilità addestrati indipendentemente possono essere composti zero-shot.
3. Analisi di Ablazione: Il documento analizza i meccanismi alla base del successo dei neologismi di abilità, investigando specificamente l'impatto della capacità del token (lunghezza) e della complessità delle combinazioni di abilità nei dati di addestramento.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo su un dataset sintetico che coinvolge compiti di trasformazione di sequenze di cifre (ad esempio, ordinamento, addizione, spostamento) utilizzando un modello Qwen2.5-0.5B fine-tuned.

• Confronto con Baseline: I Neologismi di Abilità sono stati confrontati con LoRA e Prompt Tuning.
  • Trasferimento Compositivo (Proprietà 2): Mentre LoRA e Prompt Tuning hanno raggiunto un'alta accuratezza sulle combinazioni ID, hanno fallito nel generalizzare alle combinazioni OOD. Solo i Neologismi di Abilità hanno avuto successo coerente nel comporre nuove abilità con abilità tenute fuori.
  • Composizione Multi-Abilità (Proprietà 3): Neologismi di abilità addestrati indipendentemente per "SHIFT" e "INV-POL" sono stati combinati zero-shot. I Neologismi di Abilità hanno superato significativamente le baseline di In-Context Learning (ICL) su varie lunghezze di sequenza, dimostrando che i token catturano conoscenze procedurali riutilizzabili piuttosto che fare affidamento sull'estrazione di pattern dagli esempi.
• Risultati dell'Ablazione:
  • Capacità del Token: Esiste un compromesso nella lunghezza del token. Sebbene una capacità maggiore favorisca l'apprendimento, una capacità eccessiva (ad esempio, lunghezza > 20) ha ridotto la generalizzazione OOD, suggerendo che una capacità limitata agisce come un bias induttivo per rappresentazioni componibili.
  • Complessità dell'Addestramento: L'addestramento su composizioni più complesse (ad esempio, combinazioni di 3 abilità) ha migliorato la generalizzazione verso combinazioni OOD di 2 e 3 abilità.
  • Inizializzazione: Sebbene l'inizializzazione da embedding di abilità pre-addestrati abbia offerto miglioramenti marginali, l'inizializzazione casuale ha comunque prodotto forti capacità di composizione OOD.

5. Significato e Affermazioni

Il documento afferma che i neologismi di abilità forniscono un percorso scalabile verso l'apprendimento continuo basato sulle abilità. Sfruttando le capacità compositive esistenti del modello e integrando token soft a livello di vocabolario, questo approccio consente l'aggiunta incrementale di nuove abilità senza dimenticanza catastrofica o la necessità di un nuovo addestramento congiunto.

Gli autori posizionano questo lavoro come una prova di concetto in un contesto sperimentale controllato. Riconoscono le limitazioni, inclusa la necessità di costruire dataset diversificati centrati sull'abilità, l'instabilità intrinseca dell'ottimizzazione nell'addestramento di token soft e il costo computazionale della retropropagazione attraverso l'intero modello durante l'addestramento. Tuttavia, i risultati suggeriscono che le interventi a livello di vocabolario possono codificare efficacemente conoscenze procedurali, permettendo agli LLM di accrescere le proprie capacità in modo controllato e componibile.