💬 NLP

Compositional Steering of Large Language Models with Steering Tokens

Questo lavoro propone l'uso di "steering tokens" composti, ottenuti tramite auto-distillazione e addestrati per catturare la composizione di comportamenti, per guidare in modo efficace e generalizzabile i grandi modelli linguistici verso molteplici obiettivi simultanei, superando i limiti degli approcci basati su istruzioni o attivazioni.

Autori originali: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

Pubblicato 2026-04-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un chef robotico (il Modello Linguistico o LLM) che è bravissimo a cucinare qualsiasi piatto, ma ha un problema: se gli chiedi di fare una cosa alla volta (es. "fai una pizza"), lo fa benissimo. Ma se gli chiedi di fare una pizza che sia anche piccante, senza glutine e in formato quadrato, spesso si confonde, dimentica una regola o produce un disastro.

Questo è il problema che risolve la ricerca presentata in questo articolo: come dare al robot istruzioni multiple e complesse senza doverlo "riprogrammare" da capo ogni volta.

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: Le Istruzioni di Testo sono Fragili

Di solito, per controllare un'IA, le persone scrivono istruzioni in linguaggio naturale, tipo: "Scrivi una risposta in francese, usa solo 10 parole e metti tutto in maiuscolo".
Il problema è che queste istruzioni sono come fogli di carta: se ne aggiungi troppi o li mischi in modo strano, il robot si perde. A volte ignora una parte, a volte ne capisce un'altra. È come chiedere a un cuoco di fare tre cose diverse mentre gli leggi un foglio di note troppo lungo: rischia di dimenticare metà della lista.

2. La Soluzione: I "Gettoni di Comando" (Steering Tokens)

Gli autori propongono di non usare più le lunghe frasi di testo, ma di creare dei piccoli "gettoni magici" (chiamati Steering Tokens).
Immagina questi gettoni come dei tasti fisici su una tastiera speciale o dei ingranaggi che inserisci direttamente nel cervello del robot.

Invece di scrivere "Parla in francese", inserisci un gettone <francese>.
Invece di scrivere "Usa 10 parole", inserisci un gettone <10_parole>.

Questi gettoni sono come comandi a distanza che il robot capisce istantaneamente, senza bisogno di leggere lunghe spiegazioni.

3. La Magia: Il Gettone "E" (Composizione)

La vera innovazione di questo lavoro è come si gestiscono più comandi insieme.
Se vuoi che il robot faccia due cose (es. "francese" + "10 parole"), potresti pensare di mettere i due gettoni uno dopo l'altro. Ma spesso non funziona bene, come se mettessi due chiavi nella serratura senza sapere come girarle insieme.

Gli autori hanno creato un gettone speciale chiamato <e> (o "AND").

Come funziona: Immagina che <e> sia un regista o un capo d'orchestra. Quando inserisci <francese>, <e> e <10_parole>, il gettone <e> dice al robot: "Ok, prendi la regola del francese e la regola delle 10 parole e falle lavorare insieme senza che si disturbino a vicenda".
Il trucco: Questo gettone <e> viene addestrato specificamente per imparare a "mescolare" le regole. È come un cuoco che ha imparato a mescolare ingredienti che normalmente non stanno insieme, creando un nuovo sapore perfetto.

4. Perché è Geniale? (Generalizzazione)

La cosa più incredibile è che questo sistema funziona anche con regole che il robot non ha mai visto prima durante l'addestramento.

Se addestri il gettone <e> a mescolare "Francese" e "10 parole", e poi gli chiedi di mescolare "Tedesco" e "Maiuscolo" (due cose nuove), il gettone <e> riesce a capire il concetto di "mescolare" e applicarlo anche a queste nuove regole.
È come se avessi insegnato a un bambino a mescolare il rosso e il giallo per fare l'arancione. Se poi gli dai il blu e il giallo, lui capisce che deve mescolarli per fare il verde, senza che tu glielo abbia mai insegnato esplicitamente.

5. Il Risultato: Un'IA più Precisa e Robusta

I test mostrano che questo metodo è molto meglio delle tecniche attuali:

Meno errori: Il robot segue tutte le regole contemporaneamente (lingua, lunghezza, formato) molto più spesso.
Più flessibile: Puoi aggiungere o togliere regole senza dover riaddestrare l'intero modello (che sarebbe costosissimo e lento).
Combinazione vincente: Usare sia le istruzioni di testo (per le cose complesse) sia questi gettoni (per le regole precise) dà il risultato migliore, come avere sia la ricetta scritta sia gli ingredienti già misurati.

In Sintesi

Pensa a questo metodo come a passare dal dare al robot un manuale di istruzioni di 10 pagine (che spesso viene ignorato) all'uso di un pannello di controllo con pulsanti luminosi e un interruttore "MIX".
Invece di scrivere tutto, premi i pulsanti giusti e premi "MIX". Il robot capisce esattamente cosa fare, anche se combini pulsanti che non ha mai premuto insieme prima. È un modo intelligente, veloce ed efficiente per rendere le Intelligenze Artificiali più obbedienti e utili nella vita reale.

1. Il Problema: Steering Compositivo negli LLM

L'uso diffuso dei Large Language Models (LLM) nelle applicazioni reali richiede un controllo preciso e adattivo dell'output. Spesso, è necessario soddisfare simultaneamente molti desiderata (comportamenti) diversi, come rispondere in una lingua specifica, mantenere una certa lunghezza, seguire un formato particolare o adottare uno stile di ragionamento specifico.

Limitazioni delle soluzioni attuali:
- Fine-tuning: Aggiornare i parametri del modello per ogni combinazione di comportamenti è computazionalmente costoso e porta al "catastrofico forgetting" (dimenticare conoscenze preesistenti). Inoltre, per $N$ comportamenti, richiederebbe $2^N$ procedure di fine-tuning separate.
- Prompting (Istruzioni in linguaggio naturale): Sebbene flessibile, è fragile (brittle). Istruzioni semanticamente equivalenti possono produrre risultati incoerenti, e la combinazione di più istruzioni tende a fallire o a degradare la qualità della risposta.
- Steering delle Attivazioni (Activation Steering): Metodi esistenti operano nello spazio delle attivazioni interne del modello. Sebbene efficaci per un singolo comportamento, spesso falliscono nella composizione zero-shot (combinare comportamenti mai visti insieme durante l'addestramento) a causa di interferenze negative tra i vettori di steering.

Il paper identifica un vuoto nella ricerca: la mancanza di un metodo efficace per rappresentare e combinare concettualmente comportamenti multipli senza modificare i parametri interni del modello.

2. Metodologia: Steering Tokens Compositivi

Gli autori propongono un approccio basato su Steering Tokens (token di guida) che operano nello spazio degli input (embedding) piuttosto che nello spazio delle attivazioni interne. Il metodo si basa su due fasi principali di auto-distillazione (self-distillation) con un modello base congelato (frozen).

A. Token di Comportamento Individuali

Per ogni comportamento desiderato $b$ (es. "rispondi in francese"), viene addestrato un token specifico <b>.

Meccanismo: Si utilizza un approccio di auto-distillazione. Il "maestro" (Teacher) è l'LLM congelato che riceve l'input con l'istruzione in linguaggio naturale (es. "Rispondi in francese"). Lo "studente" riceve lo stesso input ma con il token <b> invece dell'istruzione.
Obiettivo: Minimizzare la divergenza KL tra le distribuzioni di probabilità di output del maestro e dello studente. Il token <b> impara a comprimere l'informazione dell'istruzione in un singolo vettore di embedding.

B. Il Token di Composizione `<and>`

La novità centrale è l'introduzione di un token dedicato, <and>, che apprende il concetto astratto di composizione.

Addestramento: Dopo aver congelato i token di comportamento individuali, si addestra il token <and> su coppie di comportamenti.
- Maestro: Riceve l'input con le istruzioni naturali combinate (es. "Rispondi in francese e usa 10-50 parole").
- Studente: Riceve l'input con la sequenza di token [<francese> <and> <parole_10_50>].
Regolarizzazione di Ortogonalità: Per evitare che il token <and> collassi in rappresentazioni simili ai token di comportamento esistenti, viene introdotta una perdita di regolarizzazione che forza il vettore <and> a rimanere ortogonale a tutti i vettori dei comportamenti congelati.
Inferenza: Per combinare comportamenti, si concatenano i token corrispondenti separati dal token <and> (es. [<lingua> <and> <lunghezza>]).

3. Contributi Chiave

Steering nello spazio di input: A differenza dei metodi basati sulle attivazioni, i token di guida risiedono nello spazio di input, permettendo una composizione zero-shot più efficace senza toccare i parametri interni del modello.
Token di Composizione Generalizzabile: Il token <and> apprende una funzione di composizione generale. Non memorizza solo combinazioni specifiche, ma impara come comporre, permettendo di generalizzare a:
- Combinazioni di comportamenti mai visti insieme.
- Comportamenti mai visti durante l'addestramento.
- Un numero di comportamenti diverso da quello di addestramento (es. addestrato su coppie, testato su triple).
Complementarità con le Istruzioni: Dimostrano che i token di guida e le istruzioni in linguaggio naturale hanno punti di forza complementari. La loro combinazione ibrida offre i migliori risultati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 7 modelli LLM (Qwen, Llama, SmolLM, OLMo, Gemma) con dimensioni da 3B a 14B parametri, valutando vincoli verificabili automaticamente (lingua, lunghezza, formato, struttura).

Superiorità nella Generalizzazione Compositiva: I token di guida con il token <and> superano significativamente le istruzioni in linguaggio naturale e altri metodi (come LoRA merging o activation steering) nelle composizioni non viste (zero-shot).
- Esempio: Su Qwen3-8B, per composizioni non viste a 2 comportamenti, i token raggiungono il 76.9% di accuratezza contro il 71.8% delle istruzioni. Per composizioni a 3 comportamenti non visti, il divario è ancora più ampio (59.5% vs 54.0%).
Robustezza all'Ordine: L'uso del token <and> riduce drasticamente la varianza legata all'ordine dei token rispetto alla semplice concatenazione, rendendo il sistema più robusto.
Scalabilità: Le prestazioni migliorano all'aumentare delle dimensioni del modello (fino a 14B). Curiosamente, l'addestramento esclusivo su coppie di comportamenti (2-behavior) è sufficiente per generalizzare a triple (3-behavior) nei modelli più grandi, senza bisogno di addestramento esplicito su triple.
Approccio Ibrido: La combinazione di token di guida + istruzioni in linguaggio naturale (Hybrid) ottiene le prestazioni migliori in assoluto, migliorando sia l'accuratezza che la robustezza, specialmente su modelli più piccoli o meno capaci.
Qualità della Risposta: L'uso dei token non degrada la qualità semantica o la coerenza delle risposte rispetto alle istruzioni naturali.

5. Significato e Implicazioni

Questo lavoro introduce un meccanismo efficiente e scalabile per il controllo compositivo degli LLM.

Efficienza: Elimina la necessità di costosi fine-tuning per ogni nuova combinazione di vincoli.
Generalizzazione: Risolve il problema della composizione zero-shot, permettendo di combinare comportamenti in modo dinamico e adattivo.
Praticità: Poiché non modifica i parametri interni del modello, è facilmente integrabile in sistemi di produzione esistenti e complementare alle tecniche di prompting standard.

In sintesi, gli autori dimostrano che è possibile "comprimere" le istruzioni in token addestrabili e combinare questi token tramite un operatore appreso (<and>) per ottenere un controllo preciso, robusto e generalizzabile sui comportamenti degli LLM, superando i limiti delle attuali tecniche di steering.