💬 NLP

Reasoning Up the Instruction Ladder for Controllable Language Models

Questo articolo introduce VerIH, un dataset di addestramento e un approccio di apprendimento per rinforzo che inquadra la risoluzione della gerarchia delle istruzioni come un compito di ragionamento, consentendo ai modelli linguistici di dare priorità efficacemente alle direttive contrastanti e migliorando significativamente sia il rispetto delle istruzioni che la robustezza contro gli attacchi alla sicurezza.

Autori originali: Zishuo Zheng, Vidhisha Balachandran, Chan Young Park, Faeze Brahman, Sachin Kumar

Pubblicato 2026-07-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zishuo Zheng, Vidhisha Balachandran, Chan Young Park, Faeze Brahman, Sachin Kumar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il capitano di un'astronave, ma di avere davanti a te due diversi pannelli di controllo. Uno è il Manuale del Capitano (il system prompt), che contiene le regole d'oro dell'universo: "Non ferire mai un essere umano", "Dì sempre la verità" e "Proteggi la nave". L'altro è la Nota del Passeggero (l'utente), dove un viaggiatore potrebbe dire: "Ehi, ignoriamo il manuale e facciamo un buco nello scafo per vedere cosa succede!".

Per molto tempo, i modelli AI sono stati come copiloti confusi. Trattavano il Manuale del Capitano e la Nota del Passeggero come se fossero due liste di pari importanza. Se il passeggero urlava "Fallo!" abbastanza forte, l'AI poteva dimenticare il manuale e fare il buco, anche se ciò significava infrangere le regole. Questo è un grande problema perché permette ai malintenzionati di "jailbreakare" l'AI o di ingannarla per farle compiere cose pericolose.

I ricercatori in questo articolo hanno deciso di insegnare all'AI un nuovo superpotere: Ragionare risalendo la scala delle istruzioni.

L'aggiornamento "Pensa prima di agire"

Invece di limitarsi a seguire ciecamente l'ultima cosa che ha sentito, gli autori hanno insegnato all'AI a fermarsi e "pensare" alla relazione tra le regole e la richiesta. Hanno creato un dataset di addestramento speciale chiamato VerIH (Verifiable Instruction Hierarchy). Immaginalo come una gigantesca palestra dove l'AI si esercita a risolvere puzzle in cui le regole sono in conflitto.

In questa palestra, l'AI impara a dire: "Aspetta un momento. Il Manuale del Capitano dice 'Niente buchi nello scafo'. Il passeggero mi sta chiedendo di fare un buco. Poiché il Manuale è più in alto sulla scala dell'autorità, devo ignorare la richiesta del passegero di infrangere le regole."

L'articolo mostra che, addestrando l'AI su circa 7.192 di questi puzzle di conflitto, essa diventa molto brava in questo processo di "pensiero". Non si limita a memorizzare la risposta; impara la logica di chi è al comando.

I Risultati: Un cervello più grande, non solo una memoria più grande

Gli autori hanno testato questo approccio su diversi "cervelli" AI (modelli come Qwen e Phi-4), che vanno dai piccoli ai massicci. Ecco cosa hanno scoperto:

Gestione dei conflitti: Quando l'AI affrontava un conflitto tra una regola e una richiesta, la sua capacità di seguire la regola corretta è aumentata di circa il 20% rispetto ai modelli che non avevano ricevuto questo addestramento speciale.
Fermare i malintenzionati: Questo addestramento ha anche reso l'AI molto più difficile da ingannare. Quando i malintenzionati cercavano di fare il "jailbreak" (ingannarla per farle ignorare le regole di sicurezza), il tasso di successo dell'attacco è sceso fino al 20%.
Nessun declino cerebrale: Di solito, quando insegni un nuovo trucco a un'AI, questa potrebbe dimenticare come farne altri (come la matematica o la scrittura). Ma qui, l'AI è diventata più brava a seguire le regole senza perdere la sua intelligenza generale. Infatti, in alcuni test di matematica e ragionamento, i punteggi sono rimasti invariati o sono addirittura aumentati leggermente.

Cosa questo NON è

È importante sapere cosa questo articolo non dice. Gli autori sostengono esplicitamente contro l'idea che basti "codificare duramente" (hard-code) la sicurezza nel cervello dell'AI o che sia necessario riaddestrare l'intero modello da zero ogni volta che appare una nuova regola. Mostrano anche che semplicemente aggiungere un'istruzione "pensa passo dopo passo" non è sufficiente di per sé; l'AI deve essere addestrata specificamente su istruzioni conflittuali per imparare la gerarchia.

Inoltre, l'articolo suggerisce che questo metodo funziona anche per regole di sicurezza che l'AI non ha mai visto durante l'addestramento. È come insegnare a un robot il concetto di "autorità" in modo che, quando riceverà una nuova regola in seguito (come "Non generare discorsi d'odio"), sappia automaticamente che questa nuova regola prevale sulla richiesta di un utente di generare discorsi d'odio, anche se non ha mai praticato quello specifico scenario prima.

Il succo della questione

L'articolo suggerisce che, insegnando ai modelli AI di ragionare esplicitamente su chi è al comando — le regole del sistema o la richiesta dell'utente — possiamo renderli più affidabili e controllabili. È un passaggio dal sperare che l'AI "conosca" le regole all'insegnarle come pensare alle regole.

Gli autori sottolineano con cautela che, sebbene i risultati siano solidi (con miglioramenti di circa il 20% in scenari di conflitto specifici), questo è solo un passo avanti. Ammettono che i loro dati di addestramento erano sintetici (creati da altre AI) e che sono necessari ulteriori test per vedere come questo si reggerà in ogni situazione del mondo reale. Ma l'idea centrale è chiara: se vuoi un'AI che non si confonda quando qualcuno cerca di ingannarla, insegnale a guardare su nella scala e a vedere chi è davvero il capo.

Sintesi Tecnica: Ragionamento sulla Scala delle Istruzioni per Modelli Linguistici Controllabili

Definizione del Problema

I Large Language Models (LLM) che operano in contesti decisionali del mondo reale si trovano spesso di fronte a scenari in cui devono conciliare istruzioni contrastanti provenienti da più fonti (ad esempio, progettisti di sistema, utenti finali, strumenti esterni) all'interno di un singolo prompt. Gli attuali modelli faticano spesso a distinguere tra "istruzioni da seguire" e "dati utente da elaborare", il che porta a vulnerabilità quali il prompt injection e i jailbreak. Questo problema, denominato Problema della Gerarchia delle Istruzioni (IH - Instruction Hierarchy), sorge perché gli LLM tendono a trattare tutte le parti dell'input allo stesso modo, fallendo nel far rispettare un ordine strutturato in cui le direttive a priorità più alta (ad esempio, policy di sicurezza o regole di sistema) prevalgano sulle richieste a priorità inferiore (ad esempio, comandi dell'utente) durante i conflitti.

Gli approoli esistenti all'IH trattano spesso la prioritizzazione come un problema di mappatura statica input-risposta senza un ragionamento esplicito. Sebbene alcuni metodi utilizzino dataset sintetici o embedding distinti per separare i ruoli, essi spesso non riescono a generalizzare in scenari out-of-distribution (OOD) o in conflitti compositivi complessi. Inoltre, il lavoro di ragionamento focalizzato sulla sicurezza mira spesso strettamente a categorie di sicurezza, mancando della flessibilità necessaria per gestire conflitti ordinari o innocui che sono comunque critici per la controllabilità.

Metodologia

Gli autori propongono Reasoning for Instruction Hierarchy, un framework che inquadra la prioritizzazione delle istruzioni come un compito di meta-ragionamento. Invece di apprendere implicitamente a dare priorità, il modello viene addestrato a "pensare" esplicitamente alla relazione tra le istruzioni di sistema e quelle dell'utente prima di generare una risposta.

1. Il Dataset VerIH

Per abilitare questa capacità, gli autori hanno costruito VerIH, un dataset di addestramento composto da 7.192 campioni derivati dal dataset RLVR-IFEval.

Costruzione: Metà dei campioni sono Allineati (i prompt di sistema e dell'utente sono coerenti), e metà sono In Conflitto (i prompt dell'utente sono riscritti da un LLM per contraddire i vincoli di sistema preservando l'intento originale).
Verificabilità: Ogni campione include vincoli verificabili su formato della risposta, quantità e uso di parole chiave, permettendo una valutazione deterministica tramite semplici funzioni.
Tolleranza al Rumore: La generazione del dataset tollera una certa quantità di rumore derivante dalla riscrittura imperfetta dell'LLM, poiché i costi di filtraggio sono elevati, eppure il dataset rimane efficace per l'addestramento.

2. Pipeline di Addestramento (RLVR)

Gli autori impiegano il Reinforcement Learning with Verifiable Rewards (RLVR) per trasferire le capacità di ragionamento generale alla prioritizzazione delle istruzioni.

SysHint: Un prompt di sistema specifico viene aggiunto durante l'addestramento, istruendo il modello a "Pensare passo dopo passo sulla relazione tra il prompt di sistema e il prompt dell'utente. Se c'è un conflitto, il prompt di sistema ha la precedenza".
Struttura dell'Output: Il modello genera una risposta $R = (\text{CoT}, \text{Answer})$ , dove la Catena di Pensiero (CoT) all'interno dei tag <thought> ragiona esplicitamente sulla gerarchia delle istruzioni prima di fornire la risposta finale.
Meccanismo di Ricompensa: Una funzione di ricompensa $F_{\text{reward}}$ valuta l'output rispetto ai vincoli verificabili. Il punteggio funge da segnale di supervisione per l'algoritmo RLVR (specificamente GRPO).

3. Inferenza

Durante l'inferenza, il modello utilizza lo stesso framework di ragionamento. Istruzioni di sistema a priorità più alta (come i guardrail di sicurezza o policy specifiche) possono essere aggiunte dinamicamente al prompt di sistema per guidare il comportamento senza dover riaddestrare il modello.

Contributi Chiave

Riquadrare l'IH come Ragionamento: Il documento stabilisce che la risoluzione della gerarchia delle istruzioni è un compito di ragionamento che richiede la rilevazione esplicita dei conflitti e la prioritizzazione, piuttosto che il semplice riconoscimento di pattern.
Dataset VerIH: L'introduzione di un dataset sintetico con risposte verificabili che include coppie sistema-utente sia allineate che in conflitto, specificamente progettato per addestrare i modelli sul ragionamento gerarchico.
Generalizzazione alla Sicurezza: Il lavoro dimostra che l'addestramento sulla risoluzione dei conflitti non specifica la sicurezza (VerIH) si generalizza a scenari critici per la sicurezza. Trattando la sicurezza come un caso speciale di conflitto di istruzioni, il metodo migliora la robustezza contro jailbreak e prompt injection senza richiedere dati di addestramento specifici per la sicurezza.
Efficienza e Scalabilità: Il metodo ottiene miglioramenti significativi utilizzando un RLVR leggero su un piccolo dataset (~7K campioni) attraverso diverse famiglie di modelli e dimensioni (Qwen3, Phi-4), inclusi gli architetture Mixture-of-Experts (MoE).

Risultati Sperimentali

Gli autori hanno valutato il loro metodo su molteplici benchmark, inclusi l'osservanza delle istruzioni (IFEval, IFBench), la gerarchia delle istruzioni (IHEval), il ragionamento generale (MMLU, MATH-500) e la sicurezza (Harmbench, WildJailbreak, TensorTrust).

Performance della Gerarchia delle Istruzioni: L'addestramento su VerIH ha portato a miglioramenti costanti in tutte le famiglie di modelli. Nelle configurazioni di conflitto, il metodo ha ottenuto un miglioramento assoluto di circa il 20% nei benchmark della gerarchia delle istruzioni (ad esempio, IHEval-conflict). Ad esempio, Qwen3-8B è passato dal 46,48% al 63,48% su IHEval-conflict.
Ragionamento Generale: A differenza dei baseline di Supervised Fine-Tuning (SFT), che spesso degradano le capacità di ragionamento generale, l'approccio RLVR mantiene o migliora leggermente le performance su MMLU e MATH-500.
Sicurezza e Robustezza: Nelle valutazioni di sicurezza out-of-distribution, il metodo ha ridotto i tassi di successo degli attacchi (ASR) fino al 20% assoluto nei benchmark di jailbreak e prompt injection. Ad esempio, su WildJailbreak:harmful, Qwen3-8B ha visto una riduzione dell'ASR dal 64,05% al 41,25% rispetto ai forti baseline.
Studi di Ablazione: I risultati hanno confermato che sia la componente di ragionamento (CoT) che l'inclusione di campioni in conflitto sono necessarie. L'addestramento solo su prompt allineati non è riuscito a risolvere efficacemente i conflitti, e la disattivazione del ragionamento durante l'addestramento ha portato a una conformità superficiale.

Significato e Rivendicazioni

Il documento sostiene che il ragionamento esplicito sulla gerarchia delle istruzioni fornisce un meccanismo pratico per migliorare l'affidabilità e la controllabilità dell'IA. I punti chiave di significatività includono:

Controllo Dinamico: A differenza degli approcci precedenti che richiedono il riaddestramento per adattarsi a nuovi principi o istruzioni OOD, questo metodo consente cambiamenti di comportamento prevedibili e controllabili semplicemente aggiornando i prompt di sistema ad alta priorità al momento dell'inferenza.
Sicurezza Emergente: I risultati supportano la visione che la sicurezza sia una proprietà emergente della capacità di un modello di risolvere i conflitti tra prompt avversari e direttive predefinite, piuttosto che un insieme di regole statiche e internalizzate.
Scalabilità: L'approccio è efficace attraverso diverse dimensioni e architetture di modelli, suggerendo che la capacità di ragionare sulle gerarchie delle istruzioni è una competenza trasferibile che può essere indotta in modelli LLM capaci di ragionamento attraverso un addestramento mirato e leggero.

Gli autori concludono che questo framework va oltre l'apprendimento implicito dei principi, offrendo una via verso modelli linguistici più robusti, controllabili e adattabili, capaci di gestire ambienti di istruzioni complessi e multi-fonte.