Control Illusion: The Failure of Instruction Hierarchies in Large Language Models

Titolo

Control Illusion: Il Fallimento delle Gerarchie di Istruzione nei Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) vengono sempre più spesso distribuiti con schemi di istruzioni gerarchiche, dove certe istruzioni (es. direttive di livello "sistema" o "sviluppatore") dovrebbero avere la priorità su altre (es. messaggi dell'utente). Tuttavia, manca una comprensione sistematica dell'efficacia di questi meccanismi di controllo gerarchico.
Il paper identifica un problema critico: nonostante l'adozione diffusa della separazione tra prompt di sistema e prompt dell'utente (es. in OpenAI, Claude, Mistral), i modelli falliscono nel mantenere una gerarchia di istruzioni coerente quando si presentano conflitti, anche in scenari semplici e verificabili. Questo fallimento compromette la sicurezza, l'affidabilità dei sistemi agentic e la capacità di configurare il modello per scopi specifici senza che l'utente finale possa sovrascrivere le regole fondamentali.

2. Metodologia

Gli autori hanno progettato un framework di valutazione sistematico basato sulla prioritizzazione dei vincoli per testare come gli LLM gestiscono le istruzioni conflittuali.

• Dataset e Costruzione:
  • Sono stati creati 1.200 punti di test unici combinando 100 task di base (es. scrivere email, storie) con 6 tipi di vincoli in conflitto reciproco e verificabili programmaticamente (es. Lingua: Inglese vs Francese; Maiuscole vs Minuscole; Lunghezza: >300 parole vs <50 parole).
  • I vincoli sono stati presentati in due modalità: istruzioni semplici e istruzioni "ricche" (con contesto espanso).
• Configurazioni Sperimentali:
  • Baseline: Test di singola istruzione (IF) e assenza di gerarchia (NP).
  • Separazione Sistema/Utente: Tre configurazioni diverse per testare la robustezza del prompt:
    1. Pure: Vincolo primario nel prompt di sistema, secondario in quello utente.
    2. Task: Descrizione del task ripetuta in entrambi i prompt.
    3. Emph.: Messaggio di sistema con dichiarazioni esplicite di priorità ("Devi sempre seguire...").
• Metriche di Valutazione:
  • Tasso di Obbedienza Primaria (R1): Percentuale di risposte che seguono solo il vincolo prioritario.
  • Tasso di Riconoscimento Esplicito del Conflitto (ECAR): Frequenza con cui il modello ammette esplicitamente la contraddizione.
  • Rapporto di Adesione alla Priorità (PAR): Misura quanto il modello rispetta la priorità quando riesce a soddisfare un vincolo (escludendo i casi di non conformità).
  • Bias del Vincolo (CB): Misura le preferenze innate del modello tra due vincoli conflittuali, indipendentemente dalla priorità assegnata.

3. Contributi Chiave

1. Framework di Valutazione Sistematico: Introduzione di un protocollo controllato e metriche quantitative per isolare e misurare il fallimento delle gerarchie di istruzioni.
2. Dimostrazione del Fallimento Gerarchico: Evidenza empirica che la separazione sistema/utente non garantisce una gerarchia affidabile, nemmeno con istruzioni esplicite di priorità.
3. Identificazione dei Bias Innati: Scoperta che i modelli possiedono forti bias intrinseci verso certi tipi di vincoli (es. preferenza per il testo minuscolo, per frasi più lunghe) che sovrascrivono le istruzioni di priorità.
4. Scoperta dei Priors Gerarchici Latenti: Dimostrazione che le gerarchie sociali (autorità, expertise, consenso) apprese durante il pre-training hanno un impatto maggiore sulla gerarchia delle istruzioni rispetto ai ruoli artificiali di sistema/utente definiti nel post-training.

4. Risultati Principali

• Inefficacia della Separazione Sistema/Utente:
  • Mentre i modelli seguono bene le istruzioni singole (74-90% di successo), il tasso di obbedienza al vincolo primario (R1) crolla drasticamente in caso di conflitto (media tra il 9,6% e il 45,8% a seconda del modello).
  • Anche configurazioni con enfasi esplicita sulla priorità falliscono nel garantire un controllo affidabile.
  • Non c'è una correlazione diretta con le dimensioni del modello: modelli più grandi (es. Llama-70B) non performano significativamente meglio di quelli più piccoli, e talvolta peggio (GPT-4o vs GPT-4o-mini).
• Riconoscimento del Conflitto:
  • I modelli raramente riconoscono esplicitamente i conflitti (ECAR basso, es. 0,1% per Qwen-7B, fino al 20% per Llama-70B).
  • Quando riconoscono il conflitto, non sempre risolvono correttamente la gerarchia.
• Bias Intrinseci:
  • I modelli mostrano preferenze costanti indipendentemente dalla priorità assegnata. Ad esempio, tutti i modelli tendono a preferire il testo minuscolo rispetto a quello maiuscolo e testi più lunghi rispetto a quelli brevi.
  • Questi bias sono talvolta condivisi tra architetture diverse (suggerendo origini nel data di pre-training) e talvolta specifici del modello.
• Gerarchie Sociali vs. Ruoli Artificiali:
  • Quando le istruzioni conflittuali sono incorniciate da gerarchie sociali (es. "Il CEO richiede X" vs "Il Tirocinante richiede Y", o "90% degli esperti concorda"), il rispetto della priorità aumenta drasticamente.
  • Il PAR sale da ~47% (con separazione sistema/utente) a ~77% (con consenso sociale) per GPT-4o-mini, e da ~14% a ~65% per Qwen-7B.
  • Questo suggerisce che i modelli internalizzano le strutture sociali apprese durante il pre-training come "priors comportamentali" più forti delle guardrail imposti dopo il training.

5. Significato e Implicazioni

Lo studio rivela una "illusione di controllo": i meccanismi attuali per gestire le gerarchie di istruzioni negli LLM sono fondamentalmente fragili.

• Sicurezza e Allineamento: Se i modelli ignorano le istruzioni di sistema a favore di bias interni o gerarchie sociali implicite, le strategie di sicurezza basate su prompt di sistema potrebbero essere inefficaci o facilmente aggirabili (es. tramite tecniche di jailbreak che sfruttano l'autorità o il consenso).
• Limiti del Post-Training: L'addestramento post-training (instruction tuning) non è sufficiente per creare una gerarchia di comandi robusta e generalizzabile.
• Direzione Futura: È necessario innovare a livello architetturale e di training per integrare meccanismi di priorità che siano più resilienti dei semplici prompt. Inoltre, la ricerca sull'allineamento deve considerare e mitigare i "priors gerarchici latenti" derivanti dai dati di pre-training, che potrebbero competere con le istruzioni di sicurezza deliberate.

In sintesi, il paper mette in discussione l'assunto corrente secondo cui la separazione tra prompt di sistema e utente garantisce automaticamente il controllo del comportamento del modello, evidenziando la necessità di un ripensamento fondamentale su come gli LLM apprendono e applicano le gerarchie di comando.