Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

Sintesi Tecnica: Addestramento di LLM per l'applicazione di gerarchie di istruzioni multi-livello tramite la Ottimizzazione delle Preferenze Dirette con Ponderazione Gravitazionale

Problema
I modelli linguistici di grandi dimensioni (LLM) in produzione elaborano attualmente le istruzioni provenienti da fonti con livelli di fiducia vastamente differenti—che vanno dalle politiche di sicurezza immutabili della piattaforma e dai prompt di sistema dello sviluppatore, fino alle query dell'utente finale e agli output potenzialmente avversariali degli strumenti. Architetturalmente, questi input vengono concatenati in una singola sequenza di token in cui ogni token riceve un'attenzione uniforme, uno stato descritto come esecuzione in "modalità kernel". Questa uniformità strutturale crea una vulnerabilità alla prompt injection, dove input malevoli possono dirottare il comportamento del modello, e lascia i modelli privi di un meccanismo fondato per risolvere i conflitti tra istruzioni legittime ma competenti provenienti da diversi livelli gerarchici. Mentre il lavoro precedente ha proposto difese basate sull'addestramento, gli approcci esistenti tipicamente formalizzano gerarchie di soli tre o quattro livelli, trattano tutte le violazioni come ugualmente gravi e non riescono a valutare l'intero set di interazioni pairwise tra i livelli richiesto dalle moderne architetture di deployment (ad esempio, il modello a cinque stakeholder di OpenAI).

Metodologia
Gli autori formalizzano un problema di gerarchia di istruzioni a $k$ livelli, istanziandolo per $k=5$ livelli:

1. L0 (Governance della Piattaforma): Regole di sicurezza immutabili.
2. L1 (Prompt di Sistema dello Sviluppatore): Persona e ambito.
3. L2 (Configurazione per Utente): Preferenze di sessione.
4. L3 (Messaggio Utente): Input a runtime.
5. L4 (Output di Dati/Strumenti): Contenuto esterno.

Questa struttura genera dieci distinti rapporti di priorità pairwise che un modello conforme deve far rispettare. Per addestrare i modelli a rispettare tali relazioni, il documento introduce la Ottimizzazione delle Preferenze Dirette con Ponderazione Gravitazionale (GW-DPO).

• Funzione di Perdita: GW-DPO adatta l'Offset-DPO (ODPO) introducendo un offset per campione $\delta(i, j)$ che scala con la distanza strutturale tra i livelli in conflitto. La perdita è definita come:
  $$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$$
  dove $\Delta r_\theta$ è il margine di reward implicito.
• Schedules (Programmazioni): Vengono valutate due programmazioni per $\delta(i, j)$:
  • Lineare: Dipende solo dal divario di privilegio ($j-i$).
  • Bilaterale: Considera sia il divario di privilegio che il privilegio del livello vittima ($k-1-i$), ponderando efficacemente la gravità di una violazione in base alla "gravità" del livello compromesso.
• Modifiche Architetturali: La pipeline di addestramento integra due componenti dalla ricerca precedente:
  • Token Delimitatori Speciali: Token di inizio/fine distinti per ogni livello gerarchico per marcare i confini.
  • Embedding di Segmento Istruzionale (ISE): Embedding per token apprendibili indicizzati per livello gerarchico, aggiunti agli embedding dei token.
• Pipeline di Addestramento: Il processo prevede un approccio in due fasi:
  1. SFT (Fine-Tuning Supervisionato): Insegna al modello a riconoscere i delimitatori e a integrare le informazioni ISE utilizzando un dataset di prompt allineati, parziali e trivialmente disallineati.
  2. GW-DPO: Utilizza una strategia di apprendimento curricolare (da facile a difficile basata sul gap gerarchico) per ottimizzare l'obiettivo di preferenza su un dataset contenente conflitti espliciti tra i livelli.

Contributi Chiave

1. Formalizzazione della Gerarchia a $k=5$: Il documento definisce una gerarchia di istruzioni a cinque livelli basata sulle architetture di produzione, generando un set di valutazione personalizzato che testa tutti i dieci rapporti di priorità pairwise.
2. GW-DPO (Ponderazione Gravitazionale): L'introduzione di GW-DPO, specificamente la programmazione bilaterale, che scala il margine di addestramento in base sia alla distanza tra i livelli in conflitto che al privilegio del livello vittima. Questo approccio migliora in modo Pareto rispetto alla standard DPO e alla variante lineare.
3. Isolamento dei Componenti tramite Ablazioni: Lo studio isola i contributi di ISE e della profondità gerarchica:
   • ISE è identificata principalmente come un calibratore della soglia di rifiuto. Rimuovendo l'ISE, l'accuratezza della risoluzione dei conflitti rimane sostanzialmente intatta, ma si verifica un picco di ordini di grandezza nell'over-refusal (rifiuto di prompt benigni), suggerendo che l'ISE aiuti il modello a distinguere tra span avversariali strutturati e span benigni strutturati senza alterare il ragionamento di conflitto sottostante.
   • Addestramento a Cinque Livelli vs Tre Livelli: Il confronto rivela un tradeoff tra generalità e specializzazione. L'addestramento a tre livelli (collassando L0-L2 in un tier "System") ottiene punteggi più alti su specifici coppie di conflitti tramite il riconoscimento della forma superficiale, ma regredisce sulla generalizzazione a prompt di testo piano e fallisce nel risolvere conflitti intra-sistema (es. L1 vs L2) che mancano di indizi superficiali.

Risultati
Valutato su Llama-3.1-8B-Instruct, la configurazione GW-DPO (bilaterale) ha ottenuto i seguenti risultati:

• Risoluzione dei Conflitti: Ha raggiunto l'aderenza massima alla priorità pairwise ($PPA_{macro} = 0.838$) e il punteggio gerarchico pesato ($WHS = 0.885$), superando la standard DPO e la variante lineare.
• Over-Refusal: Ha mantenuto un tasso di over-refusal (ORR) di 0.057, circa la metà del tasso della standard DPO (0.120) e significativamente inferiore alla configurazione No-ISE (0.576).
• Generalizzazione: Sui segmenti di riferimento a testo piano (rimozione dei delimitatori), la GW-DPO (bilaterale) ha mantenuto una forte prestazione ($PPA_{ref} = 0.793$), sebbene leggermente inferiore alla variante lineare, indicando una robusta internalizzazione della semantica gerarchica.
• Benchmark Esterni:
  • XSTest: Ha mostrato una migliore calibrazione sui prompt sicuri rispetto alla standard DPO, sebbene con un tradeoff nella gestione di prompt "sicuri ma insoliti".
  • SEP (Separazione Istruzione-Dato): Ha raggiunto un tasso di esecuzione di probe di 0.118, un miglioramento di circa 5 volte rispetto al modello base, dimostrando un'efficace separazione delle istruzioni dai dati.
  • TensorTrust: Ha raggiunto un tasso di robustezza di 0.818, superando significativamente il modello base (0.212), sebbene leggermente inferiore alla standard DPO (0.906), riflettendo il tradeoff di calibrazione.
  • MT-Bench: Ha preservato l'utilità generale di chat-assistant, con la GW-DPO (bilaterale) che ottiene un punteggio di 7.425, comparabile o superiore all'anchor off-the-shelf.

Significatività e Assertions
Il documento afferma che i margini strutturali, specificamente la programmazione bilaterale in GW-DPO, fungono da leva utile e complementare per la conformità gerarchica. Gli autori sostengono che la loro ricetta è pronta per scalare a $k$ più elevati man mano che le architetture di deployment diventano più stratificate.

Fondamentalmente, il documento inquadra la scelta tra l'addestramento a tre livelli e quello a cinque livelli non come una semplice questione di ordinamento, ma come un tradeoff tra generalità e specializzazione. L'addestramento a cinque livelli preserva la capacità di risoluzione sui rewrite di testo piano e mantiene calibrato l'over-refusal, mentre l'addestramento a tre livelli fornisce una maestria più stretta su subset specifici tramite correlazioni di forma superficiale. Gli autori enfatizzano che la programmazione bilaterale è l'unica configurazione che simultaneamente migliora la risoluzione dei conflitti e riduce l'over-refusal rispetto alla programmazione lineare, allineandosi ai vincoli di "nessuna scrittura" dei modelli di sicurezza classici (Biba, 1977).

Il lavoro conclude che, sebbene la ricetta difenda efficacemente contro la prompt injection e imponga la gerarchia, non è una difesa avversariale completa contro attaccanti motivati e richiede una attenta considerazione politica riguardo alla soppressione delle preoccupazioni degli utenti a favore delle priorità organizzative.