Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency

Titolo

Allineamento Gerarchico: Imposizione del Rispetto delle Istruzioni Gerarchiche negli LLM attraverso la Coerenza Logica

1. Il Problema

I Large Language Models (LLM) moderni operano sempre più spesso in ambienti complessi dove devono gestire istruzioni provenienti da fonti eterogenee con diversi livelli di autorità (es. policy di sistema, richieste utente, output di strumenti, documenti recuperati).

• Limitazione delle ricerche precedenti: Gli studi attuali sull'ordine gerarchico delle istruzioni si concentrano prevalentemente su scenari adversariali (es. prompt injection, jailbreak), dove l'obiettivo è prevenire violazioni di sicurezza.
• Il gap identificato: Esiste una mancanza di ricerca su come i modelli gestiscano conflitti di istruzioni benigni ma comuni nelle applicazioni reali. Ad esempio, un'istruzione di sistema che richiede un output in formato JSON può entrare in conflitto con una richiesta dell'utente che chiede testo semplice.
• Sfida: Il modello deve non solo evitare violazioni di sicurezza, ma anche preservare l'utilità del compito e la coerenza comportamentale quando le istruzioni si contraddicono parzialmente o implicitamente, rispettando la gerarchia delle autorità (es. le policy di sistema hanno priorità sulle preferenze dell'utente).

2. Metodologia: Neuro-Symbolic Hierarchical Alignment (NSHA)

Gli autori propongono NSHA, un quadro di lavoro che integra metodi neurali e simbolici per modellare e imporre esplicitamente le priorità delle istruzioni. L'approccio si divide in due fasi:

A. Inferenza Guidata dal Solver (Inference-Time)

Questa fase risolve i conflitti in tempo reale senza modificare i parametri del modello, utilizzando un approccio neuro-simbolico:

1. Atomizzazione: Il contesto di input (sistema, utente, strumenti) viene decomposto in un insieme di istruzioni atomiche discrete, ciascuna etichettata con il suo livello di autorità (0: Sistema, 1: Utente, 2: Strumenti/Documenti).
2. Rilevamento dei Conflitti (Neural Conflict Scanning): Un modello NLI (Natural Language Inference) pre-addestrato analizza le coppie di istruzioni per identificare incompatibilità semantiche (contraddizioni), costruendo una "matrice dei conflitti".
3. Ottimizzazione Gerarchica (Solver): I conflitti rilevati e le regole di autorità vengono formulati come un problema di soddisfazione dei vincoli (CSP) e risolti utilizzando un solver MaxSMT (Satisfiability Modulo Theories, es. Z3).
   • L'obiettivo è massimizzare la somma ponderata delle istruzioni selezionate, dove i pesi sono assegnati in base alla gerarchia (le istruzioni di sistema hanno pesi esponenzialmente superiori).
   • Il solver produce un sottoinsieme massimamente coerente di istruzioni applicabili, scartando quelle che violano le priorità superiori.
4. Generazione Guidata: L'LLM genera la risposta basandosi solo sul sottoinsieme di istruzioni selezionate dal solver.

B. Allineamento Gerarchico durante l'Addestramento (Training-Time)

Per eliminare la dipendenza da solver esterni durante l'inferenza e rendere il modello autonomo, gli autori introducono un processo di distillazione:

1. Costruzione del Dataset: Vengono sintetizzati contesti di istruzioni (allineati e conflittuali) partendo dal corpus Alpaca. Un solver esterno genera automaticamente le risposte "corrette" (che rispettano la gerarchia) e quelle "errate" (che violano la gerarchia).
2. Funzione di Perdita (HCAL - Hierarchy-Consistent Alignment Loss): Il modello viene fine-tuned con un obiettivo di allineamento che combina:
   • Una perdita di preferenza standard (DPO/SFT) per favorire la risposta corretta.
   • Una perdita semantica che penalizza esplicitamente la probabilità assegnata alle risposte che violano la gerarchia.
   • Una regolarizzazione KL per mantenere le capacità generali del modello.

3. Contributi Chiave

• Nuovo Focus: Spostamento dell'attenzione dai soli attacchi adversariali ai conflitti benigni ma frequenti nelle applicazioni reali.
• Framework Neuro-Simbolico: Integrazione di un solver logico (Z3) per la risoluzione rigorosa dei conflitti gerarchici, combinata con l'apprendimento neurale per la generalizzazione.
• Metodo di Addestramento: Proposta di una tecnica di distillazione (NSHA) che internalizza i principi gerarchici nei parametri del modello, permettendo un'inferenza efficiente senza solver esterni.
• Valutazione Completa: Valutazione su quattro domini critici: Rispetto delle Regole (Rule Following), Esecuzione di Compiti, Uso di Strumenti e Sicurezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Qwen3-4B e Llama-3.1-8B, utilizzando benchmark specifici (IHEval).

• Rispetto delle Regole (Rule Following):
  • I modelli base mostrano un crollo drastico delle prestazioni in scenari di conflitto (es. da ~89% a ~26% in Qwen).
  • NSHA-DPO (la variante con Direct Preference Optimization) ottiene i migliori risultati, migliorando significativamente la gestione dei conflitti (es. portando Qwen a 36.6-47.6% nei conflitti) mantenendo alte prestazioni negli scenari non conflittuali.
• Esecuzione di Compiti (Task Execution):
  • In compiti come il rilevamento della lingua o la traduzione, i conflitti causano spesso un fallimento totale (es. 0.6% di accuratezza per Llama in conflitto).
  • NSHA mitiga efficacemente questo collasso, recuperando l'utilità del compito anche quando le istruzioni utente contraddicono quelle di sistema.
• Uso di Strumenti (Tool Use):
  • L'approccio inferenziale guidato dal solver (NS) migliora notevolmente la robustezza, ma NSHA-HCAL dimostra di essere superiore su modelli più piccoli (Llama) per mantenere la coerenza nell'uso degli strumenti.
• Sicurezza (Safety):
  • NSHA migliora la resilienza contro attacchi di tipo prompt hijack e extraction, mantenendo alte le barriere di sicurezza anche sotto pressione gerarchica.
• Robustezza Multi-turno:
  • L'analisi mostra che i modelli faticano a mantenere la coerenza gerarchica su più turni di conversazione. NSHA-DPO dimostra la capacità di preservare le priorità di sistema anche in interazioni prolungate, superando i metodi basati su Chain-of-Thought (CoT) o prompting statico.

5. Significato e Impatto

Questo lavoro è fondamentale per lo sviluppo di agenti AI affidabili in ambienti reali.

• Affidabilità Operativa: Garantisce che gli assistenti rispettino le policy aziendali o di sicurezza (livello alto) anche quando l'utente richiede azioni che le violano (livello basso), senza però ignorare completamente le richieste utente se non conflittuali.
• Sicurezza e Controllo: Offre un meccanismo trasparente e verificabile per gestire le priorità, riducendo i rischi di comportamenti indesiderati o "allucinazioni" causate da istruzioni contrastanti.
• Scalabilità: La capacità di distillare la logica del solver nel modello neurale permette di deployare sistemi robusti senza il sovraccarico computazionale di solver esterni in produzione.

In sintesi, NSHA rappresenta un passo avanti verso LLM che non solo "capiscono" le istruzioni, ma le ragionano gerarchicamente, bilanciando sicurezza, conformità e utilità in scenari complessi e dinamici.