Riepilogo Tecnico: CALYREX – Trasformatori LaYeR Estesi con Cross-Attention per l'Ancoraggio dei Prompt di Sistema

Enunciato del Problema

I moderni Modelli Linguistici di Grande Dimensione (LLM) si affidano a prompt di sistema per definire vincoli comportamentali e regole di sicurezza. Tuttavia, le architetture Transformer standard utilizzano un meccanismo di auto-attenzione causale uniforme che tratta le istruzioni privilegiate di sistema e i contenuti utente non attendibili con pari priorità strutturale. Gli autori identificano questo come il "problema della Gerarchia delle Istruzioni", una discrepanza strutturale che porta a due vulnerabilità critiche:

1. Iniezione di Prompt: Input utente avversari possono sovrascrivere le regole di sistema, dirottando l'obiettivo del modello.
2. Erosione delle Istruzioni: Le istruzioni di sistema si degradano gradualmente nel corso di sequenze estese o multi-turno.

Le attuali strategie di mitigazione, come il Fine-Tuning Supervisionato (SFT), LoRA e l'ottimizzazione delle preferenze, trattano questo come un difetto comportamentale da risolvere tramite dati. Gli autori sostengono che ciò comporta una "penalità di spostamento della distribuzione" che sovrascrive le capacità di ragionamento pre-addestrate. Ipotizzano che un rigoroso rispetto delle regole sia un problema di instradamento strutturale che richiede un intervento architetturale piuttosto che semplici aggiornamenti dei pesi.

Metodologia: Architettura CALYREX

Il documento propone CALYREX (Trasformatori LaYeR Estesi con Cross-Attention), un'architettura che isola e ancora strutturalmente i prompt di sistema utilizzando meccanismi di cross-attenzione.

Meccanismo Principale

CALYREX inserisce blocchi Cross-Attention Layer (CAL) tra i livelli di auto-attenzione standard. A differenza della cross-attenzione standard che interroga encoder esterni (ad esempio, nei modelli multimodali), CALYREX deriva le sue Chiavi ($K$) e i suoi Valori ($V$) esclusivamente dallo span del prompt di sistema all'interno della stessa sequenza, mentre le Query ($Q$) sono proiettate dall'intera sequenza.

• Mascheratura Causale: Viene applicata una specifica mascheratura causale per garantire che la proprietà autoregressiva sia preservata. I token precedenti al prompt di sistema non attendono a nulla; i token all'interno del prompt attendono solo ai token del prompt precedenti; i token successivi al prompt attendono all'intero prompt di sistema.
• Inizializzazione a Zero: Le proiezioni di output dei sottolivelli CAL ($W_O$ e $W_D$) sono rigorosamente inizializzate a zero. Ciò garantisce che, all'inizializzazione, il blocco agisca come una mappatura identità perfetta ($X'' = X$), preservando le capacità zero-shot del modello base ed evitando "shock rappresentazionale" o oblio catastrofico.
• Regime di Addestramento: Il backbone del modello base è rigorosamente congelato. I gradienti sono applicati esclusivamente agli adattatori CAL. Il modello è addestrato su un corpus SFT di 50.000 campioni che copre compiti generali.

Ablazione sulla Posizionamento

È stata condotta un'analisi di ablazione ad alta risoluzione su un backbone da 1,5B (Qwen2.5-1,5B) per determinare la profondità di inserimento ottimale. Lo studio ha testato otto configurazioni, dall'inserimento di blocchi dopo ogni livello al posizionamento solo negli ultimi livelli.

• Risultato: L'analisi dell'attivazione meccanica ha rivelato che i vincoli comportamentali sono naturalmente concentrati nell'ultimo ottavo dei livelli.
• Configurazione Ottimale: La configurazione LATE8TH (inserimento di 5 blocchi distribuiti nell'ultimo 1/8 dei livelli) è stata identificata come ottimale, bilanciando l'applicazione delle regole con la preservazione dell'estrazione semantica dei livelli iniziali.

Contributi Chiave

1. Architettura CALYREX: Un approccio strutturale innovativo che condiziona il transformer sullo span del prompt di sistema tramite cross-attenzione, imponendo priorità senza sovrascrivere le semantica pre-addestrate.
2. Ablazione sulla Località Spaziale: Una caratterizzazione sistematica della capacità di adesione alle regole nei backbone LLM congelati, identificando l'ultimo ottavo dei livelli come la zona critica per l'applicazione dei vincoli.
3. Valutazione Dipendente dalla Scala: Un'analisi comparativa alle scale 1,5B e 8B che dimostra come il vantaggio architetturale di CALYREX si ampli con la dimensione del modello, in particolare nell'aderenza alle istruzioni e nella resistenza alla sicurezza.

Risultati Sperimentali

Scala 1,5B (Qwen2.5-1,5B)

• Adesione alle Istruzioni: La configurazione LATE8TH ha superato le baseline LoRA e ParallelMLP con parametri corrispondenti nel formato rigoroso (IFEval) e nell'aderenza multi-turno (SysBench).
• Preservazione del Ragionamento: A differenza di LoRA, che ha sofferto di oblio catastrofico su MMLU e GSM8K a causa del fine-tuning su corpus ristretti, CALYREX (con backbone congelato) ha preservato le prestazioni del modello base.
• Sicurezza: CALYREX ha ridotto significativamente i tassi di successo degli attacchi Many-Shot Jailbreaking (MSJ) rispetto a LoRA. Ha superato ParallelMLP in tutti e quattro i benchmark di sicurezza, confermando che l'instradamento tramite cross-attenzione, e non solo l'aggiunta di parametri nelle fasi finali, guida la resistenza.

Scala 8B (Llama-3.1-8B)

Il divario architetturale tra CALYREX e la baseline ParallelMLP si è ampliato sostanzialmente a questa scala:

• Adesione alle Istruzioni: CALYREX ha ottenuto un miglioramento del +7,4% su IFEval e del +16,3% sull'aderenza multi-turno (SysBench) rispetto alla baseline ParallelMLP.
• Sicurezza: CALYREX ha ridotto il tasso di successo degli attacchi Many-Shot Jailbreaking del 13,1% rispetto a ParallelMLP.
• Robustezza Contestuale: Nei test Long-IFEval (fino a 32k di contesto), CALYREX ha mantenuto una maggiore accuratezza rigorosa rispetto a ParallelMLP a lunghezze di medio range (8k–16k), sebbene tutti i modelli fine-tuned convergessero a lunghezze estreme.
• Limitazioni: CALYREX non ha mostrato un vantaggio coerente rispetto a ParallelMLP nell'estrazione rigorosa di informazioni (SQuAD) o nella generazione JSON complessa (Glaive FC). Su benchmark avversari diretti (IH-Challenge, TensorTrust), i miglioramenti sono stati incoerenti, suggerendo che l'ancoraggio strutturale da solo è insufficiente senza regole difensive esplicite nel prompt.

Significato e Affermazioni

Il documento afferma che CALYREX affronta il problema della Gerarchia delle Istruzioni trattando l'adesione al prompt di sistema come una questione di instradamento strutturale piuttosto che comportamentale.

• Isolamento Strutturale: Disaccoppiando il prompt di sistema dal contesto utente tramite percorsi dedicati di cross-attenzione, l'architettura impedisce ai contenuti utente di sovrascrivere strutturalmente le istruzioni privilegiate.
• Efficienza di Scala: I risultati suggeriscono che i modelli più grandi (8B+) utilizzano più efficacemente il percorso di instradamento dedicato fornito da CALYREX, portando a un ampliamento dei divari di prestazioni rispetto alle baseline strutturali all'aumentare della dimensione del modello.
• Sicurezza e Allineamento: L'approccio offre una via per imporre regole di sicurezza e vincoli comportamentali senza l'oblio catastrofico associato al fine-tuning dell'intera rete, rendendolo adatto a deployment critici per la sicurezza dove la preservazione del ragionamento pre-addestrato è fondamentale.

Gli autori concludono che, sebbene l'implementazione attuale si basi su SFT standard e sia limitata dalla copertura del corpus, il quadro architetturale fornisce una base solida per future tecniche di allineamento (come RLHF o DPO) mirate specificamente ai blocchi CAL.