💻 computer science

Ghost in the Context: Measuring Policy-Carriage Failures in Decision-Time Assembly

Questo documento identifica e quantifica i "fallimenti di trasporto delle politiche" negli agenti di modelli linguistici causati dall'assemblaggio del contesto al momento della decisione (come la troncatura e la sintesi) che involontariamente eliminano lo stato portatore di direttive, e valuta un livello di controllo denominato SafeContext che mitiga parzialmente tali rischi fissando lo stato critico e iniettando promemoria, sebbene la sua efficacia rimanga limitata e condizionata dalla politica.

Autori originali: Igor Santos-Grueiro

Pubblicato 2026-05-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Igor Santos-Grueiro

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Principale: Il "Fantasma" nella Macchina

Immagina di essere un giudice in un'aula di tribunale. Hai una pila enorme di prove (la cronologia della conversazione) e un insieme di regole rigide da seguire (le policy). Tuttavia, ti è consentito leggere solo le prime 10 pagine di quella pila prima di dover prendere la tua decisione finale.

Il documento sostiene che gli agenti AI hanno un problema simile. Prima che l'AI risponda a una domanda, un sistema "intermediario" (chiamato Decision-Time Context Assembly) frammenta la cronologia della conversazione, la riassume e la adatta a una piccola scatola da inviare al modello AI.

La parte inquietante? Se l'intermediario scarta accidentalmente le regole o le riscrive in modo che non abbiano più senso, l'AI potrebbe infrangere le regole, anche se l'AI stessa è intelligente e le regole erano state chiaramente enunciate in precedenza. Il documento definisce questo un "Policy-Carriage Failure" (Mancato trasporto della policy). La regola era presente, ma non è "arrivata" fino al momento della decisione.

I Tre Modi in cui le Regole Vanno Perse

Gli autori hanno individuato tre modi specifici in cui queste regole scompaiono o vengono distorte durante la fase "intermediaria":

Evizione (Il Problema "Persi nel Rimescolamento"):
- Analogia: Immagina di dire a un amico, "Non dimenticare di chiudere a chiave la porta", all'inizio di una lunga telefonata. Quando arrivi alla fine della chiamata, il tuo amico ha dimenticato quell'istruzione perché avete parlato di così tante altre cose.
- Cosa succede: La regola viene spinta fuori dalla piccola "scatola" di memoria perché non c'era abbastanza spazio. L'AI semplicemente non vede mai la regola quando è il momento di agire.
Aliasing (Il Problema "Traduzione Cattiva"):
- Analogia: Dici a un traduttore, "Non mangiare le bacche rosse". Il traduttore riassume questo dicendo: "Fai attenzione alle bacche". Le parole "rosse" e "non mangiare" sono sparite. L'AI vede un avvertimento, ma è troppo debole per impedirle di mangiare le bacche.
- Cosa succede: La regola sopravvive, ma viene riassunta o riscritta in modo così lasco da non vietare più rigorosamente l'azione negativa. Lo "spirito" della regola viene infranto.
Instabilità del Legame (Il Problema "Obiettivo Sbagliato"):
- Analogia: Dici a una guardia di sicurezza, "Impedisci alla Persona A di entrare". Più tardi, la guardia vede un riassunto che dice: "Impedisci alla Persona B di entrare". La regola è ancora lì, ma punta alla persona sbagliata.
- Cosa succede: Il testo della regola sopravvive, ma viene associato all'oggetto, alla persona o alla condizione sbagliata.

L'Esperimento: Testare l'"Intermediario"

I ricercatori hanno testato questo su diversi modelli AI (come Llama, Qwen e Mistral). Hanno creato scenari in cui l'AI doveva seguire regole rigide (come "non cancellare i dati" o "non utilizzare strumenti esterni") mentre veniva bombardata da molte altre informazioni (output degli strumenti, log delle chat, riassunti).

I Risultati:

Il Problema è Reale: Senza alcun aiuto, l'AI infrangeva frequentemente le regole perché il sistema "intermediario" lasciava cadere o indeboliva le istruzioni.
La Soluzione (SafeContext): I ricercatori hanno costruito un livello di sicurezza chiamato SafeContext. Pensalo come un Pass VIP per le regole.
- Costringe le regole ad essere "fissate" in cima alla lista in modo che non possano essere scartate.
- Riutilizza le regole in modo efficiente in modo che non occupino troppo spazio.
- Se la conversazione diventa troppo affollata, inietta un promemoria rapido delle regole subito prima che l'AI risponda.

Ha Funzionato la Soluzione?

Sì, ma con limiti. La soluzione ha aiutato l'AI a seguire le regole più spesso, specialmente quando la conversazione era molto affollata.
Non è magia. Anche con la soluzione, l'AI non ha ottenuto punteggi perfetti. Se l'"intermediario" utilizzava un riassuntore molto aggressivo, la soluzione non poteva salvare completamente le regole.
I modelli più grandi non sono la risposta. Utilizzare un'AI molto più intelligente e grande non ha risolto automaticamente il problema. Il problema riguardava il modo in cui il contesto veniva assemblato, non quanto fosse intelligente l'AI.

Il Costo della Sicurezza

Il documento ha esaminato anche il "prezzo" di questa sicurezza.

Costo in Token: Mantenere le regole al sicuro richiedeva talvolta l'invio di più testo all'AI (come aggiungere una nota di promemoria).
La Buona Notizia: Il loro metodo "Smart Reuse" (memorizzazione nella cache) ha effettivamente risparmiato denaro in alcuni casi. Invece di riscrivere le regole ogni volta, puntavano semplicemente alla versione precedente, risparmiando spazio.

La Conclusione

Il documento conclude che la sicurezza non riguarda solo il modello AI stesso. Riguarda anche la "linea di assemblaggio" che prepara la memoria dell'AI. Se quella linea di assemblaggio lascia cadere le regole, l'AI fallirà, indipendentemente da quanto sia intelligente.

Per rendere l'AI più sicura, dobbiamo trattare le regole come oggetti speciali e protetti che devono sopravvivere al viaggio verso il cervello dell'AI, piuttosto che trattarle semplicemente come testo ordinario che può essere riassunto o cancellato per risparmiare spazio.

Riepilogo Tecnico: Il Fantasma nel Contesto

Definizione del Problema

Questo documento identifica una distinta modalità di fallimento della sicurezza negli agenti di Modelli Linguistici su Grande Scala (LLM), denominata fallimento del trasporto delle policy durante l'assemblaggio del contesto al momento della decisione.

Negli stack di agenti distribuiti, il modello non agisce sulla cronologia delle interazioni grezza. Al contrario, un livello di orchestrazione ( $E$ ) assembla uno "stato decisionale" ( $C_t$ ) delimitato, troncando, riassumendo, riordinando e riscrivendo lo stato precedente prima della chiamata finale al modello ( $M$ ). Gli autori sostengono che il confine di sicurezza si estenda oltre i pesi del modello e la superficie visibile del prompt per includere questo sottosistema di assemblaggio.

La minaccia fondamentale è che lo stato portatore di direttive (ad esempio, policy di sicurezza, regole di autorizzazione/negazione, vincoli di autorità) compete per un budget limitato di token contro gli output degli strumenti, le note del pianificatore e il contenuto dell'utente. Se il processo di assemblaggio elimina, indebolisce o ridefinisce queste direttive prima che il modello le veda, l'agente può oltrepassare un confine di policy senza alcun iniezione di prompt, compromissione del modello o avvelenamento persistente della memoria. L'avversario deve solo controllare la pressione di schedulazione (il volume e l'ordinamento dei contenuti non di controllo) per indurre questi fallimenti.

Il documento classifica questi fallimenti in tre famiglie:

Evizione: Lo stato portatore di direttive viene spostato e non raggiunge più lo stato decisionale (Fallimento di Disponibilità).
Aliasing: La direttiva sopravvive ma viene semanticamente indebolita, riscritta o distorta, non riuscendo a preservare il confine operativo originale (Fallimento di Integrità).
Instabilità del Legame: La direttiva rimane visibile ma viene ricollegata al soggetto, oggetto o condizione sbagliato (Deriva del Riferimento).

Metodologia

Lo studio valuta queste modalità di fallimento utilizzando una campagna controllata e chiusa su modelli locali allineati: Llama 3.1 8B, Qwen 2.5 7B e Mistral 7B, con un'estensione a Qwen 2.5 14B e Llama 3.1 70B.

Configurazione Sperimentale

Regime di Budget: Un budget deliberatamente severo di 260 token al momento della decisione. Questo forza compromessi realistici tra l'impalcatura di sistema, le tracce degli strumenti, i riassunti e la query finale, assicurando che la competizione delle policy sia osservabile.
Vettori di Attacco: Vengono costruiti scenari per indurre evizione, aliasing e instabilità del legame variando l'ordinamento e il volume dei contenuti "riempitivi" (output degli strumenti, note del pianificatore) rispetto agli span portatori di direttive.
Metriche:
- Tasso di Ritenzione Esatta del Vincolo (ECR): Se la risposta finale rispetta esattamente tutti i vincoli applicabili.
- Tasso di Sopravvivenza del Vincolo (CSR): Una misura graduata del rispetto parziale.
- Tasso di Inversione Decisionale (DFR): Se cambiare solo l'ordine del prompt inverte l'esito del controllo.
- Tasso di Preservazione Diretta (DPR): Un audit diretto dello stato decisionale assemblato per verificare se i marcatori di vincolo siano esplicitamente visibili prima della chiamata al modello.

Intervento: SafeContext

Gli autori propongono e valutano SafeContext, un livello di controllo che interviene nel processo di assemblaggio senza modificare i pesi del modello. I suoi meccanismi includono:

Controllo di Ammissione (LPC): Classificare i segmenti in arrivo come "Policy" o "Dati" prima della competizione per il budget.
Ancoraggio Semantico di Controllo (SCP): Riservare un budget protetto per lo stato portatore di direttive e ancorarlo nello stato decisionale.
Riutilizzo del Prefisso Consapevole della Cache: Riutilizzare i prefissi di controllo mantenuti tra i turni per evitare costi di riserializzazione.
Ingegneria del Contesto Invasiva (ICE): Attivare brevi promemoria di controllo vicino alla query finale quando la pressione dei token di input supera una soglia (Emivita della Sicurezza).
Auditor del Punteggio di Legame di Autorità (ABS): Verificare che le direttive sopravvissute rimangano legate ai loro oggetti previsti.

Risultati Chiave

1. Rischio Sistematico Non Mitigato (C1)

Il rischio non mitigato è sistematico. Nel regime a basso budget, il rispetto esatto dei vincoli (ECR) è estremamente basso in tutti i modelli e famiglie di attacco.

Evizione e Aliasing sono le modalità di fallimento dominanti.
Instabilità del Legame è più piccola e rumorosa.
Senza mitigazione, gli span portatori di direttive vengono frequentemente spostati o indeboliti dalla cronologia ordinaria prima della chiamata al modello.

2. Effetti Residui contro la Compattazione Forte (C2)

L'efficacia della mitigazione dipende fortemente dalla policy di assemblaggio concorrente.

Contro la semplice troncatura, SafeContext produce guadagni piccoli ma positivi nell'ECR (ad esempio, un aumento da ~0,027 a ~0,061 per SCP+ICE).
Contro la compattazione strutturata forte (B2+), il sollevamento aggregato scompare in gran parte. Il beneficio residuo è concentrato quasi esclusivamente nell'evizione da overflow (dove la pressione è massima) e in specifiche fette di aliasing.
Il solo riplay (semplicemente ripetere i vincoli) non spiega l'effetto; i guadagni derivano dalla gestione specifica dello stato di controllo (ancoraggio e isolamento), non solo dalla recenza.

3. Eterogeneità e Scala (C3)

L'effetto è ricorrente ma eterogeneo. Il segno e la magnitudine dei benefici di mitigazione dipendono dall'interazione tra i prior del modello e la specifica policy di assemblaggio.
I modelli più grandi (14B, 70B) non cancellano il fenomeno. Mentre Qwen 14B mostra risultati positivi nell'aliasing, Llama 70B rimane condizionato dalla policy. La scala non collassa la modalità di fallimento in un semplice effetto "modello più grande"; la regola governante deve ancora raggiungere il momento della decisione in tempo reale e correttamente rappresentata.

4. Profilo Costo-Beneficio (C4)

SafeContext introduce un compromesso sintonizzabile tra sicurezza e sovraccarico:

SCP (Ammissione/Ancoraggio): Basso costo (~+5 token) con guadagni moderati nell'ECR.
SCP+ICE: Costo più alto (~+37 token) con guadagni più elevati nell'ECR.
SCP+Cache+ICE: Può effettivamente ridurre i conteggi totali di token (~-365 token) evitando la riserializzazione degli span di controllo ancorati, pur raggiungendo i guadagni più alti nell'ECR.
Il "Guadagno di Sicurezza" non è uniforme; è più pronunciato dove lo stato portatore di controllo è sotto la massima pressione.

Significato e Affermazioni

Il documento afferma che l'assemblaggio del contesto al momento della decisione è una parte misurabile e distinta del percorso di controllo negli agenti LLM.

Cambio del Modello di Minaccia: La sicurezza non può essere limitata ai pesi del modello o alla superficie del prompt finale. Il sottosistema che assembla il contesto ( $E$ ) fa parte della Base di Calcolo Fidato (TCB). Un avversario non ha bisogno di iniettare stringhe malevole; può semplicemente manipolare la pressione di schedulazione per causare la caduta o l'indebolimento delle direttive autorevoli.
Decomposizione del Fallimento: Il documento opera una tassonomia di fallimenti (Evizione, Aliasing, Instabilità del Legame) che va oltre la generica "degradazione del contesto lungo" per arrivare a fallimenti specifici dello stato di controllo.
Irrigidimento Parziale: Sebbene il rispetto esatto assoluto rimanga basso anche dopo la mitigazione, la gestione mirata dello stato portatore di direttive (ammissione, ancoraggio e rinforzo attivato dalla pressione) può parzialmente irrobustire il sistema.
Implicazione di Progettazione: Lo stato portatore di direttive deve essere trattato come stato di runtime di prima classe, distinto dal contesto conversazionale ordinario o generato dagli strumenti. Richiede percorsi di ammissione espliciti, budget riservati e audit di integrità, piuttosto che essere soggetto a compressione opportunistica.

Gli autori concludono che, sebbene finestre più ampie e miglioramenti generici della memoria non eliminino questo problema, i fallimenti specifici del trasporto delle policy nell'assemblaggio delimitato possono essere decomposti, misurati e parzialmente mitigati attraverso interventi a livello di orchestrazione.