Sintesi Tecnica: Un Fantasma negli Agenti a Lungo Orizzonte (GHOST)

Definizione del Problema: Pericolo di Governance da Vincoli di Sicurezza Trascurati

Questo articolo identifica un modo specifico di fallimento nei modelli di linguaggio di grandi dimensioni (LLM) agenti che utilizzano strumenti e operano su lunghi orizzonti temporali, denominato Governance Hazard from Overlooked Safety Constraints (GHOST) (Pericolo di Governance da Vincoli di Sicurezza Trascurati attraverso i Turni).

Mentre la ricerca attuale sulla sicurezza si concentra sugli attacchi avversari (ad esempio, prompt injection) o su richieste immediatamente dannose, il GHOST sorge in condizioni di interazione benigne. Si verifica quando un agente completa con successo un compito ma viola un vincolo di sicurezza che era stato esplicitamente dichiarato in un turno precedente della conversazione. L'agente "dimentica" o non riesce a recuperare il vincolo perché è separato dal compito corrente da una lunga cronologia di interazioni, portando a danni irreversibili (ad esempio, eliminare email senza approvazione, distruggere record di database).

Gli autori distinguono questo fenomeno dai generici fallimenti nel seguire le istruzioni. In un evento GHOST:

1. L'obiettivo del compito viene completato con successo.
2. Il vincolo di sicurezza è ancora valido e richiesto.
3. Il vincolo è presente nella cronologia del contesto, ma non viene ripetuto nel prompt di ripresa immediato.
4. L'agente esegue il compito in modo non sicuro nonostante il vincolo sia presente nell'intera finestra di contesto.

Quadro Teorico: Raggiungibilità della Regione di Pericolo

Il documento fornisce un'analisi teorica che modella i vincoli di sicurezza come regioni di pericolo ($B_s$) nello spazio delle azioni. Gli autori definiscono un rischio residuo condizionale di ingresso, $h_k$, che rappresenta la probabilità che un agente entri in una regione di pericolo in un'opportunità critica per la sicurezza $k$, dato un prefisso di cronologia sicuro.

Insight Teorico Chiave:
Utilizzando un framework di rischio condizionale, gli autori dimostrano che se i rischi residui condizionali lungo i prefissi sicuri sono limitati inferiormente da una sequenza non sommabile (ovvero $\sum \epsilon_k = \infty$), l'agente entrerà nella regione di pericolo quasi certamente ($Pr(\sigma_B < \infty) = 1$).

Essi stabiliscono inoltre un Corollario Condizionato al Contesto: man mano che la cronologia dell'interazione cresce (aumentando la lunghezza del contesto $L_k$), l'effetto di "diluizione dell'attenzione" può indebolire la governance dei vincoli storici, aumentando efficacemente il limite inferiore del rischio residuo. Se questo limite inferiore del rischio rimane non sommabile su opportunità indefinite, la probabilità di un evento GHOST si avvicina a 1. Ciò suggerisce che le cronologie più lunghe non riducono semplicemente le prestazioni in modo lineare, ma possono alterare fondamentalmente la dinamica della sicurezza, rendendo le violazioni inevitabili senza intervento.

Metodologia: SCARBench e STAR-Guard

1. SCARBench: Safety-Constraint Availability at Reactivation Benchmark

Per validare empiricamente il GHOST, gli autori introducono SCARBench, un benchmark eseguibile e basato su ambiente.

• Struttura: Comprende 103 scenari base unici attraverso sei domini di utilizzo di strumenti (dispositivo/calendario, finanza, email, file system, richieste di rete, esecuzione di script), per un totale di 412 istanze corrispondenti.
• Condizioni: Ogni scenario è testato sotto quattro condizioni che variano per lunghezza della cronologia (Breve vs. Lunga) e disponibilità del vincolo (Esplicito vs. Implicito):
  • SE/SI: Cronologia breve con vincoli Espliciti/Impliciti.
  • LE/LI: Cronologia lunga (6.000+ token, 56–160 turni) con vincoli Espliciti/Impliciti.
• Metrica: Il benchmark misura lo Strict GHOST, definito come un'istanza in cui l'agente completa il compito in modo sicuro nella condizione Esplicita (LE), ma lo completa in modo non sicuro nella condizione Implicita (LI), nonostante il vincolo sia presente nella cronologia.

2. STAR-Guard: Una Difesa a Due Livelli

Per mitigare il GHOST, gli autori propongono STAR-Guard (Safety-Constraint Tracking, Activation, and Runtime-Audit Guard), un meccanismo di difesa che non dipende dalla conoscenza "oracle" dei vincoli.

• Livello 1: Ripristino Semantico dei Vincoli

  • Estrazione: Un modulo di ingestione online analizza i messaggi in entrata dell'utente per rilevare vincoli di sicurezza persistibili, estraendone l'ambito, l'attivatore (trigger) e la regola.
  • Archiviazione: Questi vengono memorizzati come "oggetti di regola del ciclo di vita" strutturati in una libreria esterna.
  • Ripristino: Quando un compito viene ripreso, un gate semantico confronta l'attuale compito con la libreria. I vincoli applicabili vengono semanticamente ripristinati (renderizzati) nel prompt del contesto corrente per guidare la generazione della proposta dell'agente.
  • Limitazione: Questo livello è probabilistico; riduce la probabilità di proposte non sicure, ma non può garantire la sicurezza.

• Livello 2: Audit Deterministico Pre-Esecuzione

  • Interposizione: Prima che qualsiasi azione raggiunga l'ambiente, un auditor di regole deterministico controlla l'azione proposta dall'agente rispetto ai vincoli attivi.
  • Enforcement: L'auditor applica una politica di "proibizione prioritaria". Se una proposta viola una regola di proibizione, viene bloccata immediatamente. Se viola una regola di prerequisito (ad esempio, "backup prima di eliminare"), il sistema tenta di eseguire il prerequisito (riparazione) e ri-audita. Se la riparazione è impossibile, l'azione viene bloccata.
  • Garanzia: Questo livello assicura che nessuna azione che violi un vincolo attivo raggiunga l'ambiente, interrompendo il meccanismo di accumulo del rischio.

Risultati Sperimentali

Gli autori hanno valutato STAR-Guard su sette modelli (cinque serviti tramite API, due implementati localmente) utilizzando SCARBench.

1. Prevalenza di GHOST:

   • Il GHOST è un problema diffuso. Su GPT-5.5, il tasso di Strict GHOST era dell'11,5% in condizioni di lungo contesto benigne.
   • Altri modelli hanno mostrato tassi compresi tra il 6,8% (Kimi-K2.6) e il 27,8% (Qwen3.5-4B).
   • La metrica "Difference-in-Differences" ha confermato che le cronologie lunghe amplificano significativamente il tasso di fallimento del recupero dei vincoli rispetto alle cronologie brevi.

2. Efficacia di STAR-Guard:

   • GPT-5.5: STAR-Guard ha ridotto il tasso di Completamento Non Sicuro (UC) dal 12,4% allo 0,0% e il tasso di Strict GHOST dall'11,5% allo 0,0%, aumentando al contempo il Completamento Sicuro (SC) dal 76,3% al 94,0%.
   • Qwen3.5-4B: Il SC è aumentato dal 47,0% all'81,2%, mentre il GHOST è sceso dal 27,8% all'1,9%.
   • Studi di Ablazione: I risultati dimostrano che né il solo "Restoration Only" né il solo "Audit Only" sono sufficienti da soli. Il ripristino migliora la sicurezza ma lascia rischi residui; l'audit blocca i rischi ma può ostacolare il completamento del compito se usato senza guida semantica. La combinazione ottiene il miglior compromesso.

3. Confronto con i Baseline:

   • I metodi di recupero standard (BM25), la riepilogazione (summarization) e i raffinamenti del rispetto delle istruzioni (ad esempio, DeCRIM, Prompt Reminder) non sono riusciti a ridurre significativamente i tassi di GHOST, mantenendo spesso alti i tassi di completamento non sicuro.
   • I metodi basati su "Oracle" (che assumono che il vincolo sia già noto) hanno ottenuto buone prestazioni ma non sono praticabili per il deployment nel mondo reale dove i vincoli devono essere catturati online. STAR-Guard ha raggiunto una sicurezza comparabile senza l'accesso all'oracle.

Significato e Rivendicazioni

L'articolo sostiene che il GHOST rappresenti una lacuna di sicurezza critica e poco esplorata negli agenti a lungo orizzonte, che non può essere risolta semplicemente aumentando la dimensione della finestra di contesto o facendo affidamento sulle capacità standard di rispetto delle istruzioni.

• Contributo Teorico: Formalizza il rischio di degradazione della governance della sicurezza nel tempo, dimostrando che, senza intervento, la probabilità di violazioni della sicurezza si avvicina alla certezza in presenza di condizioni di rischio non sommabili.
• Contributo Pratico: Introduce SCARBench come uno standard rigoroso per valutare il recupero dei vincoli di sicurezza storici e propone STAR-Guard come un meccanismo di difesa praticabile e non basato su oracle.
• Risultato Centrale: Gli autori concludono che mantenere la sicurezza negli agenti a lungo orizzonte richiede un approccio duplice: il ripristino semantico per guidare l'intento dell'agente e l'audit deterministico per imporre vincoli rigidi, poiché i modelli probabilistici da soli non possono governare in modo affidabile la sicurezza attraverso estese cronologie di interazione.