Riepilogo Tecnico: PRISM – Rilevamento e Mitigazione in Tempo di Generazione della Fuoriuscita di Segreti nelle Pipeline LLM Multi-Agente

1. Enunciato del Problema: Amplificazione della Propagazione

Il documento identifica una vulnerabilità strutturale critica nei sistemi multi-agente basati su Modelli Linguistici su Grande Scala (LLM): l'amplificazione della propagazione. A differenza delle distribuzioni con singolo modello, le pipeline multi-agente (ad esempio, AutoGen, ChatDev, MetaGPT) si basano su un contesto condiviso e di sola aggiunta, dove gli agenti trasmettono informazioni in sequenza.

Gli autori formalizzano che quando un segreto sensibile $s$ viene recuperato da un agente a monte $A_i$, esso entra nel contesto condiviso $C$. Gli agenti a valle $A_{i+1} \dots A_K$ consumano tale contesto. Anche se un agente a valle non ha esplicitamente bisogno del segreto per eseguire il proprio compito, la probabilità che lo riproduca aumenta con la profondità della pipeline. Il documento modella la probabilità di fuoriuscita come:
$$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$$
dove $p_j$ è la probabilità di riproduzione. Assumendo che la probabilità di riproduzione per agente sia non nulla, il rischio cumulativo si compounding man mano che la pipeline si approfondisce. I dati empirici provenienti da una pipeline non difesa a quattro agenti mostrano un tasso di fuoriuscita a livello di compito del 71,2%, confermando che la fuoriuscita è una conseguenza strutturale della composizione del contesto condiviso e non meramente il risultato di prompt avversari.

Le difese esistenti sono inadeguate per questo scenario:

• Scanner statici (ad esempio, detect-secrets, TruffleHog) si basano su pattern superficiali e operano a posteriori, fallendo nel catturare ricostruzioni parziali o riutilizzi contestuali.
• LLM come giudice/Barriere operano dopo il completamento della generazione, permettendo ai segreti di propagarsi attraverso agenti intermedi prima di essere filtrati.
• Safeguard basati su prompt si degradano sotto ragionamento multi-hop e inquadratura avversaria.

2. Metodologia: PRISM (Intervento Predittivo del Rischio per il Monitoraggio dei Segreti)

PRISM è un meccanismo di difesa in tempo reale progettato per intervenire durante il processo di generazione dei token, prima che un segreto sia completamente ricostruito e propagato.

Intuizione Fondamentale

Gli autori osservano che la riproduzione di una credenziale memorizzata è preceduta da uno spostamento misurabile nella dinamica di generazione. Mentre un LLM transita dalla generazione aperta alla riproduzione deterministica di un segreto strutturato (ad esempio, una chiave API), l'entropia a livello di token crolla e la concentrazione dei logit aumenta. Questa "transizione di fase" funge da segnale di allarme precoce.

Architettura

PRISM opera come un monitor per token integrato nel ciclo di decodifica di ciascun agente nella pipeline.

1. Estrazione delle Caratteristiche: Ad ogni passo di decodifica $t$, PRISM aggrega un vettore di caratteristiche a 16 dimensioni $f_t$ composto da:
   • Dinamiche Temporali di Generazione: Crollo dell'entropia, concentrazione dei logit (divergenza) ed escalation della traiettoria (aumento del rischio nei passaggi).
   • Segnali Strutturali del Testo: Pattern di identificatori (ad esempio, UUID, email), sequenze numeriche e corrispondenze regex di stile credenziale.
   • Segnali Contestuali/Comportamentali: Utilizzo di strumenti (ad esempio, read_file), densità di parole chiave e sovrapposizione di n-grammi.
2. Valutazione del Rischio: Un modello di regressione logistica calcola un punteggio di rischio $r_t = \sigma(w^\top f_t + b)$.
3. Politica di Intervento: Il punteggio mappa su tre zone:
   • VERDE ($r_t < \tau_1$): Passa il token invariato.
   • GIALLO ($\tau_1 \le r_t < \tau_2$): Sanifica il token (sostituendolo con [MASK]) per interrompere la sequenza preservando la struttura dell'output.
   • ROSSO ($r_t \ge \tau_2$): Arresta immediatamente la generazione per prevenire la completa ricostruzione del segreto.
4. Audit Post-Generazione (ZK-RC): Un livello di fallback leggero che utilizza la corrispondenza di 8-grammi hashati (SHA-256) per catturare frammenti residui se singoli token sono scivolati sotto la soglia ma collettivamente hanno formato un segreto.

3. Contributi Chiave

1. Formalizzazione dell'Amplificazione della Propagazione: Il documento fornisce un modello probabilistico che dimostra come il rischio di fuoriuscita si compounding attraverso i confini degli agenti nelle pipeline a contesto condiviso, distinguendolo dalla fuoriuscita da singolo modello.
2. Framework PRISM: Introduzione di una difesa in tempo di generazione che tratta la fuoriuscita come un problema di accumulo sequenziale del rischio, utilizzando l'intervento per token invece del filtraggio a posteriori.
3. Complementarità dei Segnali: Identificazione che né le dinamiche temporali (entropia/logit) né gli indizi strutturali (pattern) sono da soli sufficienti. È necessaria la combinazione di crollo dell'entropia e rilevamento di pattern di identificatori per un alto potere discriminativo.
4. Costruzione del Benchmark: Creazione di un benchmark avversario di 2.000 compiti che copre 13 categorie di attacco (ad esempio, iniezione di prompt, ingegneria sociale, propagazione inter-agente) e tre livelli di pressione (Basso, Medio, Alto) su una pipeline eterogenea a quattro agenti.

4. Risultati Sperimentali

Valutato contro 10 metodi di difesa di base (inclusi Span Tagger, GBT Classifier, LLM Judge e scanner statici) sul benchmark di 2.000 compiti:

• Prevenzione della Fuoriuscita: PRISM ha raggiunto un tasso di fuoriuscita a livello di compito dello 0,0%, il che significa che nessun compito ha portato a una ricostruzione completa del segreto nell'output finale. Questo è l'unico metodo ad eliminare la fuoriuscita osservata sul benchmark.
• Metriche di Prestazione:
  • Punteggio F1: 0,832 (superando la baseline più forte, Span Tagger, a 0,719).
  • Precisione: 1,000 (nessun falso positivo).
  • Recall: 0,712.
  • Utilità: 0,893 (l'89,3% dei compiti benigni è passato attraverso senza modifiche).
• Confronto:
  • Span Tagger: 15,0% di tasso di fuoriuscita a livello di compito.
  • GBT Classifier: 19,2% di tasso di fuoriuscita a livello di compito.
  • Scanner Statici/LLM Judge: >60% di tassi di fuoriuscita a livello di compito.
• Robustezza: PRISM ha mantenuto tassi di rilevamento $\ge 95,9\%$ attraverso otto trasformazioni di offuscamento a livello superficiale (ad esempio, codifica esadecimale, divisione dei caratteri), mentre le baselines basate su pattern si sono degradate fino a un rilevamento vicino allo zero.
• Latenza: PRISM aggiunge un sovraccarico minimo (~5,5 ms per compito), operando significativamente più velocemente dei giudici basati su LLM (>1.800 s) e paragonabile ai matcher di pattern leggeri.

5. Significato e Affermazioni

Il documento sostiene che la sicurezza dei sistemi multi-agente richiede un cambio di paradigma dal filtraggio statico o a posteriori al monitoraggio continuo del processo di generazione stesso.

• Vulnerabilità Strutturale: Gli autori sottolineano che la fuoriuscita nei sistemi multi-agente non è solo un fallimento a livello di prompt, ma una conseguenza strutturale della propagazione delle informazioni. Una volta che un segreto entra nel contesto condiviso, è probabile che riemerga a valle.
• Intervento Precoce: Rilevando la transizione di fase del "crollo dell'entropia", PRISM interviene prima che il segreto sia completamente materializzato, prevenendo la propagazione di dati sensibili agli agenti a valle.
• Praticità: Il sistema raggiunge un'alta accuratezza di rilevamento con bassa latenza, rendendolo fattibile per il dispiegamento in tempo reale in flussi di lavoro interattivi multi-agente.
• Modestia nelle Affermazioni: Gli autori notano esplicitamente che il loro benchmark è sintetico e controllato. Riconoscono le limitazioni, inclusa la dipendenza dall'accesso white-box (log-probabilità) per prestazioni ottimali (sebbene esista una variante black-box con un tasso di fuoriuscita residuo dell'1,4%) e il fatto che il sistema modella dinamiche di fuoriuscita passive piuttosto che un occultamento strategico e finalizzato da parte di avversari adattivi. Posizionano PRISM come un meccanismo mirato per la riproduzione di credenziali tramite propagazione sequenziale, non come una soluzione universale per tutte le fuoriuscite di informazioni.