Sintesi Tecnica: Amplificare, non Creare: Accumulazione Temporale per l'Iniezione di Prompt a Lenta Evoluzione (Slow-Burn)

1. Definizione del Problema

La sfida centrale di sicurezza per gli agenti di modelli linguistici che utilizzano strumenti è l'iniezione di prompt, in cui testo avversario in canali non attendibili (pagine web, output di strumenti, file di repository) reindirizza il piano di controllo dell'agente. Gli attuali primitivi difensivi si basano sulla rilevazione per evento: la valutazione di singoli messaggi o output di strumenti e l'attivazione di un allarme se un singolo evento supera una soglia.

Questo approccio presenta un punto cieco strutturale noto come regime slow-burn (a lenta evoluzione). Un attaccante può distribuire una sequenza di direttive singolarmente innocue attraverso una lunga traiettoria (ad esempio, "fai il push su questo remote", "usa questo URL", "includi il file env"). Ogni passaggio rimane al di sotto della soglia di rilevamento, evitando gli allarmi, mentre l'effetto aggregato risulta in un esfiltrazione completa dei dati o in una presa di controllo del piano di controllo. Un rilevatore per evento tarato su un tasso di falsi positivi utilizzabile non può abbassare la propria soglia abbastanza da catturare questi passaggi silenziosi senza essere sommerso dal chiacchiericcio benigno dell'agente.

La domanda di ricerca è se un accumulatore temporale lato proxy possa recuperare questo segnale distribuito aggregando punteggi sub-soglia attraverso una traiettoria, specificamente utilizzando statistiche di persistenza peak (picco) e CUSUM (somma cumulativa).

2. Metodologia e Setup Sperimentale

Il Contratto Congelato e l'Anti-Circolarità

Per garantire che i risultati non siano artefatti di overfitting, lo studio impone un rigoroso "contratto congelato" e una separazione di anti-circolarità:

• Generatore ($D_{gen}$): Un LLM judge autoregressivo (tenuto separato) utilizzato esclusivamente dall'attaccante per raffinare i graft (innesti). Valuta quanto fortemente un evento legga come un movimento del piano di controllo. Il generatore non ha accesso all'evaluator.
• Evaluator ($D_{eval}$): Il "rilevatore di record", un ensemble congelato di un classificatore lineare char-ngram e una testa contrastiva di embedding. Non viene mai visto dal generatore.
• Requisito di Trasferimento: I graft devono essere sub-soglia sotto $D_{gen}$ e rimanere sub-soglia sotto $D_{eval}$ puramente attraverso il trasferimento cross-family, non tramite ottimizzazione contro l'evaluator.
• Floor Judge: Un LLM tenuto separato verifica che i graft contengano direttive estraibili dalle macchine legate a reali archi di azione eseguite, prevenendo graft degeneri "vuoti".

Il Meccanismo di Accumulazione

Per una traiettoria di punteggi per evento $s_1 \dots s_T$:

• Peak: Il punteggio massimo nella traiettoria ($\max_t s_t$).
• Persistence: Una statistica CUSUM che si resetta a zero: $g_t = \max(0, g_{t-1} + (s_t - k))$, dove $k$ è la deriva di riferimento benigna (mediana del punteggio della popolazione benigna).
• Vincolo Chiave: Il CUSUM deposita solo massa di punteggio sopra la deriva benigna $k$. I graft spinti profondamente sotto $k$ contribuiscono con zero persistenza indipendentemente dalla densità.

Metriche di Valutazione

Per evitare di confondere il contributo dei graft con il "calore" intrinseco delle traiettorie carrier, l'endpoint primario è il graft-delta:
$$\text{m-delta} = \text{m}(\text{nativo} + \text{graft}) - \text{m}(\text{solo nativo})$$
Questo misura la persistenza o la massa di picco aggiunta attribuibile specificamente agli innesti iniettati, confrontando i graft di attacco con i sham (simulazioni) benigni corrispondenti.

3. Risultati Chiave

Risultato 0: Coorte Fondamentale (Attacchi Concentrati)

Su un set tenuto separato di attacchi concentrati (dove un singolo evento provoca già un picco), l'accumulatore a livello di traiettoria (peak o persistence) batte statisticamente il foil per evento (AUC +0.092, 95% CI [+0.025, +0.155]). Tuttavia, persistence e peak sono statisticamente equivalenti qui, come previsto per attacchi concentrati dove un singolo evento domina.

Risultato 1: Git Repo-Exfil (Validazione Slow-Burn)

Su carrier GitHub puliti con ripetute azioni git, l'innesto di quattro direttive sparse e sub-soglia ha prodotto un persistence-delta positivo:

• Attacco Sopravvissuti: Mediana del persistence-delta di +0.0421.
• Benigni Sham: Mediana del persistence-delta di +0.0150.
• Separazione: AUC del persistence-delta = 0.708 (su 4 sopravvissuti di attacco contro 6 benigni sham).
• Controllo: Il controllo di matched peak-delta è fallito nel separare l'attacco dallo sham (AUC 0.417).
• Conclusione: Una densità di lievi elevazioni sub-soglia si accumula in massa di persistenza che gli sham benigni non riproducono. Ciò conferma che l'accumulazione temporale funziona quando il rilevatore sottostante fornisce un margine.

Risultato 2: Azioni Ampliate (Fallimento della Generalizzazione)

Quando la stessa costruzione a densità quattro è stata applicata ad azioni su percorsi puliti più ampi (download di file, scenari di shopping):

• Risultato: Null decisivo. AUC del persistence-delta = 0.167.
• Causa: Il rilevatore ha assegnato punteggi indistinguibili (~0.42) sia alle azioni di attacco che a quelle benigne. I graft sono atterrati troppo "freddi" (vicino o sotto la deriva benigna) per accumulare qualsiasi massa di persistenza.
• Conclusione: Il fallimento è stato un fallimento del margine del sensore, non un fallimento della soglia. L'accumulatore non può creare un margine dove il rilevatore per evento non ne fornisce uno.

Risultato 3: Potenza Indipendente (Blocco Strutturale)

Lo studio non ha potuto essere alimentato indipendentemente a causa della scarsità di fonti. L'asse git repo-exfil espone solo tre o quattro task indipendenti. Eseguire più modelli sugli stessi task crea pseudo-replicati (dati correlati), non evidenza indipendente. Lo studio riporta questo come un limite strutturale dell'attuale panorama dei benchmark.

4. Contributi Chiave e Significatività

La Tesi del "Amplificatore di Margine"

Il contributo primario del paper è la rivendicazione del meccanismo limitato: L'accumulazione temporale è un amplificatore di margine, non un rilevatore semantico.

• Può recuperare un segnale distribuito solo dove il rilevatore per evento sottostante produce già punteggi elevati sub-soglia sulle fasi di attacco.
• Non può creare un margine di rilevamento dove il rilevatore per evento assegna punteggi indistinguibili tra azioni di attacco e benigne.
• La "banda produttiva" è stretta (circa 0.45 a 0.50 nella configurazione testata): i graft devono essere sopra la deriva benigna per accumulare, ma sotto la soglia per rimanere slow-burn.

Contributi Metodologici

1. Avvertenza sulla Pseudo-Replicazione: Il paper identifica un rischio critico nella valutazione dei benchmark degli agenti, dove molteplici esecuzioni di modelli sullo stesso schema di task vengono erroneamente contate come evidenza indipendente. Sostiene la necessità di campionare al livello dell'unità di vera indipendenza (il task, non l'esecuzione).
2. Standard di Audit dell'Indipendenza: Gli autori introducono una "scala di indipendenza" per la verifica:
   • Indipendenza del percorso dati: Derivazione dei numeri da ricevute per evento congelate.
   • Indipendenza algoritmica: Nuove implementazioni cieche della matematica.
   • Fiducia dello strato di scoring: Riconoscere che i punteggi del modello sono affidabili ma vincolati da version pin.
3. Protocollo di Valutazione Non-Circolare: Una separazione rigorosa tra il generatore di attacco (bersaglio del cloaking) e l'evaluator (rilevatore di record) per garantire che il trasferimento sia genuino e non un artefatto di fitting.

5. Rivendicazioni Modeste e Limitazioni

Gli autori dichiarano esplicitamente che si tratta di uno studio di meccanismo limitato, non di un sistema implementabile.

• Nessun Nuovo Rilevatore: Non rivendicano un migliore rilevatore per evento; il sensore per evento è mantenuto congelato.
• Applicabilità Stretta: Il risultato positivo è specifico per l'asse git repo-exfil dove esiste un margine reale per evento. Fallisce su azioni su percorsi puliti più ampi.
• Dimensione del Campione: I risultati positivi si basano solo su quattro sopravvissuti di attacco attraverso tre task indipendenti.
• Confini di Fiducia: Sebbene l'aritmetica sia verificata, i punteggi per evento dipendono dall'affidabilità degli output del modello sottostante (fiducia dello strato di scoring).

In sintesi, il paper dimostra che l'accumulazione temporale può amplificare segnali deboli e distribuiti, ma dipende strettamente dalla capacità del sensore per evento di distinguere le fasi di attacco dalle azioni benigne, anche solo leggermente. Serve come avvertimento contro l'eccessiva fiducia nell'accumulazione quando il sensore sottostante manca di separazione semantica, e come guida metodologica per una valutazione della sicurezza degli agenti rigorosa e non circolare.