Sintesi Tecnica: Fiducia Componibile per i Modelli di Linguaggio

1. Definizione del Problema

Il limite architettonico fondamentale degli attuali Large Language Models (LLM) è che le istruzioni e i dati condividono un unico flusso di token indifferenziato. Di conseguenza, nulla all'interno del processo di generazione del modello può distinguere intrinsecamente tra un'istruzione di sistema attendibile e un input utente o un dato recuperato non attendibile. Ciò rende il modello vulnerabile al prompt injection, in cui un testo non attendibile può "dirottare" il modello per sovrascrivere le istruzioni di sistema, violare i dati o eseguire azioni non autorizzate.

Gli approcci esistenti per mitigare il problema soffrono di distinti modi di fallimento:

• Test di Performance: Affidarsi esclusivamente ai benchmark (ad esempio, accuratezza rispetto ai tassi di rifiuto) fallisce perché un sistema che ignora tutti gli input e allucina risposte può superare in prestazioni un sistema che rifiuta correttamente gli attacchi ma perde accuratezza.
• Proibizioni Basate su Istruzioni: Chiedere al modello di imporre le proprie regole fallisce perché il modello non è un monitor di riferimento a prova di manomissione; la conformità può essere invertita da successivi fallimenti di contesto o di attenzione.
• Auto-controllo Agentico: Far eseguire al modello cicli di controllo della conformità aggiunge complessità senza garanzie, poiché ogni controllo è semplicemente un altro campione dalla stessa distribuzione non attendibile.

Il problema centrale è stabilire un confine provato dove l'autorità è determinata dall'integrità della sorgente (canale) piuttosto che dal contenuto delle parole, permettendo al sistema di sintetizzare molteplici fonti di diversa fiducia senza che le fonti a minore fiducia possano sovrascrivere quelle a maggiore fiducia.

2. Metodologia: La Cascata Condizionata

Il documento propone un design di sistema che sposta l'autorità fuori dal modello e in una pipeline deterministica. L'architettura è composta da tre componenti: un Monitor Deterministico, una Cascata di Passivazione Condizionata e un Wrapper.

A. Il Reticolo di Integrità e il Monitor

Il sistema assegna a ogni input un anello di integrità fisso (livello di fiducia) in base al canale attraverso cui arriva, non al suo contenuto. La gerarchia implementata (fiducia decrescente) è:

1. SYSTEM: Istruzioni dell'operatore (pienamente attendibili).
2. USER: Richieste dell'utente.
3. CONTENT: Documenti recuperati.
4. WEB: Ritorni da strumenti e web.

Il Monitor è un componente deterministico, non basato su modelli, che impone cinque invarianti su questi valori etichettati:

• I1 (Regola Meet): La combinazione di input adotta l'anello più basso (reticolo di integrità Biba), garantendo che la fiducia non aumenti mai attraverso la composizione.
• I2 (Autorità Out-of-Band): Gli anelli possono salire solo tramite token out-of-band, che il contenuto non può falsificare.
• I3 (Soglia di Azione): Le azioni sono autorizzate solo se gli input di controllo soddisfano una soglia fissa.
• I4 (Stamping/Timbratura): I valori portano il proprio anello attraverso i passaggi intermedi; non possono perderlo.
• I5 (Vincolo di Operazione): L'operazione si lega all'istruzione presente sull'anello più alto.

Garanzia Teorica: Poiché il reticolo è finito, il monitor può provare per enumerazione che nessun input non attendibile può cambiare l'operazione vincolata o autorizzare un'azione. Ciò fornisce una proprietà di non-interferenza provata per l'autorità, indipendente dal comportamento del modello.

B. La Cascata di Passivazione Condizionata

Mentre il monitor garantisce l'autorità, la generazione del testo rimane una difesa "soft". Il sistema impiega un processo di passivazione per privare il contenuto a minore fiducia di comandi incorporati, preservando al contempo i fatti genuini.

• Condizionamento: A differenza del filtraggio standard, la passivazione è condizionata sul contesto stabilito dai canali a maggiore fiducia elaborati finora. Ciò consente al sistema di distinguere tra un fatto rilevante e un'istruzione irrilevante o malevola.
• Ordinamento: I canali sono elaborati in ordine decrescente di fiducia (SYSTEM $\to$ USER $\to$ CONTENT $\to$ WEB). Ogni canale a minore fiducia viene passivato una sola volta, condizionato dal contesto a maggiore fiducia già elaborato.
• Attribuzione: Se una fonte a minore fiducia (es. WEB) contiene un fatto non presente in una fonte a maggiore fiducia (es. CONTENT), il sistema mantiene il fatto ma lo attribuisce alla fonte a minore fiducia invece di scartarlo o asserirlo come fatto assoluto.

C. Il Wrapper

Il wrapper assembla il prompt finale per il modello. Esso:

• Delimita gli input con nonce e li tagga con le loro etichette di anello fisse.
• Istruisce esplicitamente il modello a seguire solo il blocco SYSTEM.
• Risolve i conflitti (es. CONTENT vs. WEB) dando priorità all'anello superiore.
• Previene il "lavaggio della fiducia" (es. un utente che chiede al modello di seguire una pagina web che contiene un'iniezione).

D. Tuning tramite SkillOpt

La difesa si basa su prompt in linguaggio naturale per la passivazione e l'etichettatura. Poiché non sono disponibili gradienti per la ricerca dei prompt, gli autori utilizzano un regime di riscrittura strutturata stile SkillOpt:

• Ricerca Congiunta: I prompt vengono ottimizzati congiuntamente (end-to-end) piuttosto che indipendentemente, tenendo conto dell'accoppiamento tra le fasi di passivazione e il wrapper.
• Multi-Obiettivo: La ricerca ottimizza sia la Qualità Pulita ($Q$) che il Tasso di Rifiuto ($R$), mantenendo un fronte di Pareto.
• Regolarizzazione: I prompt sono limitati nella lunghezza per evitare la memorizzazione di stringhe di attacco specifiche, forzandoli a basarsi su principi.
• Nessuna Modifica ai Pesi del Modello: La difesa ottimizza solo l'insieme dei prompt, lasciando invariati i pesi del modello (agnostico rispetto al modello).

3. Contributi Chiave

1. Confine di Autorità Provato: Una prova formale che gli input non attendibili non possono alterare l'operazione del sistema o autorizzare azioni, ottenuta spostando il monitor di riferimento fuori dal modello e applicando un reticolo di integrità finito.
2. Architettura a Cascata Condizionata: Una pipeline innovativa che elabora i canali non attendibili in ordine decrescente di fiducia, condizionando la passivazione a minore fiducia sul contesto a maggiore fiducia per migliorare affidabilità e attribuzione.
3. Difesa Agnostica rispetto al Modello: Un metodo per mettere in sicurezza modelli non modificati (inclusi i modelli ospitati) tramite prompt engineering e monitoraggio deterministico, senza richiedere fine-tuning o modifiche ai pesi.
4. Sintesi Graduata per Livello di Fiducia: La capacità di mantenere e attribuire fatti da fonti a minore fiducia invece di scartarli, consentendo la sintesi di molteplici fonti pur rispettandone i livelli di integrità.

4. Risultati

Il sistema è stato valutato su un modello Gemma 4 26B non modificato, utilizzando un set di contenuti nuovi e diversi vettori di attacco (inclusi template AgentDojo e red-teaming adattivo).

• Difesa dall'Iniezione di Istruzioni:
  • Modello Base: 27% di tasso di difesa (metrica di leak genuino).
  • Cascata Implementata: 94% di tasso di difesa (IC 95%: [88, 97]).
  • Ciò rappresenta una riduzione di circa 12 volte dei leak riusciti.
• Valutazione Avversaria Adattiva:
  • Sotto attacchi adattivi da parte di un modello diverso (Gemma 4 31B) e varie famiglie di attaccanti (white-box, black-box, multi-ring optimizer), il confine di autorità è rimasto a 0 violazioni (provato incondizionatamente).
  • La difesa testuale misurata si è mantenuta all'87% contro attacchi adattivi.
• Attribuzione:
  • Il sistema ha attribuito con successo i fatti provenienti dal web alle loro fonti meno affidabili nel 92% dei casi, mentre il modello base attribuiva lo 0%.
• Qualità del Testo Pulito:
  • La difesa ha comportato un costo minimo per la qualità del task pulito: $Q_{rel} = 0.96$ (96% della qualità del modello base).
• Ablazione:
  • La combinazione di passivazione e wrapper era necessaria; la passivazione da sola o il wrapper da soli lasciavano lacune significative, particolarmente negli attacchi di delega (Tier 3).

5. Significato e Rivendicazioni

Il documento sostiene che la fiducia nei sistemi di IA è una costellazione di concetti, non una proprietà singola. Il sistema proposto affronta il divario specifico della fiducia componibile: la capacità di sintetizzare in modo affidabile molteplici fonti di diversa fiducia.

• Provato vs. Misurato: Gli autori distinguono tra la autorità provata (che è assoluta e architettonica) e la difesa testuale misurata (che è probabilistica e migliorata tramite tuning). Affermano esplicitamente che, sebbene non possano provare che la difesa testuale sia sicura al 100% contro i leak, possono provare che un leak, anche se dovesse verificarsi, non può cambiare l'autorità del sistema o innescare azioni non autorizzate.
• Modestia: Gli autori riconoscono che la difesa è un "pavimento" e che i tassi misurati sono stime del rischio residuo. Non pretendono di aver risolto interamente il prompt injection, ma piuttosto di aver stabilito un confine dove le conseguenze di un'iniezione sono limitate.
• Praticità: Il sistema è progettato per essere distribuibile su modelli esistenti e non modificati (inclusi gli API ospitati) e richiede solo una ricalibrazione dei prompt quando il modello o la configurazione di fiducia cambiano.

In sintesi, il documento presenta un passaggio dal tentativo di rendere il modello "sicuro" tramite vincoli interni alla costruzione di uno strato di governance deterministico ed esterno che impone le relazioni di fiducia, permettendo agli LLM di operare in sicurezza in ambienti multi-fonte e avversari.