Riepilogo Tecnico: Iniezione di Ruolo Strutturale in Prompt con Templating Handlebars

Definizione del Problema

Le applicazioni basate su Large Language Models (LLM) costruiscono frequentemente prompt utilizzando motori di templating, con Handlebars che rappresenta una scelta dominante (ad esempio, l'opzione predefinita in Microsoft Semantic Kernel). Handlebars offre due modalità di interpolazione: la doppia parentesi graffa {{x}} (che applica l'escaping HTML) e la tripla parentesi graffa {{{x}}} (che inserisce dati grezzi). La modalità a doppia parentesi è documentata come il default "sicuro", progettato per prevenire il Cross-Site Scripting (XSS) in contesti HTML escapando caratteri come <, >, &, " e '.

Il documento identifica una lacuna critica di sicurezza: l'iniezione di ruolo strutturale. I ruoli della chat negli LLM (System, User, Assistant) sono spesso delimitati da pattern testuali specifici (ad esempio, ``, [INST], Human:). Se un attaccante controlla i dati iniettati in uno slot del template, può incorporare questi delimitatori per forzare un turno a privilegi più elevati, sovrascrivendo le istruzioni dello sviluppatore. La domanda centrale è se l'escaping HTML di Handlebars neutralizzi efficacemente tali delimitatori strutturali. Il documento ipotizza che, poiché l'escaping HTML mira a un set specifico di caratteri (parentesi angolari), potrebbe non proteggere efficacemente contro i delimitatori che si affidano ad altri caratteri (parentesi quadre, due punti, cancelletti Markdown), lasciando gli sviluppatori con un falso senso di sicurezza.

Metodologia

Lo studio impiega un approccio a doppio livello combinando l'analisi statica e la valutazione empirica su quattro modelli (GPT-3.5 Turbo, GPT-4o mini, GPT-4.1 mini e Claude Haiku 4.5).

1. Analisi Differenziale Statica (Model-Free):

   • Gli autori analizzano sette famiglie di delimitatori: plain (istruzione nuda), Markdown (###), Anthropic (Human:/Assistant:), Llama-2 ([INST], <<SYS>>), ChatML (``), Llama-3 (<|start_header_id|>) e XML (<system>).
   • Misurano il "tasso di sopravvivenza" dei token di controllo del ruolo quando passati attraverso escapeExpression di Handlebars. Ciò determina quali delimitatori vengono riscritti (neutralizzati) e quali rimangono identici a livello di byte (intatti).

2. Valutazione Empirica:

   • Ambito: 5.760 prove su 16 scenari (coprendo 8 categorie applicative come riepilogo e QA), 7 famiglie di delimitatori e 2 obiettivi di attacco.
   • Obiettivi di Attacco:
     • Task Hijack (Dirottamento del Task): Istruire il modello ad abbandonare il proprio compito e produrre un token segnaposto specifico.
     • Secret Exfiltration (Esfiltrazione di Segreti): Istruire il modello a rivelare un segreto "canary" piantato nell'istruzione di sistema (un obiettivo più difficile a causa dell'addestramento all'allineamento).
   • Variabili: Lo studio alterna lo slot Handlebars tra modalità raw ({{{document}}}) ed escaped ({{document}}) mantenendo costante l'istruzione di sistema fidata.
   • Metriche: Tasso di Successo dell'Attacco (ASR) con intervalli di confidenza di Wilson al 95%, analizzato tramite il test esatto di Fisher.

Contributi Chiave

• Isolamento del Meccanismo Statico: Il documento fornisce un'analisi indipendente dal modello dimostrando che l'escaping di Handlebars è incidentale piuttosto che esaustivo. Esso neutralizza le famiglie basate su parentesi angolari (ChatML, Llama-3, XML) ma lascia completamente intatte le famiglie basate su parentesi quadre (Llama-2), due punti (Anthropic) e Markdown.
• Protezione Condizionale: Lo studio stabilisce che il default "sicuro" (escaped) protegge solo contro specifici schemi di delimitatori. Per le famiglie in cui i token sopravvivono all'escaping (es. Human: o [INST]), le modalità escaped e raw sono funzionalmente identiche riguardo al rischio di iniezione.
• Validazione Empirica: Attraverso 5.760 prove, gli autori confermano che l'escaping riduce l'ASR solo quando:
  1. La famiglia di delimitatori è neutralizzata dall'escaping HTML.
  2. Il modello non è già "saturo" (ovvero, suscettibile di seguire istruzioni nude senza inquadramento strutturale).
• Gradiente di Suscettibilità del Modello: La ricerca evidenzia che l'identità del modello è un predittore di rischio più forte rispetto alla scelta del templating. Ad esempio, Claude Haiku 4.5 ha resistito quasi interamente a entrambi gli obiettivi, mentre GPT-3.5 Turbo e GPT-4.1 mini erano altamente suscettibili indipendentemente dall'escaping.

Risultati

• Tassi di Sopravvivenza:
  • Sopravvivenza 0.00 (Completamente Neutralizzati): ChatML, Llama-3, XML.
  • Sopravvivenza 1.00 (Completamente Intatti): Markdown, Anthropic.
  • Sopravvivenza 0.33 (Misti): Llama-2 (sopravvive grazie a [INST], neutralizzato grazie a <<SYS>>).
• Tassi di Successo dell'Attacco (ASR):
  • GPT-3.5 Turbo: Ha mostrato un'alta suscettibilità (97% raw, 91% escaped per il hijack). L'effetto dell'escaping era visibile solo nella famiglia Llama-2 (scendendo dall'88% al 52%) perché altre famiglie erano o già al tetto massimo o completamente neutralizzate.
  • GPT-4o mini: Ha dimostrato un'interazione più chiara. Le famiglie con parentesi angolari (Llama-3, XML) hanno visto cali significativi dell'ASR con l'escaping (es. Llama-3 è sceso dal 56% al 12%), mentre le famiglie con due punti/Markdown sono rimaste alte (100% e ~88%, rispettivamente).
  • Claude Haiku 4.5: Ha resistito a tutti gli attacchi (0% ASR) sia in modalità raw che escaped, rendendo irrilevante la scelta del templating per questo modello.
• Secret Exfiltration: Questo obiettivo più difficile non ha saturato i modelli, rivelando più chiaramente l'interazione tra escaping e famiglie di delimitatori. L'escaping ha ridotto la fuga di dati solo per le famiglie neutralizzate (es. Llama-3 e XML) e non ha avuto alcun effetto sulle famiglie sopravvissute (Anthropic, Markdown).

Significato e Rivendicazioni

Il documento conclude che il default escaped di Handlebars non è un controllo contro il prompt injection. La sua protezione è un sottoprodotto dell'escaping HTML che copre accidentalmente le parentesi angolari, non una difesa progettata per i delimitatori strutturali degli LLM.

• Falsa Sicurezza: Gli sviluppatori che si affidano al default "sicuro" documentato sono protetti contro alcuni schemi (ChatML) ma completamente esposti ad altri (Anthropic, Markdown, Llama-2), senza alcuna avvertenza nella documentazione.
• È Necessaria la Separazione Strutturale: Il documento sostiene che le scelte di templating non possono sostituire la separazione strutturale. Una difesa efficace richiede la separazione di istruzioni e dati in canali distinti, l'addestramento dei modelli a rispettare le gerarchie di istruzione o la codifica esplicita degli intervalli non fidati secondo le regole di delimitazione del formato chat specifico.
• Dipendenza dal Modello: Il profilo di rischio è determinato più dalla suscettibilità intrinseca del modello che dalla modalità di escaping del motore di templating. Un modello suscettibile a istruzioni nude sarà dirottato indipendentemente dall'escaping; un modello resistente rimarrà sicuro.

Gli autori sottolineano che, sebbene il default escaped debba rimanere abilitato (poiché è innocuo e utile per i contesti HTML), non deve essere considerato come l'unica difesa contro l'iniezione di ruolo strutturale nelle applicazioni LLM.