Riepilogo Tecnico: CodeSentinel

Definizione del Problema

I modelli linguistici per il codice (Code LLM) sono sempre più integrati nei flussi di lavoro dello sviluppo software, facendo affidamento su contesti di codice esterni recuperati da repository, documentazione, thread di issue e ambienti di agenti. Sebbene ciò ne aumenti l'utilità, introduce una vulnerabilità critica di sicurezza: l'iniezione di prompt indiretta (indirect prompt injection).

A differenza dei jailbreak diretti in cui un attaccante invia un prompt malevolo, l'iniezione indiretta comporta l'avvelenamento di artefatti di codice esterni. Gli attaccanti inseriscono istruzioni nascoste all'interno di commenti, letterali di stringa, identificatori o frammenti di codice esca (decoy). Questi payload sono sintatticamente validi e spesso privi di effetti a runtime, il che li rende difficili da rilevare per gli sviluppatori ma altamente efficaci nel manipolare il comportamento del Code LLM. Le difese esistenti presentano limitazioni significative:

• I filtri basati su parole chiave non riescono a intercettare trigger impliciti o offuscati.
• La perplessità a livello di file (es. DePA) diluisce i payload malevoli brevi e localizzati.
• Le difese basate sull'addestramento sono spesso impraticabili per i modelli commerciali black-box.

Metodologia: CodeSentinel

Gli autori propongono CodeSentinel, un sanificatore a tre livelli operante durante l'inferenza, progettato per operare sul codice non attendibile prima che raggiunga il modello vittima a valle. A differenza degli approcci precedenti che trattano il codice come testo piatto, CodeSentinel tratta il codice come un Albero della Sintassi Concreta (CST - Concrete Syntax Tree). Analizza l'input, estrae i nodi ad alto rischio rivolti al modello e applica un meccanismo di difesa sequenziale a tre livelli.

1. Formulazione del Problema

Il sistema definisce l'input rivolto al modello $X$ come una serializzazione del prompt dello sviluppatore e del contesto esterno, preservando gli offset di byte tra gli intervalli sorgente e i nodi CST. Identifica un insieme di nodi ad alto rischio ($D_{risk}$) che comprende:

• Commenti ($D_{com}$)
• Letterali di stringa ($D_{str}$)
• Identificatori ($D_{id}$)
• Nodi di tipo "esca" ($D_{decoy}$): Istruzioni o blocchi sintatticamente validi che sono salienti per il modello ma debolmente connessi alla logica principale del programma (bassa raggiungibilità).

L'obiettivo è rilevare un sottoinsieme di questi nodi ($\hat{S}$) contenenti trigger nascosti e sanificarli prima che il modello vittima $f_\theta$ elabori il contesto.

2. La Difesa a Tre Livelli

CodeSentinel applica tre livelli complementari in sequenza. I nodi segnalati da un livello precedente vengono rimossi dalla considerazione per i livelli successivi, che sono computazionalmente più onerosi.

Livello 1: Pre-filtraggio Guidato dalla Sintassi

Questo livello mira a payload espliciti o strutturalmente sospetti con un overhead trascurabile. Calcola un punteggio di rischio $s_1(n)$ basato su tre metriche normalizzate:

• Corrispondenza Regex ($R_{regex}$): Rileva frasi di override delle istruzioni, direttive di controllo del ruolo e template di comando sospetti.
• Controllo Lessicale-Strutturale ($R_{lex}$): Identifica caratteri Unicode invisibili, eccessivi simboli non ASCII, densità anomala di punteggiatura e stringhe continue insolitamente lunghe.
• Analisi del Grafo di Interazione ($R_{graph}$): Mira specificamente agli attacchi "decoy" (es. Flashboom) misurando la salienza di un nodo rispetto alla sua raggiungibilità dai punti di ingresso. I nodi che sono altamente visibili al modello ma scollegati dalla logica principale ricevono punteggi di rischio elevati.

Livello 2: Punteggio Dinamico Min-K% Guidato dal CST

Mirando alle perturbazioni avversarie (es. ShadowCode, INSEC), questo livello rileva frammenti statisticamente anormali all'interno di commenti o stringhe. Opera a granularità di nodo CST per evitare l'effetto di diluizione della perplessità a livello di file.

• Analisi a livello di Token: Calcola la log-likelihood negativa (NLL) per i token all'interno di un nodo utilizzando un modello surrogato locale.
• Min-K% Dinamico: A differenza dei metodi Min-K% fissi, CodeSentinel regola dinamicamente la frazione di token con perdita massima selezionati ($k_{dyn}$) in base al tipo, alla lunghezza e all'entropia del nodo.
• Segnali di Anomalia: Calcola tre segnali:
  1. MeanTopK: La media dei valori NLL più elevati.
  2. MaxWinLoss: La media massima della NLL all'interno di una finestra scorrevole (per rilevare perturbazioni localizzate).
  3. MaxSpike: La differenza massima tra le NLL di token adiacenti.
• Questi segnali sono calibrati rispetto a nodi di validazione puliti dello stesso tipo CST per produrre un punteggio di anomalia finale $s_2(n)$.

Livello 3: Analisi della Perturbazione del Nodo Guidata dal CST

Questo livello mira a trigger semantici dall'aspetto naturale (es. XOXO, ITGen) che appaiono sintatticamente validi e statisticamente naturali, eludendo il rilevamento basato sulla verosimiglianza. Misura l'influenza comportamentale di un nodo.

• Selezione Gated dalla Sorpresa: Per ridurre i costi, filtra prima i nodi in base alla "sorpresa" (la differenza nella NLL quando il nodo è visto nel contesto completo rispetto all'isolamento). Solo i nodi ad alta sorpresa procedono.
• Neutralizzazione e Punteggio di Influenza: Per i nodi selezionati, il sistema costruisce un input sanificato $X(n)$ in cui il nodo viene sostituito con un equivalente neutro che preserva la sintassi (es. rimuovere i commenti, sostituire le stringhe con letterali sicuri, rinominare gli identificatori).
• Divergenza di Jensen-Shannon (JSD): Confronta la distribuzione dell'output del modello surrogato sull'input originale rispetto all'input sanificato. Un punteggio JSD elevato ($s_3(n)$) indica che il nodo devia significativamente la predizione del modello, marcandolo come un trigger semantico.

3. Sanificazione

Una volta identificato un insieme di nodi $\hat{S}$, CodeSentinel sana una copia del contesto rivolta al modello.

• Modalità Solo-Prompt: Il codice sorgente del repository rimane intatto; solo la copia inviata al modello viene pulita.
• Modalità di Preservazione della Compilazione: Se è disponibile la riscrittura specifica per il linguaggio, esegue edizioni più rigorose (es. rinomina coerente con lo scope, rimozione di blocchi decoy irraggiungibili) e ri-analizza il risultato per garantire la validità sintattica.

Contributi Chiave

1. Formulazione: Il documento formula l'iniezione di prompt indiretta nei contesti di codice come un problema di sanificazione a livello di nodo CST, concentrandosi sulle regioni ad alto rischio rivolte al modello piuttosto che sul testo piatto.
2. Architettura: Introduce CodeSentinel, una difesa a tre livelli che combina unicamente la struttura statica del codice (CST), le anomalie di verosimiglianza a livello di nodo e l'analisi dell'influenza comportamentale a livello di logit.
3. Valutazione: Gli autori valutano CodeSentinel contro sei recenti famiglie di attacchi e dimostrano la sua superiorità rispetto alle basi esistenti (CodeGarrison, DePA, KillBadCode).

Risultati Sperimentali

La valutazione è stata condotta su sei famiglie di attacchi: XOXO, ITGen, Flashboom, ShadowCode, INSEC e CoTDeceptor.

• Prestazioni: CodeSentinel ha raggiunto un F1 score medio a livello di nodo di 0,80, superando CodeGarrison (0,70), DePA (0,51) e KillBadCode (0,30).
• Guadagni Specifici:
  • INSEC: 0,90 (rispetto a 0,73 per CG)
  • ShadowCode: 0,85 (rispetto a 0,62 per CG)
  • Flashboom: 0,79 (rispetto a 0,85 per CG, ma significativamente superiore agli altri)
  • XOXO: 0,80 (rispetto a 0,72 per CG)
• Efficacia Black-Box: Negli esperimenti con modelli vittima commerciali black-box (es. Claude-3.5-Haiku, GPT-5.1-Codex-mini), l'applicazione di CodeSentinel ha ridotto significativamente l'Attack Success Rate (ASR). Ad esempio, l'ASR su Claude-3.5-Haiku è sceso dal 27,11% al 7,72%.
• Ablazione: L'analisi del contributo cumulativo conferma che tutti e tre i livelli contribuiscono alla capacità di rilevamento finale, con la pipeline che mostra una robusta generalizzazione attraverso diversi modelli surrogati.

Significato e Rivendicazioni

Il documento afferma che CodeSentinel affronta un limite centrale delle difese attuali: l'incapacità di rilevare trigger impliciti in codice strutturato senza richiedere il riaddestramento del modello vittima. Operando alla granularità del nodo CST e combinando la neutralizzazione che preserva la sintassi con l'analisi dell'influenza comportamentale, CodeSentinel offre una soluzione implementabile sia per i Code LLM open-weight che per quelli black-box.

Gli autori sottolineano che il loro approccio non dipende dalla modifica dei pesi del modello vittima, rendendolo adatto a un dispiegamento immediato nei flussi di lavoro industriali in cui vengono recuperati contesti di codice esterni. Il sistema bilancia un'alta accuratezza di rilevamento con la preservazione dell'utilità del codice benigno, garantendo che la sanificazione non rompa la validità sintattica o la struttura eseguibile del codice, a meno che non sia esplicitamente certificato.