Résumé Technique : CodeSentinel

Énoncé du Problème

Les grands modèles de langage pour le code (Code LLMs) sont de plus en plus intégrés dans les flux de travail de développement logiciel, s'appuyant sur des contextes de code externes extraits de dépôts, de documentations, de fils de discussion de problèmes (issues) et d'environnements d'agents. Bien que cela améliore l'utilité, cela introduit une vulnérabilité de sécurité critique : l'injection de prompt indirecte.

Contra�vous aux jailbreaks directs où un attaquant envoie un prompt malveillant, l'injection indirecte implique l'empoisonnement d'artefacts de code externes. Les attaquants intègrent des instructions cachées dans des commentaires, des littéraux de chaîne, des identifiants ou des extraits de code leurres. Ces charges utiles sont syntaxiquement valides et manquent souvent d'effets à l'exécution, ce qui les rend difficiles à détecter pour les développeurs mais très efficaces pour manipuler le comportement du Code LLM. Les défenses existantes présentent des limitations significatives :

• Les filtres par mots-clés échouent à capturer les déclencheurs implicites ou obscurcis.
• La perplexité au niveau du fichier (ex: DePA) dilue les charges utiles malveillantes courtes et localisées.
• Les défenses basées sur l'entraînement sont souvent irréalisables pour les modèles commerciaux en boîte noire.

Méthodologie : CodeSentinel

Les auteurs proposent CodeSentinel, un assainisseur à trois couches, opérant au moment de l'inférence, conçu pour opérer sur le code non fiable avant qu'il n'atteigne le modèle victime en aval. Contrairement aux approches précédentes qui traitent le code comme du texte plat, CodeSentinel traite le code comme un Arbre de Syntaxe Concrète (CST). Il analyse l'entrée, extrait les nœuds à haut risque exposés au modèle, et applique un mécanisme de défense séquentiel à trois couches.

1. Formulation du Problème

Le système définit l'entrée faisant face au modèle $X$ comme une sérialisation du prompt du développeur et du contexte externe, préservant les décalages d'octets entre les étendues sources et les nœuds du CST. Il identifie un ensemble de nœuds à haut risque ($D_{risk}$) comprenant :

• Les commentaires ($D_{com}$)
• Les littéraux de chaîne ($D_{str}$)
• Les identifiants ($D_{id}$)
• Les nœuds de type leurre ($D_{decoy}$) : des instructions ou blocs syntaxiquement valides qui sont saillants pour le modèle mais faiblement connectés à la logique principale du programme (faible accessibilité).

L'objectif est de détecter un sous-ensemble de ces nœuds ($\hat{S}$) contenant des déclencheurs cachés et de les assainir avant que le modèle victime $f_\theta$ ne traite le contexte.

2. La Défense à Trois Couches

CodeSentinel applique trois couches complémentaires de manière séquentielle. Les nœuds signalés par une couche antérieure sont retirés de la considération pour les couches suivantes, plus coûteuses en calcul.

Couche 1 : Pré-filtrage Guidé par la Syntaxe

Cette couche cible les charges utiles explicites ou structurellement suspectes avec un surcoût négligeable. Elle calcule un score de risque $s_1(n)$ basé sur trois métriques normalisées :

• Correspondance Regex ($R_{regex}$): Détecte les phrases de dépassement d'instructions, les directives de contrôle de rôle et les modèles de commandes suspects.
• Vérification Lexicale-Structurelle ($R_{lex}$): Identifie les caractères Unicode invisibles, les symboles non-ASCII excessifs, la densité de ponctuation anormale et les chaînes continues inhabituellement longues.
• Analyse de Graphe d'Interaction ($R_{graph}$): Cible spécifiquement les attaques par leurre (ex: Flashboom) en mesurant la saillance d'un nœud par rapport à son accessibilité depuis les points d'entrée. Les nœuds qui sont hautement visibles pour le modèle mais déconnectés de la logique principale reçoivent des scores de risque élevés.

Coubre 2 : Score Min-K% Dynamique Guidé par le CST

Ciblant les perturbations adverses (ex: ShadowCode, INSEC), cette couche détecte les fragments statistiquement anormaux au sein des commentaires ou des chaînes. Elle opère à la granularité du nœud CST pour éviter l'effet de dilution de la perplexité au niveau du fichier.

• Analyse au Niveau du Token : Elle calcule la log-vraisemblance négative (NLL) pour les tokens au sein d'un nœud en utilisant un modèle de substitution local.
• Min-K% Dynamique : Contrairement aux méthodes Min-K% fixes, CodeSentinel ajuste dynamiquement la fraction de tokens de perte supérieure sélectionnés ($k_{dyn}$) en fonction du type, de la longueur et de l'entropie du nœud.
• Signaux d'Anomalie : Il calcule trois signaux :
  1. MeanTopK : La moyenne des valeurs de NLL les plus élevées.
  2. MaxWinLoss : La moyenne maximale de NLL dans une fenêtre glissante (détection de perturbations localisées).
  3. MaxSpike : La différence maximale entre les NLL de tokens adjacents.
• Ces signaux sont calibrés par rapport à des nœuds de validation propres du même type CST pour produire un score d'anomalie final $s_2(n)$.

Couche 3 : Analyse de Perturbation de Nœud Guidée par le CST

Cette couche cible les déclencheurs sémantiques d'apparence naturelle (ex: XOXO, ITGen) qui semblent syntaxiquement valides et statistiquement naturels, échappant ainsi à la détection par vraisemblance. Elle mesure l'influence comportementale d'un nœud.

• Sélection par Porte de Surprise : Pour réduire les coûts, elle filtre d'abord les nœuds basés sur la "surprise" (la différence de NLL lorsque le nœud est vu en contexte complet vs en isolation). Seuls les nœuds à haute surprise progressent.
• Neutralisation et Score d'Influence : Pour les nœuds sélectionnés, le système construit un entrée assainie $X(n)$ où le nœud est remplacé par un équivalent neutre préservant la syntaxe (ex: suppression des commentaires, remplacement des chaînes par des littéraux sûrs, renommage des identifiants).
• Divergence de Jensen-Shannon (JSD) : Il compare la distribution de sortie du modèle de substitution sur l'entrée originale par rapport à l'entrée assainie. Un score JSD élevé ($s_3(n)$) indique qu'un nœud oriente significativement la prédiction du modèle, le marquant comme un déclencheur sémantique.

3. Assainissement

Une fois qu'un ensemble de nœuds $\hat{S}$ est identifié, CodeSentinel assainit une copie du contexte faisant face au modèle.

• Mode Prompt-Seul : La source du dépôt reste intacte ; seule la copie envoyée au modèle est nettoyée.
• Mode Préservation de la Compilation : Si une réécriture spécifique au langage est disponible, il effectue des éditions plus strictes (ex: renommage cohérent avec la portée, suppression des blocs de leurre inaccessibles) et re-analyse le résultat pour garantir la validité syntaxique.

Contributions Clés

1. Formulation : L'article formule l'injection de prompt indirecte dans les contextes de code comme un problème d'assainissement au niveau des nœuds du CST, se concentrant sur les régions à haut risque faisant face au modèle plutôt que sur le texte plat.
2. Architecture : Il introduit CodeSentinel, une défense à trois couches qui combine de manière unique la structure statique du code (CST), les anomalies de vraisemblance au niveau du nœud et l'analyse d'influence comportementale au niveau des logits.
3. Évaluation : Les auteurs évaluent CodeSentinel contre six familles d'attaques récentes et démontrent sa supériorité sur les bases de référence existantes (CodeGarrison, DePA, KillBadCode).

Résultats Expérimentaux

L'évaluation a été menée sur six familles d'attaques : XOXO, ITGen, Flashboom, ShadowCode, INSEC et CoTDeceptor.

• Performance : CodeSentinel a atteint un score F1 moyen par nœud de 0,80, surpassant CodeGarrison (0,70), DePA (0,51) et KillBadCode (0,30).
• Gains Spécifiques :
  • INSEC : 0,90 (contre 0,73 pour CG)
  • ShadowCode : 0,85 (contre 0,62 pour CG)
  • Flashboom : 0,79 (contre 0,85 pour CG, mais surpassant significativement les autres)
  • XOXO : 0,80 (contre 0,72 pour CG)
• Efficacité en Boîte Noire : Dans les expériences avec des modèles victimes commerciaux en boîte noire (ex: Claude-3.5-Haiku, GPT-5.1-Codex-mini), l'application de CodeSentinel a considérablement réduit le Taux de Succès d'Attaque (ASR). Par exemple, l'ASR sur Claude-3.5-Haiku est passé de 27,11 % à 7,72 %.
• Ablation : L'analyse de performance cumulative confirme que les trois couches contribuent toutes à la capacité de détection finale, le pipeline montrant une robustesse de généralisation à travers différents modèles de substitution.

Signification et Revendications

L'article affirme que CodeSentinel répond à une limitation centrale des défenses actuelles : l'incapacité de détecter les déclencheurs implicites dans le code structuré sans nécessifier le réentraînement du modèle victime. En opérant à la granularité du nœud CST et en combinant la neutralisation préservant la syntaxe avec l'analyse d'influence comportementale, CodeSentinel offre une solution déployable pour les Code LLMs en poids ouverts et en boîte noire.

Les auteurs soulignent que leur approche ne repose pas sur la modification des poids du modèle victime, ce qui la rend adaptée à un déploiement immédiat dans les flux de travail industriels où les contextes de code externes sont récupérés. Le système équilibre une haute précision de détection avec la préservation de l'utilité du code bénin, garantissant que l'assainissement ne brise pas la validité syntaxique ou la structure exécutable du code, sauf si cela est explicitement certifié.