Résumé technique : ANVIL – Identification de vulnérabilités basée sur l'anomalie sans données d'entraînement étiquetées

Énoncé du problème

Les détecteurs de vulnérabilités basés sur l'apprentissage supervisé sont fréquemment peu performants en raison de la rareté des jeux de données d'entraînement étiquetés, de grande taille et de haute qualité. Bien que les grands modèles de langage (LLM) soient entraînés sur de vastes corpus de code non étiquetés et excellent dans la génération de code, ils sont peu performants lorsqu'on les sollicite directement pour détecter des vulnérabilités, atteignant souvent une précision qui n'est guère meilleure que le hasard. Cette limitation provient du fait que les LLM sont entraînés pour générer du code ressemblant à leur distribution d'entraînement sans supervision explicite sur ce qui constitue un code « buggé » ou « vulnérable ». Par conséquent, ils manquent de connaissances spécifiques au domaine pour distinguer le code vulnérable du code bénin. De plus, les tentatives existantes pour compenser le manque de données en générant des vulnérabilités synthétiques ou en sélectionnant des caractéristiques de code spécifiques n'ont apporté que des améliorations modestes, car les données synthétiques ne parviennent pas à capturer les manifestations diverses des vulnérabilités réelles.

Méthodologie

Le document présente ANVIL, une approche de localisation de vulnérabilités au niveau de la ligne qui reformule la détection de vulnérabilités comme une tâche de détection d'anomalies. Le principe fondamental est que le code vulnérable est rare et constitue donc une anomalie par rapport à la distribution apprise par les LLM lors de leur pré-entraînement.

Flux de travail principal

1. Reconstruction de code masqué : Pour une ligne de code donnée faisant l'objet de l'analyse, la ligne originale est masquée (supprimée). Le LLM est ensuite chargé de reconstruire cette ligne en se basant sur le contexte environnant.
2. Score d'anomalie : La reconstruction générée par le LLM est comparée avec la vérité terrain (la ligne originale). Les écarts sont scorés comme des anomalies. Un score d'anomalie élevé indique que la ligne originale est « hors distribution » pour le modèle, suggérant qu'elle est vulnérable.
3. Sélection de contexte (Contexte Adaptatif) : Pour relever le défi de la sélection d'un contexte approprié, ANVIL emploie une stratégie de Contexte Adaptatif (AC). Au lieu d'utiliser une fenêtre de lignes fixe, l'AC sélectionne la plus grande instruction composée (par exemple, le corps d'une fonction) englobant la ligne masquée. Cela garantit que le modèle reçoit un contexte sémantiquement pertinent sans le bruit de code non lié ou les problèmes de « perte au milieu » associés aux contextes excessivement longs.

Score d'anomalie hybride

ANVIL propose un score d'anomalie hybride ($\delta_{hybrid}$) qui agrège quatre composantes distinctes pour quantifier la divergence entre le code généré et l'original :

• Perte de l'entropie croisée ($\delta_{loss}$) : La perte d'entropie croisée moyenne de la ligne reconstruite, mesurant la probabilité des jetons (tokens) générés.
• Indicateur de correspondance exacte ($\delta_{EM}$) : Une métrique binaire qui pénalise tout écart par rapport à la vérité terrain. Si la ligne générée ne correspond pas exactement à l'originale, elle contribue au score d'anomalie. Cela répond à la limitation des valeurs de perte « douces », où des différences de caractères mineures mais critiques (par exemple, > vs >=) pourraient autrement être sous-pondérées.
• Variance du premier jeton ($\delta_{var}$) : Une mesure de la confiance du modèle, calculée par la variance des 10 jetons prédits les plus probables pour la première position générée. Les lignes vulnérables ont tendance à présenter une variance modérée, tandis que les lignes bénignes présentent souvent une variance élevée (complétions claires) ou une faible variance (hésitation dans des contextes simples).
• Complexité de l'AST ($\delta_{ast}$) : Une métrique basée sur le nombre de nœuds dans l'arbre de syntaxe abstraite (AST) de la ligne originale. Une complexité plus élevée est associée à un risque plus grand d'oublier des cas limites.

Le score final est une somme normalisée de ces composantes, conçue pour récompenser les correspondances exactes tout en capturant les écarts subtils, l'incertitude du modèle et la complexité du code.

Contributions clés

1. Cadre ANVIL : Une nouvelle approche de détection de vulnérabilités au niveau de la ligne qui ne nécessite aucune donnée d'entraînement étiquetées, exploitant les LLM pré-entraînés pour identifier les vulnérabilités comme des anomalies via la reconstruction masquée.
2. Mécanisme de scoring hybride : La proposition et la validation d'une fonction de score composite combinant la perte, la correspondance exacte, la variance de confiance et la complexité syntaxique, démontrant que cette combinaison surpasse les métriques individuelles.
3. Stratégie de Contexte Adaptatif : L'introduction d'une méthode de sélection de contexte sensible à la structure qui identifie dynamiquement l'instruction composée pertinente, améliorant à la fois la précision de la détection et l'efficacité computationnelle par rapport aux fenêtres de taille fixe.
4. Évaluation exhaustive : Une évaluation rigoureuse à travers plusieurs familles de LLM, tailles de contexte et méthodes de scoring, incluant une évaluation sans fuite de données sur des vulnérabilités divulguées après la date de coupure de l'entraînement du LLM.

Résultats expérimentaux

Les auteurs ont évalué ANVIL sur le jeu de données PrimeVul, une collection à grande échelle de projets open-source en C/C++, et l'ont comparé à des détecteurs supervisés de pointe : LineVul, LineVD et LLMAO.

• Performance vs Détecteurs Supervisés : ANVIL a nettement surpassé tous les modèles de référence supervisés.
  • Précision Top-3 : ANVIL a atteint une précision jusqu'à 2× supérieure (31,3 % contre 17,3 % pour le meilleur modèle de référence).
  • MFR Normalisé : ANVIL a montré une amélioration de 75 % (0,18 contre 0,39 pour le meilleur modèle de référence).
  • ROC-AUC : ANVIL a atteint 61,8 %, un niveau sensiblement plus élevé que les modèles de référence qui stagnaient près du hasard (~50 %).
• Contexte et Scoring : L'étude a confirmé que la méthode de scoring hybride et le Contexte Adaptatif offraient les meilleures performances. Les tailles de contexte fixes inférieures à 100 lignes entraînaient une dégradation des performances, tandis que les tailles fixes plus importantes introduisaient du bruit et des problèmes de mémoire.
• Généralisation : ANVIL a démontré de fortes capacités de généralisation sur un ensemble de données sans fuite contenant des vulnérabilités divulguées après la date de coupure de l'entraînement du LLM, prouvant sa capacité à détecter des vulnérabilités inconnues sans réentraînement.
• Utilité pratique : En intégrant ANVIL à des fuzzer pour guider la sélection de graines (seeds), les auteurs ont découvert deux vulnérabilités auparavant inconnues, dont l'une s'est vu attribuer un CVE, démontrant l'utilité pratique de la détection guidée par l'anomalie.

Signification

Le document affirme qu'ANVIL offre une alternative pratique à l'apprentissage supervisé pour la détection de vulnérabilités en contournant le goulot d'étranglement des données étiquetées. En exploitant la « naturalité » intrinsèque du code apprise par les LLM, ANVIL isole efficacement les vulnérabilités au niveau de la ligne. Les résultats suggèrent que la détection basée sur l'anomalie, particulièrement lorsqu'elle est renforcée par un scoring hybride et un contexte adaptatif, peut surpasser les méthodes supervisées actuelles, surtout dans des scénarios impliquant de nouveaux codes ou des bases de code inconnues où les données d'entraînement sont indisponibles. Ce travail souligne que, bien que les LLM ne « sachent » pas intrinsèquement ce qu'est une vulnérabilité, ils peuvent identifier efficacement le code qui dévie des normes statistiques du code correct.