Résumé technique : Évaluation centrée sur les données de la génération d'exploits par les LLM

Formulation du problème

L'article traite de la tâche de génération d'exploits conditionnée par un CVE, définie comme la synthèse d'exploits de preuve de concept (PoC) structurés à partir d'un contexte de vulnérabilité logicielle hétérogène. Bien que les modèles de langage de grande taille (LLM) récents aient démontré des capacités de découverte de vulnérabilités, des limitations pratiques persistent dans la génération d'exploits :

1. Intensité des ressources : Les modèles de pointe nécessitent souvent des coûts d'API et des ressources de calcul massifs pour des taux de réussite faibles (par exemple, la collaboration d'Anthropic avec Mozilla a coûté environ 4 000 $ pour deux générations réussies).
2. Refus de sécurité : L'alignement de sécurité strict des modèles modernes entraîne des taux de refus élevés pour les tâches de génération d'exploits (par exemple, >82 % pour GPT-5 lors des premiers tests).
3. Écarts de données et d'évaluation : Les approches existantes sont largement centrées sur le modèle, explorant peu l'impact de la qualité des données et de la supervision structurée. Il existe un manque de benchmarks unifiés permettant des comparaisons contrôlées et reproductibles entre les modèles et les échelles.

Les auteurs formalisent la tâche où un modèle $f_\theta$ transforme un prompt contextuel $x_{c,k}$ (agrégeant des descriptions de CVE, des métadonnées, des avis et des artefacts de code) en une sortie structurée $y_{c,k} = (s_{c,k}, a_{c,k})$, composée d'un résumé d'exploit concis ($s$) et d'un artefact/extrait de code structuré ($a$).

Méthodologie

1. Cadre centré sur les données

La contribution principale est un pipeline de raffinement de données multi-étapes conçu pour transformer des données CVE brutes fragmentées et bruitées en une supervision structurée de haute qualité :

• Standardisation : Agrégation des caractéristiques provenant de multiples sources (CVE, NVD, GHSA, GitHub) dans des modèles JSON unifiés.
• Contrôle de la qualité : Application d'un filtrage déterministe et d'une sélection heuristique sensible aux CWE (regex/correspondance de motifs) pour éliminer les échantillons non textuels ou faiblement associés.
• Raffinement sémantique : Utilisation d'un LLM "Enseignant" pour réécrire les étiquettes, séparer le code du texte descriptif et consolider les implémentations fragmentées en scripts exécutables. Ce processus inclut un "Débruitage de labels hors ligne", où l'enseignant traite les données brutes comme une aide auxiliaire plutôt que comme une vérité de terrain afin d'améliorer la cohérence logique.

2. Pipeline d'évaluation

Les auteurs introduisent un cadre d'évaluation évolutif utilisant le LLM-as-a-Judge (spécifiquement GPT-5.2) avec une rubrique fine à 8 critères. Les critères sont pondérés par priorité :

• Haute priorité : Précision de la cible, Reproductibilité et Déterminisme, Sécurité de l'environnement et effets secondaires, Preuve et Vérification.
• Priorité moyenne : Clarté du flux logique, Détection et gestion des dommages collatéraux.
• Basse priorité : Qualité de l'implémentation, Documentation du code.
  Les scores sont additionnés pour un maximum de 26. Le jeu de données d'évaluation se compose de 68 CVE sélectionnés à la main et revus par des experts (22 Path Traversal, 46 Remote Code Execution) distincts des données d'entraînement.

3. Benchmarking de modèles et Fine-Tuning

• Benchmarking Zero-Shot : 17 LLM de pointe (incluant o3, GPT-5, Claude Opus, DeepSeek, Llama et des variantes de Qwen) ont été évalués selon 8 critères et 6 niveaux de contexte (variations de densité d'information).
• Apprentissage supervisé (SFT) : Les auteurs ont affiné un modèle compact Qwen3-8B en utilisant la méthode QLoRA (quantification 4-bit). Les données d'entraînement consistaient en le jeu de données raffiné (~4 500 CVE) où le modèle étudiant a été entraîné sur des labels réécrits par l'enseignant incluant des traces de raisonnement (Chain-of-Thought).

Résultats clés

Performance Zero-Shot

• Hiérarchie des modèles : Les modèles de pointe comme o3 ont obtenu les scores totaux les plus élevés (16,96/26), démontrant une forte cohérence sur tous les critères. GPT-5.2 et Kimi-K2.5 forment un second palier compétitif.
• Échelle vs Capacité : Les modèles plus petits (ex: Qwen3-8B, variantes de Llama) ont obtenu des scores nettement inférieurs (ex: Q�wen3-8B à 6,58), particulièrement en précision de ciblage et reproductibilité, bien qu'ils conservent certaines capacités de raisonnement.
• Impact du contexte : Tous les modèles ont bénéficié d'un contexte accru (passant du Niveau 1 au Niveau 3), mais les gains de performance ont plafonné aux niveaux supérieurs.

Impact du Fine-Tuning (SFT)

L'étude révèle un comportement dépendant de la tâche du SFT sur le modèle compact Qwen3-8B :

• Tâches complexes (RCE) : Le SFT a produit des améliorations substantielles. Le score total est passé de 6,58 à 9,38 (+2,80). Notamment, le modèle 8B affiné a nettement surpassé le GPT-4o en zero-shot (7,09) et a réduit l'écart avec les modèles plus grands comme Qwen3-30B. Les gains ont été les plus marqués en Sécurité de l'environnement (+0,87) et Reproductibilité (+0,72).
• Tâches simples (Path Traversal) : À l'inverse, le SFT a dégradé les performances sur les vulnérabilités de type Path Traversal (PT), faisant chuter le score de 13,53 à 10,18. Les auteurs émettent l'hypothèse que le PT repose davantage sur la mémorisation de motifs simples, tandis que le RCE nécessite un raisonnement compositionnel complexe à long horizon qui bénéficie de la supervision structurée fournie par le SFT.

Signification et affirmations

L'article soutient que la qualité des données, la supervision structurée et la conception de l'évaluation sont aussi critiques que l'échelle du modèle pour adapter les LLM aux tâches de cybersécurité.

• Efficacité centrée sur les données : Un modèle compact de 8B, lorsqu'il est affiné sur des données de haute qualité et curatées, peut rivaliser avec les modèles propriétaires de pointe dans des tâches complexes de génération d'exploits, défiant l'idée que l'échelle est le seul moteur de performance.
• Supervision structurée : L'utilisation du débruitage de labels guidé par un enseignant et des traces de raisonnement est essentielle pour générer des exploits cohérents et exécutables, particulièrement pour les types de vulnérabilités complexes comme le Remote Code Execution (RCE).
• Rigueur de l'évaluation : Le cadre unifié proposé et la rubrique à 8 critères fournissent une base nécessaire pour une analyse contrôlée et reproductible, en isolant les effets des données, des signaux d'entraînement et de l'architecture du modèle.

Les auteurs concluent que si les modèles généralistes actuels peinent avec la génération d'exploits structurés sous des contraintes strictes, l'entraînement spécifique à la tâche sur des données de haute qualité offre une voie viable et rentable vers des systèmes de génération d'exploits fiables, à condition que les stratégies de fine-tuning soient adaptées à la complexité du type de vulnérabilité ciblé.