Résumé Technique : Le "AI Slop" et les Hallucinations dans l'Évaluation des Vulnérabilités

1. Énoncé du Problème

L'intégration des modèles de langage de grande taille (LLM) dans l'évaluation des vulnérabilités de cybersécurité a introduit une « crise de la fiabilité » pilotée par la prolifération du « AI slop » (déchet d'IA). Contrairement aux faux positifs traditionnels issus de l'analyse statique de sécurité applicative (SAST) basée sur des règles conservatrices, le AI slop se compose d'artefacts de sécurité (rapports, preuves de concept, correctifs) qui présentent une haute fluidité linguistique et une plausibilité structurelle, mais manquent de validité sémantique ou d'ancrage exécutable.

Ces artefacts incluent :

• Vulnérabilités hallucinées : CVE (Common Vulnerabilities and Exposures) fabriquées, API inexistantes et chemins d'exécution décousus.
• Synthèse de correctifs incorrects : Des correctifs qui traitent les symptômes de surface tout en ignorant les causes profondes, ou des correctifs qui introduisent de nouvelles régressions.
• Repackaging sémantique : La transformation de connaissances existantes ou de correctifs « silencieux » (non divulgués) en rapports apparemment nouveaux et faisant autorité.

Ce phénomène crée une charge cognitive sur les pipelines de triage humain qui ressemble à une attaque par déni de service (DoS). Le problème central est un fossé de raisonnement fondamental : les experts en sécurité humains s'appuient sur un raisonnement déductif multi-étapes et causal ancré dans les contraintes du système, tandis que les LLM autorégressifs opèrent via une génération de jetons probabiliste basée sur des corrélations statistiques. Lorsque l'information dépasse l'horizon de raisonnement d'un LLM, celui-ci privilégie des continuations statistiquement plausibles plutôt que des faits vérifiés.

2. Méthodologie

Le document utilise une revue systématique de la littérature et une analyse conceptuelle pour recenser les preuves empiriques et formaliser le problème.

• Recherche documentaire : Les auteurs ont interrogé IEEE Xplore, ACM Digital Library et arXiv en utilisant des mots-clés liés aux LLM et à la sécurité. Deux réviseurs indépendants ont filtré les résultats, ne conservant que les études présentant des preuves empiriques de modes de défaillance des LLM dans des contextes de sécurité.
• Construction de la taxonomie : Les défaillances ont été catégorisées en trois branches principales basées sur la nature de la défaillance du raisonnement.
• Analyse des lacunes : Le document met en contraste les modèles cognitifs humains (déductifs, préservant les invariants) avec les contraintes architecturales des LLM (probabilistes, limitées par la fenêtre de contexte).
• Proposition de métriques : Les auteurs opérationnalisent le fossé de raisonnement via un proxy mesurable, le Deductive Coverage Score (DCS), et proposent de nouveaux instruments d'évaluation (CVE-Bench, Slop-Score).
• Revue architecturale : Les stratégies de mitigation existantes (détection passive, tatouage numérique/watermarking) sont examinées et critiquées, suivies d'une proposition d'architectures de vérification neuro-symboliques actives.

3. Contributions Clés

A. Formalisation et Taxonomie du AI Slop

Le document définit le AI slop dans le domaine de la cybersécurité et établit une taxonomie comprenant trois modes de défaillance distincts :

1. Vulnérabilités hallucinées : Le modèle invente des failles (ex: CVE fabriquées, API inexistantes) pour satisfaire les attentes du prompt. Cela inclut l'hallucination sycophante (trouver des bugs dans du code sûr) et la confusion par biais de jeton (déplacement du jugement basé sur des changements syntaxiques superficiels).
2. Synthèse de correctifs incorrects : Les modèles génèrent des correctifs qui compilent et passent des vérifications superficielles, mais échouent à résoudre le problème sous-jacent ou introduisent de nouvelles régressions de sécurité (ex: échanger un CWE contre un autre).
3. Repackaging sémantique : Les modèles remodèlent des informations existantes (y compris des correctifs silencieux provenant de commits open-source) en rapports « nouveaux ». Cela exploite l'absence de vérité terrain publique pour les correctifs non divulgués, rendant les affirmations repackagées indétectables par une validation par recherche de correspondance.

B. Analyse du Fossé de Raisonnement

Le document identifie la cause profonde comme étant la divergence entre le raisonnement déductif humain et la génération probabiliste des LLM :

• Experts Humains : Construisent des modèles mentaux, tracent les flux de données à travers les frontières procédurales et vérifient les contraintes. Ils traitent les découvertes avec scepticisme jusqu'à ce qu'elles soient prouvées.
• LLM : Estiment les probabilités de jetons basées sur des distributions d'entraînement. Ils assemblent des motifs familiers (appels d'API, noms de variables) sans vérifier un seul chemin d'exécution.
• Limites des mitigations actuelles : Les auteurs soutiennent que le prompting de type Chain-of-Thought (CoT) et les agents utilisant des outils réduisent mais ne comblent pas ce fossé. La CoT aboutit souvent à des chaînes de raisonnement plus longues mais tout aussi erronées, et l'utilisation d'outils mène souvent à une « confabulation d'usage d'outil » où les agents interprètent mal les sorties des outils.

C. Critique de la Détection Passive et du Watermarking

Le document soutient que les stratégies de mitigation actuelles ciblant la provenance (déterminer si un texte a été écrit par une machine) sont mal alignées avec le besoin de correction.

• Détection statistique : Échoue car les rapports de sécurité sont intrinsèquement formulaires (faible diversité lexicale), provoquant un taux élevé de faux positifs pour les rapports écrits par des humains.
• Watermarking (Tatouage numérique) : Incompatible avec la logique de sécurité ; forcer la sélection de jetons tatoués dans des domaines de code contraints casse souvent la logique ou crée des payloads invalides.

D. Solutions Proposées et Instruments d'Évaluation

• Vérification Neuro-Symbolique : Les auteurs préconisent une architecture où les LLM agissent comme des générateurs d'hypothèses, et où leurs sorties sont soumises à une vérification déterministe (analyse statique, fuzzing dynamique, exécution symbolique) avant d'atteindre les analystes humains.
• Deductive Coverage Score (DCS) : Une métrique quantifiant le degré auquel une revendication de vulnérabilité est ancrée dans des preuves explicites et vérifiables (ex: références de code spécifiques, traces d'exécution) par rapport à l'interpolation statistique.
• CVE-Bench : Un benchmark conçu pour tester la capacité des systèmes de triage à séparer les rapports ancrés des chemins d'exploitation fantômes et fluents en utilisant une vérité terrain validée par exécution.
• Slop-Score : Une métrique continue quantifiant l'écart entre la fluidité linguistique et la substance vérifiable, pénalisant les artefacts qui sont fluents mais manquent de densité de preuves ou de satisfaction de contraintes.

4. Résultats et Constats

• Preuves Empiriques : L'enquête souligne qu'environ 20 % des rapports dans certains programmes de bug bounty (ex: HackerOne à la mi-2025) ont été identifiés comme du AI slop de faible qualité, entraînant l'arrêt de certains programmes (ex: le programme de bounty de cURL en 2026) en raison de l'incapacité à distinguer les rapports valides du bruit généré par l'IA.
• Déficit d'Ancrage : Une revue des travaux représentatifs (Tableau 1) révèle qu'aucune étude ne fournit de validation au niveau de l'exécution des sorties de LLM. L'ancrage le plus fort trouvé est la vérification de compilation ou l'analyse statique, qui opèrent bien en dessous des exigences d'un raisonnement de sécurité rigoureux.
• Échec des Ponts Partiels : Bien que des outils comme ReAct et la génération augmentée par récupération (RAG) réduisent les hallucinations factuelles (ex: inventer des CVE inexistantes), ils échouent à traiter les hallucinations logiques (tirer des inférences causalement incorrectes à partir de faits exacts).

5. Signification et Revendications

Le document se positionne comme une étude, une analyse conceptuelle et une feuille de route. Sa principale signification réside dans le déplacement du paradigm d'évaluation de la fluidité linguistique vers la vérifiabilité mathématique.

• Défaillance Structurelle : Les auteurs affirment que le AI slop n'est pas simplement un problème de performance, mais une défaillance structurelle où la génération probabiliste substitue la vérification causale.
• Fiabilité : La confiance dans le triage piloté par l'IA ne peut être obtenue par un meilleur prompting ou le suivi de la provenance seul. Elle nécessite une vérification neuro-symbolique active qui cartographie chaque composant du pipeline aux systèmes antérieurs ayant des limites documentées (ex: les limites d'explosion de chemin de l'exécution symbolique).
• Direction Future : Le document conclut que l'IA de confiance en cybersécurité émergera de systèmes qui traitent la génération comme le point de départ d'un pipeline de vérification, garantissant que le jugement humain n'est exercé que sur des revendications ayant survécu aux tests déterministes. Les métriques proposées (DCS, Slop-Score) et les benchmarks (CVE-Bench) sont destinés à fournir l'infrastructure nécessaire pour éliminer structurellement cette défaillance du système.