Résumé technique : Évaluation de la Génération Augmentée par Récupération pour l'analyse explicable des logiciels malveillants

Énoncé du problème

Bien que les modèles de langage de grande taille (LLM) soient de plus en plus utilisés pour traduire des indicateurs de logiciels malveillants de bas niveau (par exemple, les appels d'API, les modifications du registre) en explications en langage naturel, l'efficacité de la Génération Augmentée par Récupération (RAG) dans ce domaine spécifique reste non vérifiée. L'hypothèse prédominante est que l'injection de connaissances de sécurité externes via la RAG améliore la qualité des explications. Cependant, l'analyse des logiciels malveillants repose souvent sur des preuves structurées (telles que les rapports VirusTotal) qui encapsulent déjà des données contextuelles suffisantes. Les auteurs postulent que la récupération indiscriminée dans de tels scénarios peut introduire du « bruit narratif », un contexte distractif ou des rédactions génériques qui dégradent la capacité du modèle à extraire des signaux saillants, conduisant potentiellement à des explications trompeuses dans des pipelines critiques pour la sécurité.

Méthodologie

L'étude mène une évaluation empirique de l'explicabilité des LLM avec et sans RAG, en utilisant des rapports structurés de VirusTotal comme entrée principale.

• Jeu de données et architecture : Le jeu de données comprend 1 702 rapports VirusTotal issus du corpus MalGPT, contenant des indicateurs structurés tels que des appels d'API et des opérations de registre. Le pipeline RAG utilise LlamaIndex pour l'orchestration, ChromaDB pour le stockage vectoriel et OpenRouter comme passerelle LLM. Les embeddings sont générés à l'aide de all-MiniLM-L6-v2 et de text-embedding-3-large d'OpenAI. Les documents sont découpés en segments de 1 024 tokens avec un chevauchement de 100 tokens, et la récupération utilise une recherche de similarité top-$k$ avec un seuil de 0,5.
• Base de connaissances : La source de récupération inclut le cadre MITRE ATT&CK, des guides de recherche (par exemple, les mappings MalGPT, CISA/MITRE), la documentation technique de VirusTotal et des ensembles de données d'intelligence sur les logiciels malveillants (taxonomies, CVE).
• Prompt système : Un prompt structuré en 10 sections impose la cohérence, exigeant que les sorties incluent des verdicts, des résumés non techniques, des citations de preuves, une correspondance de famille de logiciels malveillants, un regroupement d'IoC, des résumés comportementaux, des scores de confiance et des recommandations exploitables.
• Protocole d'évaluation : Une étude d'ablation compare divers LLM (GPT OSS 21B, DeepSeek-R1 671B et GPT-5.1) sous des prompts identiques, les testant avec le JSON de VirusTotal seul versus le JSON enrichi par un contexte récupéré. Aucun ajustement fin n'est appliqué pour isoler les effets de la récupération.
• Métriques : La qualité de l'explication est mesurée à l'aide de BERTScore, qui évalue la similarité sémantique par rapport à une référence GPT-5.1 (sans RAG). Cette métrique est choisie pour sa robustesse face au reformulage et sa sensibilité à la dérive sémantique causée par des passages récupérés faiblement liés.

Résultats clés

Les expériences révèlent que la RAG dégrade fréquemment la qualité des explications plutôt que de l'améliorer lorsque des preuves structurées sont déjà présentes :

• Dégradation des performances : À travers plusieurs modèles, l'ajout de contexte récupéré a généralement abaissé les scores BERT. Par exemple, DeepSeek-R1 a obtenu son score le plus élevé (0,8617) sans RAG, tandis que les performances sont tombées à 0,8583 et 0,8582 avec différents modèles d'embedding. De même, GPT OSS 22B a enregistré une baisse significative de 0,8407 (sans RAG) à 0,8184 avec le récupérateur all-MiniLM-L6-v2.
• Sensibilité aux embeddings : Bien que text-embedding-3-large ait offert des améliorations marginales pour GPT OSS 21B, il n'a apporté aucun avantage à DeepSeek-R1.
• Cause de la dégradation : Les auteurs attribuent ce déclin à la récupération de passages sémantiquement similaires mais peu utiles (par exemple, des descriptions génériques de logiciels malveillants) qui agissent comme de « faux négatifs ». Ces distracteurs déplacent l'attention du modèle vers des narratifs plausibles mais non pertinents, diluant les signaux spécifiques présents dans les rapports structurés de VirusTotal.
• Comportement des modèles : Les modèles plus performants (comme DeepSeek-R1) semblent traiter le contexte supplémentaire comme redondant ou légèrement contradictoire, soutenant davantage l'hypothèse que la tâche relève de l'extraction de signaux plutôt que de la complétion de connaissances.

Contributions clés

1. Défi empirique aux hypothèses de la RAG : Ce travail fournit des preuves que l'application par défaut de la RAG à l'explication des logiciels malveillants est contre-productive lorsque des preuves structurées de haute qualité (rapports VirusTotal) sont disponibles.
2. Recadrage de la tâche : Les auteurs soutiennent que l'explication des logiciels malveillants est principalement une tâche d'extraction de signaux, et non un problème de récupération de connaissances. Par conséquent, l'ajout de contexte externe peut introduire une charge cognitive et des risques d'erreur sans ajouter de valeur.
3. Recommandations de conception : L'article énonce des stratégies spécifiques pour atténuer le bruit induit par la récupération dans les flux de travail de sécurité :
   • Sauter la RAG lorsque les rapports structurés sont suffisants (en utilisant des prédicteurs de suffisance du contexte).
   • Appliquer des réordonnanceurs adaptés au domaine avec des limites strictes de $k$ pour éviter les faux négatifs.
   • Remplacer le découpage par fenêtre fixe par des segments centrés sur le comportement ou les IoC, enrichis de métadonnées.
   • Explorer des alternatives comme la Génération Augmentée par Cache (CAG) et l'ingénierie du contexte.

Importance et affirmations

L'article affirme que dans les pipelines critiques pour la sécurité, le risque de biais d'automatisation augmente lorsque les explications basées sur la RAG s'éloignent des preuves sous-jacentes. Les auteurs affirment que les analystes bénéficient davantage de la cohérence et de la traçabilité que de narratifs étendus. En démontrant que la RAG peut dégrader les performances dans des domaines pilotés par un raisonnement structuré, ce travail plaide pour un changement dans la conception des outils : passer de la synthèse de connaissances par récupération vers l'extraction structurée de signaux. Les résultats suggèrent que pour les tâches où la preuve source est déjà complète, le « bruit » introduit par les mécanismes de récupération l'emporte sur les avantages potentiels de l'injection de connaissances externes.