Can Small GenAI Language Models Rival Large Language Models in Understanding Application Behavior?

Résumé Technique : Les petits modèles de langage génératifs (GenAI) peuvent-ils rivaliser avec les grands modèles de langage (LLM) dans la compréhension du comportement des applications ?

Énoncé du problème
La prolifération des logiciels malveillants, qui utilisent de plus en plus l'obfuscation, le polymorphisme et la réutilisation de code, a rendu les méthodes traditionnelles de détection basées sur les signatures inefficaces. Bien que les grands modèles de langage (LLM) aient démontré un potentiel significatif pour comprendre la sémantique du code et détecter des comportements malveillants, leur déploiement dans des environnements de cybersécurité pratiques est entravé par des exigences de calcul élevées, une utilisation substantielle de la mémoire et une consommation d'énergie importante. Ces contraintes limitent leur faisabilité pour l'analyse en temps réel, l'informatique de pointe (edge computing) et les centres d'opérations de sécurité aux ressources limitées. Par conséquent, il est crucial d'évaluer si les petits modèles de langage (SLM) — qui sont légers, efficaces et plus rapides — peuvent atteindre des performances de détection de logiciels malveillants comparables à celles de leurs homologues plus grands, offrant ainsi un équilibre viable entre précision de détection et efficacité opérationnelle.

Méthodologie
L'étude utilise un cadre d'évaluation systématique pour comparer les capacités des SLM et des LLM dans la classification de logiciels malveillants binaires.

• Jeu de données : Les chercheurs ont utilisé le jeu de données SBAN, un benchmark multidimensionnel contenant à la fois du code source sain provenant de dépôts open-source, de benchmarks de sécurité et de code généré par IA, ainsi que du code malveillant. Pour garantir une évaluation équilibrée et éviter l'inflation de la précision, un sous-ensemble de 10 000 échantillons (5 000 sains et 5 000 malveillants) a été sélectionné de manière aléatoire.
• Sélection des modèles : Cinq modèles ont été testés, représentant à la fois les catégories SLM et LLM sur la base du nombre de paramètres et de l'architecture :
  • SLMs : DeepSeek-1.3B et Phi-4-mini.
  • LLMs : Llama-3.1-8B, Qwen-2.5-7B et Mistral-7B.
• Stratégies d'évaluation : L'étude a comparé deux approches d'inférence distinctes :
  1. Tête de classification (Classification Head) : Utilisation des poids pré-entraînés du modèle avec une tête de classification légère ajoutée pour la classification binaire, utilisant une fonction sigmoïde avec un seuil par défaut de 0,5.
  2. Basée sur le prompt (Zero-Shot) : Prompt direct des modèles avec une instruction de cybersécurité spécifique pour classer le code comme « malveillant » ou « sain » sans entraînement supplémentaire, en utilisant une température de 0 pour des sorties déterministes.
• Métriques : La performance a été évaluée à l'aide de la Précision, du Rappel, de l'Exactitude (Accuracy) et du score F1 pour les deux classes (sain et malveillant), ainsi que du temps d'inférence et de la faisabilité computationnelle. Les expériences ont été menées sur une station de travail équipée d'un seul GPU NVIDIA H100.

Principales contributions

• Analyse comparative : L'étude fournit une comparaison détaillée des LLM et des SLM spécifiquement pour le diagnostic de code malveillant, en utilisant à la fois des têtes de classification et le prompting direct.
• Granularité des métriques : Les résultats sont rapportés avec des métriques spécifiques (précision, rappel, score F1) pour les classes saines et malveillantes, soulignant la capacité des modèles à distinguer l'une de l'autre.
• Évaluation robuste : L'utilisation d'un sous-ensemble équilibré de 10 000 échantillons du jeu de données SBAN garantit une évaluation de la performance fiable et impartiale.
• Évaluation par stratégie double : Le document compare de manière unique les performances des têtes de classification natives des modèles par rapport aux stratégies de prompting zero-shot, révélant des différences significatives dans leur efficacité.

Résultats expérimentaux

• Supériorité du mode Prompt-Based : Un écart de performance significatif a été observé entre les deux stratégies. Sur la quasi-totalité des modèles évalués, l'approche basée sur le prompt a systématiquement surpassé la stratégie de tête de classification. Cela suggère que les objectifs d'ajustement d'instructions (instruction-tuning) inhérents à ces modèles permettent des capacités de raisonnement plus fortes pour cette tâche que leurs couches de classification par défaut.
• Compétitivité des SLM : Malgré un nombre de paramètres inférieur, les SLM ont démontré des performances compétitives. Notamment, Phi-4-mini a atteint l'un des scores F1 les plus élevés et a maintenu des valeurs de précision et de rappel équilibrées, remettant en question l'hypothion selon laquelle la taille du modèle est le seul déterminant de l'efficacité de la détection.
• Performance des LLM vs Coût : Les modèles plus grands (ex. Qwen-2.5-7B, Mistral-7B) ont démontré de fortes capacités de détection mais nécessitent un temps d'inférence et des ressources de calcul nettement plus importants.
• Compromis Précision-Rappel : Bien que les SLM aient montré une haute précision, certains ont présenté un rappel plus faible pour les échantillons sains. Cependant, les résultats globaux indiquent que des SLM soigneusement conçus peuvent fournir des capacités de détection significatives.

Signification et affirmations
Le document affirme que les petits modèles de GenAI peuvent efficacement compléter les grands modèles, offrant un équilibre pratique entre performance et efficacité des ressources. Les conclusions suggèrent que :

1. Faisabilité opérationnelle : Les SLM sont particulièrement adaptés à un déploiement dans des environnements aux capacités de calcul limitées, tels que les appareils de bord (edge devices) et les centres d'opérations de sécurité, où la latence et la consommation de ressources sont critiques.
2. Architectures hiérarchiques : Les SLM peuvent servir de mécanisme de filtrage de premier niveau dans les pipelines d'analyse de logiciels malveillants. Les échantillons suspects identifiés par les SLM pourraient être transmis à des modèles plus grands pour une analyse plus approfondie, réduisant ainsi les coûts opérationnels tout en préservant une haute précision de détection.
3. Réentraînement minimal : La forte performance des méthodes basées sur le prompt suggère qu'un réentraînement spécifique à la tâche n'est pas toujours nécessaire ; des modèles pré-entraînés avec des prompts soigneusement conçés peuvent effectuer la détection de logiciels malveillants avec un coût d'entraînement supplémentaire minimal.

Les auteurs concluent que, bien que les modèles plus grands atteignent généralement une exactitude globale plus élevée, les modèles plus petits comme Phi-4-mini offrent des solutions fiables et économes en ressources. L'étude souligne que la taille du modèle ne dicte pas à elle seule l'efficacité ; la qualité de l'entraînement, l'ajustement des instructions et la connaissance du domaine jouent des rôles tout aussi importants. Les travaux futurs sont orientés vers l'amélioration des performances des SLM grâce à un ajustement fin sur des jeux de données diversifiés et l'exploration de techniques d'optimisation de modèles telles que l'élagage (pruning) et la distillation.