LLM-Generated Samples for Android Malware Detection

Résumé Technique : Échantillons générés par LLM pour la détection de malwares Android

Énoncé du Problème
Les malwares Android continuent d'évoluer rapidement par l'obscurcissement et le polymorphisme, mettant au défi tant les défenses basées sur les signatures que les modèles d'apprentissage automatique (ML). Un goulot d'étranglement critique dans le développement de systèmes de détection robustes est la rareté des données, particulièrement pour des familles de malwares et des comportements spécifiques, ce qui entraîne des ensembles de données déséquilibrés et entrave la généralisation des classifieurs. Bien que les données synthétiques aient été proposées comme remède, l'efficacité spécifique des grands modèles de langage (LLM) pour générer des enregistrements de malwares structurés et efficaces pour l'entraînement des modèles de détection reste peu explorée. La littérature existante manque d'évaluation empirique sur la manière dont les données de malwares Android synthétiques générées par LLM influencent la performance de détection lorsqu'elles sont utilisées pour l'augmentation ou comme source d'entraînement autonome.

Méthodologie
Cette étude utilise le jeu de données KronoDroid, sélectionné pour son espace de caractéristiques hybride statique-dynamique, ses répartitions malveillantes/bénignes équilibrées et ses caractéristiques interprétables par l'humain. La recherche se concentre sur trois familles de malwares distinctes : BankBot (trojan bancaire), Locker/SLocker (ransomware) et Airpush/StopSMS (adware/trojan SMS).

La méthodologie centrale repose sur un processus en trois étapes :

1. Préparation des données : Les auteurs ont sélectionné des sous-ensembles d'appareils réels à partir de KronoDroid, maintenant un ratio 1:1 entre les échantillons malveillants et bénins. Les caractéristiques ont été prétraitées pour supprimer les identifiants et les métadonnées, imputant les valeurs « None » à zéro et filtrant les colonnes creuses, ce qui a abouti à un ensemble final de 387 caractéristiques numériques.
2. Fine-tuning et génération par LLM : Les auteurs ont affiné (fine-tuned) GPT-4.1-mini pour générer des enregistrements de malwares structurés. Pour contourner les filtres de sécurité concernant des termes tels que « malware », les noms de caractéristiques ont été assainis (ex: « malware » $\to$ « app »). L'équipe a initialement tenté la génération en format CSV mais a rencontré des incohérences structurelles ; par conséquent, ils se sont tournés vers les formats JSON/JSONL, qui se sont révélés plus stables pour les LLM.
   • Stratégie de Fine-tuning : Deux configurations ont été testées. Pour BankBot et Locker/SLocker, 50 échantillons représentatifs par famille ont été utilisés pour une époque (epoch). Pour Airpush/StopSMS, l'ensemble a été augmenté à 150 échantillons sur 3 époques pour tester la sensibilité au volume de données et à la profondeur de l'entraînement.
   • Ingénierie de Prompt : Les prompts ont été optimisés pour imposer un réalisme structurel, une unicité et un étiquetage correct. Le post-traitement impliquait la suppression des doublons et le traitement des hallucinations (ex: schémas d'appels système irréalistes).
3. Évaluation Expérimentale : L'étude a évalué cinq classifieurs (k-plus proches voisins, arbres de décision, régression logistique, perceptron multicouche et forêt aléatoire) à travers trois scénarios :
   • Réel uniquement (Real-only) : Entraînement sur des malwares et des données bénignes réelles.
   • Réel + Synthétique : Augmentation des malwares réels avec des échantillons générés par LLM.
   • Synthétique uniquement (Synthetic-only) : Entraînement exclusivement sur des malwares synthétiques et des données bénignes réelles, puis test sur des malwares réels.

Résultats Clés
Les résultats expérimentaux, validés à travers 45 combinaisons (3 familles $\times$ 5 classifieurs $\times$ 3 scénarios), révèlent des paliers de performance distincts :

• Entraînement Réel Uniquement : A atteint une détection quasi parfaite pour toutes les familles. Pour BankBot, des modèles comme la régression logistique et la forêt aléatoire ont atteint une précision et une AUC ROC de 1.000. Les familles Locker et Airpush ont également montré des performances élevées (Précision $\approx$ 0.97–0.99), confirmant qu'une quantité suffisante de données réelles permet une excellente discrimination.
• Augmentation Réel + Synthétique : L'ajout d'échantillons générés par LLM a préservé une performance élevée mais a entraîné des dégradations mineures et constantes par rapport à l'entraînement sur données réelles uniquement. Par exemple, la précision de BankBot a légèrement chuté de 1.000 à environ 0.99. Crucialement, le taux de faux positifs est resté très bas (<0.04), indiquant que l'augmentation synthétique ne compromet pas la spécificité.
• Entraînement Synthétique Uniquement : La performance était mitigée et très dépendante de la famille de malwares et de la stratégie de fine-tuning :
  • BankBot & Locker/SLocker : Les modèles entraînés uniquement sur des données synthétiques ont mal performé lors des tests sur des données réelles. La précision variait de 0.50 à 0.74, avec un rappel (recall) extrêmement bas (ex: 0.05 pour Locker), suggérant que les données synthétiques n'ont pas réussi à capturer les caractéristiques distributionnelles nécessaires pour ces familles.
  • Airpush/StopSMS : Cette famille a montré une bien meilleure généralisation (Précision $\approx$ 0.80–0.89, Rappel $\approx$ 0.61–0.79). Cette amélioration est corrélée au corpus de fine-tuning plus large (150 échantillons) et à un entraînement plus profond (3 époques), suggérant que la fidélité synthétique s'améliore avec l'augmentation du volume de données et de la profondeur de l'entraînement.

Principales Contributions
Le papier apporte deux contributions majeures :

1. Utilité de l'Augmentation : Il démontre que l'augmentation de jeux de données réels rares par des malwares générés par LLM peut accroître la taille des données sans compromettre significativement la précision de détection ou la spécificité.
2. Limites de Faisabilité du mode Synthétique Uniquement : Il fournit des preuves empiriques que, bien que les LLM puissent générer des enregistrements structurellement cohérents, ils sont actuellement insuffisants comme source d'entraînement autonome pour la détection de malwares. L'efficacité de l'entraînement sur données synthétiques uniquement est hautement sensible aux caractéristiques de la famille de malwares et à la profondeur du processus de fine-tuning.

Signification et Revendications
Les auteurs positionnent ce travail comme une exploration pratique de l'utilité des LLM dans l'analyse de la cybersécurité plutôt que comme une percée en termes de métriques de détection brutes. L'étude affirme que :

• La donnée synthétique est un complément, pas un substitut : Les malwares générés par LLM peuvent efficacement remédier à la rareté des données pour les familles rares, mais ne peuvent pas encore remplacer les données réelles pour l'entraînement de classifieurs robustes.
• Une rigueur méthodologique est requise : Le succès de la génération synthétique dépend fortement de l'ingénierie de prompt, du post-traitement et du régime spécifique de fine-tuning (taille de l'échantillon et nombre d'époques).
• Potentiel futur : Les conclusions suggèrent qu'augmenter les corpus de fine-tuning et les époques pour les familles plus importantes pourrait réduire l'écart de généralisation. Les auteurs proposent que les données synthétiques soient mieux appliquées comme complément pour des tâches telles que l'entraînement adversarial, le red-teaming et le benchmarking dans des environnements où l'accès à des jeux de données réels sensibles est limité.

En conclusion, l'article affirme que si les LLM offrent une voie prometteuse pour enrichir les jeux de données de malwares, leurs sorties actuelles manquent du réalisme et de la diversité requis pour des modèles de détection autonomes, nécessant ainsi une approche hybride qui priorise la validation par des données réelles.