Résumé Technique : Un cadre de mélange d'experts multi-tâches pour la classification de logiciels malveillants, la détection de l'empaquetage et l'attribution de familles

Énoncé du Problème

L'analyse des logiciels malveillants est confrontée à des défis importants en raison de l'hétérogénéité intrinsèque des données de malwares, de la prévalence des binaires empaquetés (packed) ou obfusqués, et de la distribution diversifiée des familles de malwares. Les mécanismes de détection traditionnels à modèle unique peinent souvent à se généraliser à travers ces diverses distributions de données, ce qui entraîne une dégradation des performances, particulièrement sur les échantillons rares ou fortement obfusqués. De plus, les cadres existants reposent généralement sur des architectures monolithiques qui tentent d'optimiser simultanément plusieurs objectifs hétérogènes (par exemple, la classification de famille, la détection de l'empaquetage et la discrimination malveillant/bénin). Cette approche entraîne souvent un « transfert de tâche négatif », où les exigences structurelles et sémantiques conflictuelles de différentes tâches interfèrent entre elles, empêchant le modèle d'apprendre des représentations efficaces pour tous les objectifs.

Méthodologie

Les auteurs proposent un cadre d'apprentissage multi-tâches unifié basé sur des architectures de Mélange d'Experts (MoE - Mixture of Experts) pour répondre à ces limitations. L'hypothèse centrale est que la décomposition du problème en réseaux d'experts spécialisés, coordonnés par des mécanismes de porte adaptatifs, permet un apprentissage spécifique aux tâches tout en maintenant l'extensibilité.

1. Représentations d'Entrée

Le cadre évalue les performances à travers deux modalités d'entrée distinctes :

• Caractéristiques EMBER structurées : Des descripteurs numériques de haute dimension (2 381 dimensions) extraits des fichiers PE (Portable Execable) via le framework EMBER. Celles-ci incluent des métadonnées PE analysées, des informations d'en-tête, des caractéristiques de sections, des tables d'importation/exportation, ainsi que des histogrammes d'octets et des mesures d'entropie indépendants du format.
• Représentations d'images 1D brutes : Conversion directe des octets exécutables en séquences d'intensité de niveaux de gris unidimensionnelles (testées à des longueurs de 1 024, 4 096 et 16 384 octets), permettant au modèle d'apprendre à partir de données binaires brutes sans ingénierie de caractéristiques explicite.

2. Variantes Architecturales

L'étude examine systématiquement trois paradigmes MoE :

• MoE Homogène (Homo-MoE) : Utilise trois réseaux d'experts identiques et un seul réseau de porte partagé. Tous les experts partagent la même architecture (couches denses) mais apprennent des motifs de caractéristiques différents. Il emploie une perte d'erreur quadratique espérée et un régularisateur de reconstruction pour garantir la pertinence de l'espace latent.
• MoE Hétérogène (Hetero-MoE) : Combine des experts structurellement divers (par exemple, un avec des connexions de saut/skip connections, un avec des dimensions réduites, un avec des couches de goulot d'étranglement/bottleneck) pour capturer des informations complémentaires. Il utilise une perte de log-vraisemblance négative (NLL) pour promouvoir un apprentissage compétitif entre les structures diverses.
• Mélange d'Experts à Multi-Portes (MMoE - Multi-Gate Mixture of Experts) : Conçu spécifiquement pour les scénarios multi-tâches, cette architecture emploie des réseaux de porte spécifiques à chaque tâche. Au lieu d'une porte unique routant les entrées pour toutes les tâches, le MMoE permet à chaque tâche (Classification de Famille, Détection de l'Empaquetage, Identification Malveillant/Bénin) de sélectionner et de pondérer indépendamment les sorties des experts. Cela découple le processus de routage pour atténuer le transfert négatif entre les tâches.

3. Stratégie d'Entraînement et d'Évaluation

• Objectifs Multi-Tâches : Le cadre réalise simultanément trois tâches :
  1. Classification de la famille de malwares (multi-classe).
  2. Détection de l'empaquetage vs non-empaquetage (binaire).
  3. Identification malveillant vs bénin (binaire).
• Robustesse Adversaire : Pour évaluer la résilience, les auteurs utilisent PyMetaEngine pour générer des échantillons de malwares mutés, créant des ensembles de données adverses qui introduisent des décalages de distribution tout en préservant la sémantique du programme.
• Métriques : La performance est mesurée par l'Exactitude (Accuracy), le score F1 et un Taux de Détection Combiné (CDR - Combined Detection Rate), qui exige que les trois tâches soient correctes pour qu'un échantillon soit comptabilisé comme un succès. Le Taux de Succès d'Attaque (ASR - Attack Success Rate) est défini comme $1 - CDR$.

Contributions Clés

1. Formulation Multi-Tâches Unifiée : L'article formule l'analyse des malwares comme un cadre unique intégrant la classification de famille, la détection de l'empaquetage et la séparation malveillant/bénin, s'éloignant des modèles isolés à tâche unique.
2. Investigation Architecturale : Il conçoit et évalue les architectures MoE Homogène, Hétérogène et à Multi-Portes, soulignant l'impact de la diversité des experts et des stratégies de porte sur l'analyse des malwares.
3. Comparaison de Représentation de Caractéristiques : Une analyse comparative exhaustive est menée entre les caractéristiques EMBER structurées et les représentations d'images 1D brutes dans le contexte du MoE.
4. Évaluation de la Robustesse : Les modèles sont testés sous des décalages de distribution induits par des attaques adverses métamorphiques basées sur la mutation pour évaluer la résilience en conditions réelles.
5. Résultats Empiriques : L'étude démontre que le Multi-Gate MoE (MMoE) atteint une performance et une stabilité supérieures, particulièrement lorsqu'il est associé aux caractéristiques structurées EMBER et aux données d'entraînement augmentées par mutation.

Résultats Expérimentaux

Les expériences ont été menées sur un ensemble de données de 66 400 fichiers PE (26 400 malwares, 40 000 bénins) à travers plusieurs graines aléatoires.

• Performance Standard (Caractéristiques EMBER) : Le modèle MMoE a atteint le CDR de base le plus élevé de 0,9670, surpassant le MoE Homogène (0,9466) et le MoE Hétérogène (0,9425). Le MMoE a également présenté l'ASR le plus bas de 3,35 %.
• Robustesse Adversaire (Échantillons Mutés) : Testé contre des échantillons mutés (Dataset D2), le MMoE a maintenu un CDR de 0,9342, tandis que les modèles Homogène et Hétérogène ont subi des chutes significatives à 0,8635 et 0,8577 respectivement. Cela indique la capacité supérieure du MMoE à gérer les décalages de distribution.
• Impact de l'Augmentation de Données : L'entraînement du MMoE sur un jeu de données augmenté par des échantillons mutés (Dataset D3) a encore amélioré les performances, atteignant un CDR de 0,9744 avec un ASR de seulement 2,56 %.
• Résultats des Images 1D Brutes : Lors de l'utilisation de représentations d'octets 1D brutes, le MoE Hétérogène a surpassé le MMoE (CDR 0,9585 contre 0,9478). Cela suggère que pour les données brutes, la diversité architecturale des experts est plus bénéfique que le routage spécifique aux tâches, tandis que pour les caractéristiques structurées, le routage spécifique aux tâches est critique.
• Efficacité : Le modèle MMoE a démontré une grande efficacité de calcul, avec un temps de test d'environ 2,05 µs par échantillon.

Signification et Revendications

L'article affirme que le cadre proposé offre une direction prometteuse pour des systèmes de détection de malwares évolutifs et résilients. La principale signification réside dans la démonstration que le routage d'experts spécifique aux tâches (via MMoE) améliore considérablement la précision et la généralisation par rapport aux stratégies de porte unifiées, particulièrement dans les distributions de malwares complexes et hétérogènes.

Les auteurs notent modestement que l'avantage du routage spécifique aux tâches n'est pas indépendant de la représentation d'entrée ; il est plus efficace lorsqu'il est couplé à la richesse sémantique des caractéristiques structurées EMBER. Alors que les représentations 1D brutes bénéficient davantage des structures d'experts hétérogènes, le cadre MMoE avec les caractéristiques EMBER représente la configuration la plus robuste pour faire face aux divers défis des malwares modernes, y compris l'empaquetage et les mutations métamorphiques. Ce travail souligne que la spécialisation des experts et le calcul conditionnel sont des mécanismes efficaces pour réduire l'interférence entre les objectifs de sécurité concomitants.