Related Families, Not Label Errors: A Case Study of a Failure Mode in Open-World Malware Evaluation on BODMAS
Cet article démontre que la faible performance de la détection de malwares en monde ouvert sur le benchmark BODMAS est causée non pas par des erreurs d'étiquetage ou des failles des détecteurs, mais par la présence de familles étroitement liées dans l'ensemble d'entraînement qui rendent les échantillons « nouveaux » mis de côté en réalité familiers pour les méthodes de score de nouveauté non supervisées.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde numérique, les chercheurs en sécurité conçoivent des programmes destinés à agir comme des sentinelles, scannant constamment à la recherche de logiciels malveillants qui menacent les ordinateurs. Ces programmes sont entraînés pour reconnaître les menaces connues, mais le véritable défi réside dans l'« open world » (monde ouvert), où de nouveaux types de malwares apparaissent chaque jour. Pour tester si ces sentinelles sont réellement prêtes pour l'inconnu, les chercheurs utilisent une méthode spécifique : ils cachent un groupe entier de logiciels malveillants connus au programme d'entraînement et demandent ensuite : « Votre système peut-il identifier ce nouveau groupe comme étant quelque chose qu'il n'a jamais vu auparavant ? » Si le système signale le groupe caché comme un étranger, il réussit le test. Ce processus suppose que le groupe caché est véritablement unique et n'a aucun parent proche dans les données d'entraînement. Si le groupe caché est en réalité un cousin d'un groupe que le système connaît déjà, le test s'effondre, non pas parce que le système est faible, mais parce que la question posée est erronée.
Une équipe de chercheurs a récemment étudié un échec déroutant de l'un des tests les plus respectés de la détection de malwares, connu sous le nom de BODMAS. Ils ont découvert que lorsqu'ils retiraient une famille spécifique de malwares appelée berbew des données d'entraînement, le système de détection échouait de manière spectaculaire. Au lieu de signaler les échantillons cachés comme de nouvelles menaces, le système les étiquetait avec assurance comme des logiciels sûrs et connus. Les résultats étaient si médiocres que le système a performé moins bien qu'un choix aléatoire. À première vue, cela ressemblait à un échec catastrophique de la technologie de détection. Cependant, les chercheurs ont découvert que la faute ne venait pas de l'intelligence du logiciel, mais de la structure même du test. La famille berbew cachée avait un parent très proche, appelé qukart, qui restait dans les données d'entraînement. Parce que les deux groupes possédaient des empreintes numériques très similaires, le système a correctement reconnu que les échantillons cachés appartenaient à une famille qu'il connaissait déjà, même s'il ne connaissait pas le nom spécifique du groupe caché. Le test pénalisait le système pour sa précision quant à la relation entre les deux groupes.
Pour prouver cela, les chercheurs ont mené une expérience contrôlée. Ils ont retiré simultanément les familles berbew et qukart des données d'entraînement, garantissant qu'aucun parent proche ne soit laissé derrière. Lorsqu'ils ont relancé le test, la performance du système sur les échantillons berbew a grimpé en flèche, passant d'un score d'échec à une détection quasi parfaite. Ce changement radical a confirmé que l'échec initial était causé par la présence d'une famille apparentée dans l'ensemble d'entraînement, et non par un défaut de l'algorithme de détection. Les chercheurs ont été méticuleux pour écarter d'autres explications courantes. Ils ont audité l'ensemble du jeu de données, vérifiant des milliers de paires de familles de malwares pour voir si certaines étaient en fait des doublons portant des noms différents, ce qui aurait pu causer la confusion. Ils n'ont trouvé aucun doublon parmi les paires les plus suspectes. Ils ont également examiné les conventions de nommage utilisées par les éditeurs d'antivirus, qui regroupent souvent des malwares apparentés sous un seul nom de lignée. Ils ont découvert que ces noms ne prédisaient pas le problème ; dans un cas documenté, trois familles étaient considérées comme faisant partie de la même lignée, mais seules deux d'entre elles étaient réellement assez proches pour confondre le système. La troisième était distincte, montrant que se fier aux noms seuls aurait fusionné les mauvais groupes et manqué le véritable problème.
L'étude a en outre révélé que cette confusion était spécifique à la manière dont le système mesurait la « nouveauté ». Les chercheurs ont testé plusieurs approches mathématiques différentes pour repérer l'inconnu. Ils ont constaté que toute méthode comparant un échantillon à un résumé global et large de tous les logiciels connus échouerait lorsqu'un parent proche est présent. Ces méthodes verraient l'échantillon caché comme normal car il est proche du parent connu. Cependant, une approche différente, qui compare un échantillon uniquement à ses plus proches voisins, a obtenu de meilleurs résultats. Elle n'a pas donné la réponse parfaitement exacte, mais elle n'a pas totalement inversé le résultat, suggérant que regarder les détails locaux plutôt qu'une moyenne globale est une stratégie plus sûre lorsque des parents proches existent. Les chercheurs ont également noté qu'un système supervisé, qui pouvait utiliser les noms de famille pendant l'entraînement, pouvait séparer efficacement les deux groupes, prouvant que les étiquettes étaient correctes et les familles distinctes, bien que très similaires.
La leçon fondamentale de ce travail est que la façon dont nous testons les logiciels de sécurité doit changer. Se contenter de rapporter un score moyen unique sur la capacité d'un système à détecter de nouvelles menaces masque ces échecs critiques. Les chercheurs soutiennent qu'avant de déclarer un test réussi, nous devons d'abord mesurer à quel point les groupes cachés sont apparentés aux groupes utilisés pour l'entraînement. Si un groupe caché a un cousin proche dans l'ensemble d'entraînement, le test ne mesure pas la capacité à trouver le véritable inconnu ; il mesure la capacité à distinguer des éléments connus très similaires. La solution n'est pas de retirer ces familles apparentées du test, car elles représentent des menaces réalistes que les équipes de sécurité doivent gérer. Au lieu de cela, les chercheurs devraient rapporter les résultats séparément pour les familles qui ont des parents proches et celles qui n'en ont pas. Cette transparence garantit qu'un système n'est pas injustement puni pour avoir correctement identifié une lignée connue, et elle offre une image plus claire de la position réelle de la technologie. En documentant ce mode de défaillance spécifique et les étapes entreprises pour le comprendre, les chercheurs espèrent éviter que d'autres ne répètent les mêmes erreurs et encourager une évaluation plus honnête de la capacité de nos sentinelles numériques à réellement voir l'inconnu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.