Résumé technique : Sur la fiabilité et la stabilité des méthodes sélectives dans les tâches de classification de malwares

Énoncé du problème

Les classificateurs de malwares modernes, particulièrement ceux adaptés à la dérive de distribution, affichent souvent des mesures de performance prometteuses (ex. F1, FPR). Cependant, ces mesures reflètent principalement la précision prédictive de base sous des conditions de dérive statiques ou isolées, négligeant la fiabilité opérationnelle et la stabilité en conditions de déploiement réel.

Dans des contextes opérationnels (ex. apprentissage actif ou classification sélective), les estimations de confiance du modèle servent de seul signal pour la prise de décision une fois que les étiquettes de vérité terrain ne sont plus disponibles. Un système digne de confiance doit garantir que les prédictions à haute confiance sont probablement correctes et que les scores de faible confiance (ou de haute distribution hors domaine/OOD) signalent avec précision les instances nécessitant une revue humaine. Les paradigmes d'évaluation actuels ne parviennent pas à vérifier si les fonctions de confiance restent calibrées et stables sous une dérive temporelle soutenue. Comme l'a noté Goodhart [15], « Quand une mesure devient une cible, elle cesse d'être une bonne mesure ». L'optimisation pour des métriques de premier plan comme le F1 masque souvent des défaillances dans le classement de la confiance, menant à :

1. Des ressources mal dirigées : L'apprentissage actif gaspillant les budgets d'annotation sur des échantillons non informatifs.
2. Une fragilité opérationnelle : La classification sélective échouant à rejeter les instances sujettes à l'erreur, ou inversement, rejetant des prédictions correctes.
3. Des charges de travail imprévisibles : Les mécanismes de rejet ne parvenant pas à suivre les quotas cibles sous l'effet de la dérive.

L'article soutient que sous l'effet de la dérive de distribution, les réseaux de neurones sont sujets à une grave décalibration, attribuant une haute confiance à des prédictions incorrectes sur des entrées OOD, ce qui mine le principe même de la classification sélective et de l'apprentissage actif.

Méthodologie : Le cadre Aurora

Pour combler ces lacunes, les auteurs proposent Aurora, un cadre conçu pour évaluer les classificateurs de malwares sur la base de la qualité de la confiance et de la résilience opérationnelle plutôt que sur la simple précision ponctuelle.

1. Cadre d'évaluation

Le cadre utilise un protocole d'évaluation non stationnaire et temporel simulant un déploiement réel :

• Données : Trois jeux de données de malwares Android (APIGraph, AndroZoo, Transcendent) présentant des niveaux de dérive variables.
• Protocole : Une boucle mensuelle où un modèle est évalué sur les données d'un nouveau mois ($M_i$), interroge un budget d'annotation fixe ($B_{Mi}$) des échantillons les plus incertains, reçoit les étiquettes et se met à jour.
• Contraintes : Aucune étiquette de vérité terrain n'est disponible durant la phase en ligne ; les décisions reposent uniquement sur les scores de confiance du modèle. Un seuil de rejet fixe ($\rho$) est calibré sur une fenêtre glissante de scores non étiquetés pour simuler un budget d'annotation mensuel ou un taux d'erreur cible.

2. Métriques

Aurora introduit un ensemble multidimensionnel de métriques catégorisées en trois piliers :

• Fiabilité (Qualité de la confiance) :

  • AURC (Aire sous la courbe Risque-Couverture) : Mesure l'efficacité avec laquelle les scores de confiance classent les instances par probabilité réelle de mauvaise classification. Un AURC plus faible indique un meilleur classement (les erreurs sont correctement identées comme étant de faible confiance).
  • AURC[F1] :* Une variante opérationnelle de l'AURC utilisant le risque basé sur le F1 ($1 - \text{F1}$) au lieu du taux d'erreur. Cela détecte si l'abstention nuit de manière disproportionnée à une classe (ex. rejeter les échantillons malveillants tout en conservant les bénins), ce que l'AURC standard pourrait manquer.
  • Fréquence de bénéfice (BF) :* La proportion de mois où la classification sélective (abstention) améliore le F1 par rapport à une base de référence sans rejet.

• Stabilité (Robustesse temporelle) :

  • $\sigma[\text{F1}]$ : Écart-type des scores F1 mensuels, mesurant la volatilité de la performance.
  • Tendance de Mann-Kendall ($\tau$) : Un test non paramétrique détectant les tendances de performance monotones (amélioration, dégradation ou stabilité) au fil du temps.
  • Cohérence du rejet :
    • $\Delta\text{Rej}^*$ : Biais entre les quotas de rejet réels et cibles.
    • $\sigma[\text{Rej}]^*$ : Écart-type des rejets réalisés, mesurant la prévisibilité de la charge de travail de l'analyste.

3. Modèles comparés

Le cadre évalue quatre frameworks de pointe (SOTA) en open-source :

• Drebin : SVM linéaire sur des caractéristiques statiques.
• DeepDrebin : Réseau entièrement connecté sur les caractéristiques de Drebin.
• CADE : Apprentissage contrastif avec score OOD basé sur la distance.
• HCC : Apprentissage contrastif hiérarchique avec contraintes de niveau de famille.

L'étude examine également l'impact de la curation de données, comparant les modèles entraînés sur l'ensemble du jeu de données initial ($B_0 = \text{Full}$) versus un sous-échantillon ($B_0 = 4800$).

Résultats clés

L'évaluation révèle un décalage significatif entre les métriques de performance de premier plan et la fiabilité opérationnelle.

1. Calibration de la confiance vs Précision

• Le F1 n'implique pas la fiabilité : Des modèles ayant des scores F1 similaires présentent souvent des valeurs d'AURC très différentes (jusqu'à 10 fois plus). Par exemple, sur le jeu de données APIGraph, CADE et DeepDrebin ont des scores F1 comparables, mais l'AURC de CADE est 6 fois pire, indiquant que ses scores de confiance ne parvendront pas à classer correctement les erreurs.
• Déséquilibre de classe dans le rejet : L'AURC[F1]* a révélé que certains modèles (ex. HCC) classent bien les erreurs totales mais rejettent de manière disproportionnée une classe (ex. les malwares), dégradant la qualité de la détection équilibrée.
• Échec du scoring OOD : Le scoring OOD basé sur la distance de CADE (supposant que les erreurs sont corrélées à la distance des centres de clusters) a échoué empiriquement. Les courbes Risque-Couverture ont montré que les erreurs de classification se produisaient souvent près des centres de clusters (haute confiance), contredisant le postulat de base de CADE.

2. Stabilité temporelle et cohérence du rejet

• Instabilité catastrophique : CADE a présenté une instabilité extrême dans son comportement de rejet. Sur le jeu de données Transcendent, CADE-MSP a dépassé son quota de rejet de 3 375 échantillons en moyenne (cible de 400) avec une variabilité massive ($\sigma[\text{Rej}]^* \approx 3347$), le rendant inapte aux opérations à budget fixe.
• Oscillation fragile vs Adaptation robuste : Bien que certains modèles affichent un F1 élevé, leurs métriques de stabilité ($\sigma[\text{F1}]$ et $\tau$) révèlent une dégradation systématique ou une oscillation erratique sous l'effet de la dérive. DeepDrebin, à l'inverse, a démontré une adaptation robuste avec des tendances d'amélioration constantes sur certains jeux de données.
• Bénéfice de l'abstention : La classification sélective n'est pas universellement bénéfique. CADE a atteint une Fréquence de bénéfice (BF*) < 5 % dans plusieurs configurations, ce qui signifie que l'abstention a activement nui à la performance la plupart du temps.

3. La perspective de Pareto

Lors de l'évaluation des méthodes à travers plusieurs dimensions (F1, AURC, $\sigma[\text{F1}]$, $\tau$), aucune méthode ne domine toutes les conditions.

• DeepDrebin (avec sous-échantillonnage) et HCC-MSP (avec sous-échantillonnage) se sont imposés comme Pareto-optimaux, offrant les meilleurs compromis entre performance, stabilité et fiabilité.
• Avantage du sous-échantillonnage : Contre-intuitivement, l'entraînement sur un sous-échantillon du jeu de données initial ($B_0 = 4800$) a souvent été plus performant que l'entraînement sur la première année complète de données, suggérant que de gros volumes de données historiques peuvent entraver l'adaptation aux nouveaux schémas de dérive.
• Complexité vs Utilité : L'approche la plus simple (DeepDrebin) surpasse souvent les frameworks complexes (CADE, HCC) qui dépendent de labels de familles coûteux et d'un entraînement extensif, consommant une fraction de leur budget de calcul.

Signification et affirmations

L'article affirme que la dépendance actuelle aux métriques de précision statiques (F1, FPR) est insuffisante pour évaluer la fiabilité des classificateurs de malwares dans des environnements dynamiques.

1. Révision des hypothèses : La fragilité observée dans les frameworks SOTA suggère que les hypothèses sous-jacentes sur la calibration de la confiance et la détection OOD (ex. les métriques basées sur la distance) pourraient nécessiter une révision.
2. Réalité opérationnelle : Le comportement d'un modèle en déploiement est conditionné par la qualité et la stabilité de son classement basé sur la confiance, et non seulement par sa précision en laboratoire.
3. Changement méthodologique : Les auteurs préconisent un passage vers une évaluation multidimensionnelle incluant la calibration de la confiance, la stabilité temporelle et la cohérence du rejet.
4. Implications pratiques : Les résultats suggèrent que le choix de la « meilleure » méthode dépend des priorités opérationnelles (ex. prévisibilité de la charge de travail vs taux de détection brut). Une méthode qui domine en F1 peut être dominée lorsqu'on considère la fiabilité et la stabilité.
5. La simplicité l'emporte : L'étude souligne que les frameworks complexes dépendant de labels de familles ne se traduisent pas nécessairement par une robustesse de déploiement, et que des bases simples avec une curation stratégique de données peuvent être plus efficaces.

En conclusion, l'article pose que « quand le F1 devient la cible, il cesse d'être une bonne mesure de la fiabilité », et que des cadres comme Aurora sont nécessaires pour exposer les risques cachés du déploiement de méthodes de classification sélective sous dérive de distribution.