Meta-classification of one-class classification models using ranking correlation and nearest neighbor

Résumé Technique : Méta-classification de modèles de classification à une classe (One-Class Classification)

Énoncé du problème
Bien que les techniques d'apprentissage automatique (ML) soient largement appliquées dans divers domaines, l'application du ML aux modèles de ML eux-mêmes reste une direction inexplorée. Plus précisément, cet article traite du défi de la classification des modèles de classification à une classe (OCC - One-Class Classification). L'OCC est un problème où l'ensemble d'entraînement ne consiste qu'en une seule classe. Les auteurs postulent que tous les modèles de ML peuvent être approximés par des modèles OCC (par exemple, les modèles binaires ou multiclasses peuvent être vus comme des ensembles de modèles OCC). La difficulté principale réside dans le fait que les modèles OCC possèdent des fonctions de score et des seuils uniques qui varient selon l'algorithme, rendant impossible la comparaison directe de leurs mécanismes internes. L'objectif est de développer une méthode pour classifier ces modèles en se basant sur leur comportement plutôt que sur leurs paramètres internes.

Méthodologie
Le cadre proposé traite les modèles OCC comme des points de données à classifier. La méthodologie se déroule en trois étapes principales :

1. Représentation sous forme de classements de normalité :
   Au lieu de comparer les fonctions de score brutes (qui diffèrent en variables et en échelles selon les algorithmes), la méthode construit des « classements de normalité ». Un « ensemble de classement » distinct (un ensemble d'échantillons indépendants) est injecté dans les modèles OCC. Chaque modèle produit un score pour chaque échantillon de cet ensemble. Ces scores sont ensuite convertis en rangs (ordonnancements) pour chaque modèle. Cela transforme le modèle en un vecteur de rangs, créant un espace de représentation commun quel que soit l'algorithme sous-jacent.

2. Mesure de similitude :
   Pour comparer deux modèles OCC, l'article utilise des métriques de corrélation de rang. Plus précisément, il emploie la corrélation de Spearman (pour la rapidité) et la corrélation de Kendall Tau (pour la gestion des ex æquo) afin de mesurer la similitude entre les classements de normalité générés par différents modèles.

3. Classification via le plus proche voisin :
   La tâche de classification est réalisée à l'aide d'une approche de plus proche voisin (Nearest Neighbor - NN). Puisque le NN est un « apprenant paresseux » (lazy learner), la phase d'entraînement consiste à stocker les classements des modèles OCC étiquetés. Lors de la phase de test, le classement d'un modèle inconnu est comparé aux classements d'entraînement stockés en utilisant les métriques de corrélation. Le modèle inconnu reçoit l'étiquette du modèle d'entraînement le plus similaire (le plus proche).

Principales contributions

• Premier article de revue sur la classification de modèles de ML : Les auteurs affirment qu'il s'agit du premier article de revue explicitant la classification de modèles de ML, en se concentrant spécifiquement sur les modèles OCC.
• Solution unifiée : La méthode fournit un cadre unifié pour classifier trois entités distinctes : les modèles OCC, les jeux de données utilisés pour les entraîner, et les classements eux-mêmes.
• Aperçu théorique : L'article établit que la classification des modèles OCC est essentiellement équivalente à la classification des jeux de données qui les ont entraînés, car il existe une correspondance biunivoque entre un modèle OCC et son jeu de données d'entraînement.
• Expérimentations étendues : Contra à une version précédente présentée en conférence, ce travail inclut des expériences détaillées sur les modèles d'ensemble, l'équilibre des données (ratios normal vs anormal) et les hyperparamètres.

Résultats expérimentaux
Les expériences ont utilisé quatre algorithmes OCC de base (OCSVM, LOF, Isolation Forest, GMM) et leurs ensembles, entraînés sur des sous-ensembles du jeu de données KDD Cup.

• Classification de jeux de données : La méthode a atteint une précision de 100 % pour distinguer les modèles entraînés sur des données « normales » de ceux entraînés sur des données « anormales ». Elle a également obtenu une précision élevée (99,3–99,4 %) pour distinguer les modèles entraînés sur des données mixtes. La classification de ratios spécifiques normal-anormal (11 classes) a donné des précisions de 83,6 % (leave-one-out) et 87,3 % (2-fold).
• Classification d'algorithmes : En distinguant les quatre algorithmes de base, la méthode a atteint une précision de 100 %. Cependant, la précision a chuté lors de la classification des modèles d'ensemble (15 classes), atteignant 85,5 % sur les données normales et nettement moins (23,7 %) sur les données anormales, suggérant que les modèles d'ensemble sont plus similaires entre eux que les apprenants de base.
• Classification d'hyperparamètres :
  • Hyperparamètres catégoriels : Une précision élevée a été obtenue pour les paramètres catégoriels (ex: noyaux OCSVM : 93,8–100 % ; types de covariance GMM : 75 %).
  • Hyperparamètres numériques : La précision était faible pour les paramètres numériques (ex: voisins LOF : 2,8 % ; max features IF : 27,9 %). Les auteurs notent que bien que la précision de classification soit faible, les résultats ressemblent à un problème de régression où les prédictions sont proches des valeurs réelles, suggérant que les changements numériques mineurs n'altèrent pas radicalement le comportement de classement du modèle.
• Applications concrètes :
  • Signaux biométriques : La méthode a été appliquée aux signaux de balistocardiogramme (BCG), détectant avec succès les anomalies (apnées, changements de position) en analysant les décalages de corrélation de rang.
  • Enregistrements du sommeil : Dans un cadre non supervisé utilisant des enregistrements de sommeil de 1308 participants, la méthode a identifié des comportements de sommeil « anormaux » en traitant les jeux de données individuels comme des modèles OCC et en détectant les valeurs aberrantes dans l'espace de classement.

Signification et limites
L'article affirme que la classification des modèles OCC offre une nouvelle perspective dans l'IA explicable (XAI), spécifiquement comme une méthode pour analyser les modèles « boîte noire » par leurs classements de sortie. Il suggère que la classification des jeux de données (traiter plusieurs échantillons comme une seule entrée) peut être plus facile que la classification traditionnelle échantillon par échantillon en raison des différences plus marquées entre les jeux de données.

Cependant, les auteurs font preuve de modestie quant aux limites :

• Scalabilité : L'approche fait face à des problèmes de passage à l'échelle avec de grands jeux de données en raison du coût computationnel du calcul des corrélations de rang (O(n) pour Spearman, O(n²) pour Kendall Tau).
• Contraintes de la boîte noire : La méthode nécessite l'accès aux fonctions de score et une forme d'entrée connue pour générer l'ensemble de classement. Dans des scénarios réels où seuls les sorties de classification sont disponibles ou lorsque les formes d'entrée sont inconnues, la création d'un ensemble de classement est complexe.
• Travaux futurs : L'article précise explicitement que la classification des modèles binaires/multiclasses et le développement de modèles de « troisième couche » (classifiant les classificateurs de modèles) sont laissés à la recherche future.

En conclusion, l'article démontre que les modèles OCC peuvent être efficacement méta-classifiés en utilisant les corrélations de rang et les plus proches voisins, fournissant une approche unifiée pour analyser les modèles, les jeux de données et les classements, avec des applications potentielles dans la détection d'anomalies et la caractérisation de jeux de données.