Meta-classification of one-class classification models using ranking correlation and nearest neighbor

Technische Samenvatting: Meta-classificatie van One-Class Classification Modellen

Probleemstelling
Hoewel Machine Learning (ML)-technieken breed worden toegepast in diverse domeinen, blijft de toepassing van ML op ML-modellen zelf een onverkend gebied. Specifiek richt dit artikel zich op de uitdaging van het classificeren van One-Class Classification (OCC) modellen. OCC is een probleem waarbij de trainingsset uitsluitend uit één klasse bestaat. De auteurs stellen dat alle ML-modellen kunnen worden benaderd als OCC-modellen (bijv. binaire of multi-class modellen kunnen worden gezien als verzamelingen van OCC-modellen). De kernmoeilijkheid ligt in het feit dat OCC-modellen unieke scorefuncties en drempelwaarden bezitten die variëren per algoritme, waardoor directe vergelijking van hun interne mechanica onmogelijk is. Het doel is om een methode te ontwikkelen om deze modellen te classificeren op basis van hun gedrag in plaats van hun interne parameters.

Methodologie
Het voorgestelde framework behandelt OCC-modellen als datapunten die geclassificeerd moeten worden. De methodologie verloopt in drie hoofdfasen:

1. Representatie als Normaliteitsrangschikkingen:
   In plaats van ruwe scorefuncties te vergelijken (die verschillen in variabelen en schalen over algoritmen heen), construeert de methode "normaliteitsrangschikkingen". Een aparte "ranking set" (een verzameling onafhankelijke monsters) wordt in de OCC-modellen gevoed. Elk model geeft een score voor elk monster in deze set. Deze scores worden vervolgens omgezet in rangordes (rankings) voor elk model. Dit transformeert het model naar een vector van rangordes, waardoor een gemeenschappelijke representatieruimte ontstaat, ongeacht het onderliggende algoritme.

2. Gelijkenismeting:
   Om twee OCC-modellen te vergelijken, maakt het artikel gebruik van correlatiemetingen voor rangordes. Specifiek wordt Spearman-correlatie (voor snelheid) en Kendall Tau-correlatie (voor het afhandelen van gelijke rangordes/ties) gebruikt om de gelijkenis tussen de door verschillende modellen gegenereerde normaliteitsrangschikkingen te meten.

3. Classificatie via Nearest Neighbor:
   De classificatietaak wordt uitgevoerd met behulp van een Nearest Neighbor (NN) aanpak. Omdat NN een "lazy learner" is, bestaat de trainingsfase uit het opslaan van de rangschikkingen van gelabelde OCC-modellen. Tijdens de testfase wordt de rangschikking van een onbekend model vergeleken met de opgeslagen trainingsrangschikkingen met behulp van de correlatiemetingen. Het onbekende model krijgt het label van het meest gelijkaardige (dichtstbijzijnde) trainingsmodel toegewezen.

Belangrijkste Bijdragen

• Eerste Journal Artikel over ML-modelclassificatie: De auteurs beweren dat dit het eerste journal artikel is dat expliciet ML-modellen classificeert, met een specifieke focus op OCC-modellen.
• Verenigde Oplossing: De methode biedt een verenigd framework voor het classificeren van drie verschillende entiteiten: OCC-modellen, de datasets die voor hen worden gebruikt, en rangschikkingen zelf.
• Theoretisch Inzicht: Het artikel stelt vast dat het classificeren van OCC-modellen essentieel gelijk is aan het classificeren van de datasets die hen hebben getraind, aangezien er een één-op-één correspondentie bestaat tussen een OCC-model en zijn trainingsdataset.
• Uitgebreide Experimenten: In tegen tegenover de eerdere conferentieversie bevat dit werk gedetailleerde experimenten over het classificeren van ensemble-modellen, databalans (verhouding normaal versus abnormaal) en hyperparameters.

Experimentele Resultaten
De experimenten maakten gebruik van vier basis OCC-algoritmen (OCSVM, LOF, Isolation Forest, GMM) en hun ensembles, getraind op subsets van de KDD Cup dataset.

• Dataset Classificatie: De methode behaalde een nauwkeurigheid van 100% bij het onderscheiden van modellen getraind op "normale" data versus "abnormale" data. Het behaalde ook een hoge nauwkeurigheid (99,3–99,4%) bij het onderscheiden van gemengde data. Het classificeren van specifieke normaal-naar-abnormaal ratio's (11 klassen) leverde nauwkeurigheden op van 83,6% (leave-one-out) en 87,3% (2-fold).
• Algoritme Classificatie: Bij het onderscheiden van de vier basisalgoritmen behaalde de methode een nauwkeurigheid van 100%. De nauwkeurigheid daalde echter bij het classificeren van ensemble-modellen (15 klassen), waarbij 85,5% werd behaald op normale data en aanzienlijk minder (23,7%) op abnormale data, wat suggereert dat ensemble-modellen meer op elkaar lijken dan de basis-learners.
• Hyperparameter Classificatie:
  • Categorische Hyperparameters: Er werd een hoge nauwkeurigheid bereikt voor categorische parameters (bijv. OCSVM kernels: 93,8–100%; GMM covariantietypes: 75%).
  • Numerieke Hyperparameters: De nauwkeurigheid was laag voor numerieke parameters (bijv. LOF buren: 2,8%; IF max features: 27,9%). De auteurs merken op dat hoewel de classificatienauwkeurigheid laag is, de resultaten lijken op een regressieprobleem waarbij de voorspellingen dicht bij de werkelijke waarden liggen, wat suggereert dat kleine numerieke veranderingen de rangschikkingsgedraging van het model niet drastisch veranderen.
• Real-World Toepassingen:
  • Biometrische Signalen: De methode werd toegepast op Ballistocardiogram (BCG) signalen en slaagde erin anomalieën (zoals het inhouden van de adem of houdingsveranderingen) te detecteren door verschuivingen in rangschikkingscorrelaties te analyseren.
  • Slaapgegevens: In een ongesuperviseerde setting met slaapgegevens van 1308 deelnemers, identificeerde de methode "abnormaal" slaapgedrag door individuele gebruikersdatasets te behandelen als OCC-modellen en uitschieters in de rangschikkingsruimte te detecteren.

Betekenis en Beperkingen
Het artikel beweert dat de classificatie van OCC-modellen een nieuw perspectief biedt in Explainable AI (XAI), specifelijk als een methode om black-box modellen te analyseren via hun output-rangschikkingen. Het suggereert dat het classificeren van datasets (waarbij meerdere monsters als één input worden behandeld) gemakkelijker kan zijn dan traditionele sample-per-sample classificatie vanwege de grotere verschillen tussen datasets.

De auteurs zijn echter bescheiden over de beperkingen:

• Schaalbaarheid: De aanpak kampt met schaalbaarheidsproblemen bij grote datasets vanwege de computationele kosten van het berekenen van rangschikkingscorrelaties (O(n) voor Spearman, O(n²) voor Kendall Tau).
• Black-Box Beperkingen: De methode vereist toegang tot scorefuncties en een bekende inputvorm om de ranking set te genereren. In real-world scenario's waar alleen classificatie-outputs beschikbaar zijn of de inputvorm onbekend is, is het creëren van een ranking set een uitdaging.
• Toekomstig Werk: Het artikel stelt expliciet dat het classificeren van binaire/multi-class modellen en het ontwikkelen van "derde-laags" modellen (het classificeren van de classifiers van modellen) aan toekomstig onderzoek wordt overgelaten.

Concluderend toont het artikel aan dat OCC-modellen effectief meta-geclassificeerd kunnen worden met behulp van rangschikkingscorrelaties en nearest neighbors, wat een verenigde aanpak biedt voor het analyseren van modellen, datasets en rangschikkingen, met potentiële toepassingen in anomaliedetectie en dataset-karakterisering.