Technische Samenvatting: Over de Betrouwbaarheid en Stabiliteit van Selectieve Methoden in Malware Classificatietaken

Probleemstelling

Moderne malware-classifiers, met name die aangepast voor distributie-drift, rapporteren vaak veelbelovende prestatie-indicatoren (bijv. F1, FPR). Deze metrieken weerspiegelen echter primair de basale voorspellende nauwkeurigheid onder statische of geïsoleerde verschuivingscondities, waarbij de operationele betrouwbaarheid en stabiliteit in de echte wereld worden verwaarloosd.

In operationele omgevingen (bijv. actieve leerprocessen of selectieve classificatie) dienen de eigen vertrouwensschattingen van het model als het enige signaal voor besluitvorming zodra grondwaarheid-labels niet meer beschikbaar zijn. Een betrouwbaar systeem moet ervoor zorgen dat voorspellingen met een hoge mate van vertrouwen waarschijnlijk correct zijn en dat scores met een laag vertrouwen (of een hoge Out-of-Distribution/OOD-score) gevallen accuraat signaleren voor menselijke beoordeling. Huidige evaluatieparadigma's falen in het verifiëren of vertrouwensfuncties gekalibreerd en stabiel blijven onder aanhoudende temporele drift. Zoals door Goodhart [15] werd opgemerkt: "Wanneer een maatstaf een doelwit wordt, houdt het op een goede maatstaf te zijn." Het optimaliseren voor headline-metrieken zoals F1 maskeert vaak tekortkomingen in de rangschikking van vertrouwen, wat leidt tot:

1. Verkeerd gerichte middelen: Actief leren die het annotatiebudget verspillen aan niet-informatieve monsters.
2. Operationele fragiliteit: Selectieve classificatie die faalt in het verwerpen van foutgevoelige instanties, of omgekeerd, correcte voorspellingen verwerpt.
3. Onvoorspelbare werkbelasting: Verwerpingsmechanismen die er niet in slagen om doelquota bij drift bij te houden.

Het artikel stelt dat neurale netwerken onder distributieverschuiving gevoelig zijn voor ernstige miskalibratie, waarbij ze een hoog vertrouwen toekennen aan onjuiste voorspellingen op OOD-inputs, wat de kern van selectieve classificatie en actief leren ondermijnt.

Methodologie: Het Aurora-framework

Om deze hiaten aan te pakken, stellen de auteurs Aurora voor, een framework ontworpen om malware-classifiers te evalueren op basis van vertrouwenskwaliteit en operationele veerkracht, in plaats van alleen op punt-in-tijd nauwkeurigheid.

1. Evaluatieomgeving

Het framework hanteert een niet-stationair, temporeel evaluatieprotocol dat de echte wereld van deployment simuleert:

• Data: Drie Android malware-datasets (APIGraph, AndroZoo, Transcendent) met variërende ernst van drift.
• Protocol: Een maandelijkse lus waarbij een model wordt geëvalueerd op nieuwe data van een maand ($M_i$), een vast annotatiebudget ($B_{Mi}$) van de meest onzekere monsters opvraagt, labels ontvangt en wordt bijgewerkt.
• Restricties: Er zijn geen grondwaarheid-labels beschikbaar tijdens de online fase; beslissingen rusten uitsluitend op de vertrouwensscores van het model. Een vaste verwerping-drempel ($\rho$) wordt gekalibreerd op een voortschrijvend venster van ongelabelde scores om een maandelijks annotatiebudget of doel-foutpercentage te simuleren.

2. Metrieken

Aurora introduceert een multidimensionale set metrieken, gecategoriseerd in drie pijlers:

• Betrouwbaarheid (Vertrouwenskwaliteit):

  • AURC (Area Under the Risk-Coverage Curve): Meet hoe effectief vertrouwensscores instanties rangschikken op basis van hun werkelijke waarschijnlijkheid van misclassificatie. Een lagere AURC duidt op een betere rangschikking (fouten worden correct geïdentificeerd als laag-vertrouwen).
  • AURC[F1]*: Een operationele variant van AURC die gebruikmaakt van F1-gebaseerd risico ($1 - \text{F1}$) in plaats van de foutenratio. Dit detecteert of onthouding (abstention) één klasse onevenredig benadeelt (bijv. het verwerpen van malware-monsters terwijl benigne monsters behouden blijven), wat standaard AURC mogelijk mist.
  • Benefit Frequency (BF):* De proportie maanden waarin selectieve classificatie (onthouding) de F1 verbetert ten opzichte van een baseline zonder verwerping.

• Stabiliteit (Temporele Robuustheid):

  • $\sigma[\text{F1}]$: Standaarddeviatie van de maandelijkse F1-scores, wat de volatiliteit van de prestaties meet.
  • Mann-Kendall Trend ($\tau$): Een niet-parametrische test die monotone prestatietrends detecteert (verbetering, degradatie of stabiliteit) over de tijd.
  • Verwerpingsconsistentie:
    • $\Delta\text{Rej}^*$: Bias tussen de werkelijke en de doelgestelde verwerpingsquota.
    • $\sigma[\text{Rej}]^*$: Standaarddeviatie van de gerealiseerde verwerpen, wat de voorspelbaarheid van de werkbelasting van de analist meet.

3. Benchmarked Modellen

Het framework evalueert vier state-of-the-art (SOTA) open-source frameworks:

• Drebin: Lineaire SVM op statische kenmerken.
• DeepDrebin: Volledig verbonden netwerk op Drebin-kenmerken.
• CADE: Contrastief leren met afstand-gebaseerde OOD-scoring.
• HCC: Hiërarchisch contrastief leren met familie-niveau restricties.

De studie onderzoekt ook de impact van data-curatie, waarbij modellen worden vergeleken die getraind zijn op de volledige initiële dataset ($B_0 = \text{Full}$) versus een gesubsampleerde set ($B_0 = 4800$).

Belangrijkste Resultaten

De evaluatie onthult een significante disconnect tussen headline-prestatie-indicatoren en operationele betrouwbaarheid.

1. Vertrouwenskalibratie versus Nauwkeurigheid

• F1 impliceert geen betrouwbaarheid: Modellen met vergelijkbare F1-scores vertonen vaak zeer verschillende AURC-waarden (tot wel 10x verschil). Bijvoorbeeld, op de APIGraph-dataset hadden CADE en DeepDrebin vergelijkbare F1-scores, maar de AURC van CADE was 6x slechter, wat aangeeft dat de vertrouwensscores van CADE de fouten niet correct rangschikten.
• Klassenimbalans in Verwerping: AURC[F1]* onthulde dat sommige modellen (bijv. HCC) de totale fouten goed rangschikten, maar een klasse (bijv. malware) onevenredig veel verwerpen, wat de gebalanceerde detectiekwaliteit verslechtert.
• OOD-Scoring Falen: De afstand-gebaseerde OOD-scoring van CADE (uitgaande van het principe dat fouten correleren met de afstand tot clustercentra) faalde empirisch. De Risk-Coverage curves toonden aan dat misclassificaties vaak plaatsvonden nabij de clustercentra (hoog vertrouwen), wat de kernpremisse van CADE tegenspreekt.

2. Temporele Stabiliteit en Verwerpingsconsistentie

• Catastrofale Instabiliteit: CADE vertoonde extreme instabiliteit in verwerpingsgedrag. Op de Transcendent-dataset overschoot CADE-MSP de verwerpingsquota met gemiddeld 3.375 monsters (doel: 400) met een enorme variabiliteit ($\sigma[\text{Rej}]^* \approx 3347$), waardoor het ongeschikt is voor operaties met een vast budget.
• Fragiele Oscillatie versus Robuuste Adaptatie: Hoewel sommige modellen een hoge F1 lieten zien, onthielden hun stabiliteitsmetrieken ($\sigma[\text{F1}]$ en $\tau$) systematische degradatie of grillige oscillatie onder invloed van drift. DeepDrebin daarentegen demonstreerde robuuste adaptatie met stabiele verbeteringstrends op bepaalde datasets.
• Voordeel van Onthouding (Abstention): Selectieve classificatie was niet universeel voordelig. CADE bereikte een Benefit Frequency (BF*) van <5% in verschillende configuraties, wat betekent dat onthouding de prestaties in de meeste maanden actief verslechterde.

3. Het Pareto-perspectief

Bij het evalueren van methoden over meerdere dimensies (F1, AURC, $\sigma[\text{F1}]$, $\tau$), domineerde geen enkele methode alle condities.

• DeepDrebin (met subsampling) en HCC-MSP (met subsampling) kwamen consistent als Pareto-optimaal naar voren, waarbij ze de beste afruil bieden tussen prestaties, stabiliteit en betrouwbaarheid.
• Voordeel van Subsampling: Tegenintuïtief genoeg presteerde training op een gesubsampleerde initiële dataset ($B_0 = 4800$) vaak beter dan training op de volledige eerste jaar aan data, wat suggereert dat grote volumes historische data de adaptatie aan nieuwe driftpatronen kunnen hinderen.
• Complexiteit versus Nut: De eenvoudigste neurale benadering (DeepDrebin) presteerde vaak beter dan complexe frameworks (CADE, HCC) die afhankelijk zijn van kostbare familie-labels en uitgebreide training, en verbruikt slechts een fractie van het computationele budget.

Betekenis en Claims

Het artikel claimt dat de huidige afhankelijkheid van statische nauwkeurigheidsmetrieken (F1, FPR) onvoldoende is voor het beoordelen van de betrouwbaarheid van malware-classifiers in dynamische omgevingen.

1. Heroverweging van Aannames: De geobserveerde fragiliteit in SOTA-frameworks suggereert dat de onderliggende aannames over vertrouwenskalibratie en OOD-detectie (bijv. afstand-gebaseerde metrieken) mogelijk herzien moeten worden.
2. Operationele Realiteit: Het gedrag van een model tijdens deployment wordt bepaat door de kwaliteit en stabiliteit van de vertrouwensgebaseerde rangschikking, niet alleen door de nauwkeurigheid in het lab.
3. Methodologische Verschuiving: De auteurs pleiten voor een verschuiving in de evaluatie van beveiligingsmodellen naar een multidimensionale beoordeling die ook vertrouwenskalibratie, temporele stabiliteit en verwerpingsconsistentie omvat.
4. Praktische Implicaties: De bevindingen suggereren dat de "beste" methoden afhangen van operationele prioriteiten (bijv. werkbelasting-voorspelbaarheid versus brute detectieratio). Een methode die domineert onder F1, kan gedomineerd worden wanneer betrouwbaarheid en stabiliteit worden meegewogen.
5. Eenvoud Wint: De studie benadrukt dat complexe, van familie-labels afhankelijke frameworks niet noodzakelijkerwijs vertalen naar operationele robuustheid, en dat eenvoudigere baselines met strategische data-curatie effectiever kunnen zijn.

Concluderend stelt het artikel dat "wanneer F1 het doel wordt, het ophoudt een goede maatstaf te zijn voor betrouwbaarheid," en dat frameworks zoals Aurora noodzakelijk zijn om de verborgen risico's van het inzetten van selectieve classificatiemethoden onder distributie-drift bloot te leggen.