Sintesi Tecnica: Sulla Affidabilità e la Stabilità dei Metodi Selettivi nei Compiti di Classificazione dei Malware

Definizione del Problema

I moderni classificatori di malware, in particolare quelli adattati per il drift della distribuzione, riportano spesso metriche di performance promettenti (ad es., F1, FPR). Tuttavia, queste metriche riflettono principalmente l'accuratezza predittiva di base in condizioni statiche o di shift isolato, trascurando l'affidabilità operativa e la stabilità nel deployment reale.

Nelle impostazioni operative (ad es., apprendimento attivo o classificazione selettiva), le stime di confidenza del modello stesso fungono da unico segnale per il processo decisionale una volta che i label di ground-truth non sono più disponibili. Un sistema affidabile deve garantire che le predizioni ad alta confidenza siano probabilmente corrette e che i punteggi di bassa confidenza (o di alto Out-of-Distribution/OOD) segnalino accuratamente gli istanze che richiedono la revisione umana. Gli attuali paradigmi di valutazione non riescono a verificare se le funzioni di confidenza rimangano calibrate e stabili sotto un persistente drift temporale. Come osservato da Goodold [15], "Quando una misura diventa un obiettivo, cessa di essere una buona misura". Ottimizzare per metriche di primo piano come l'F1 spesso maschera carenze nel ranking della confidenza, portando a:

1. Risorse mal direzionate: L'apprendimento attivo che spreca budget di annotazione su campioni non informativi.
2. Fragilità operativa: La classificazione selettiva che fallisce nel rifiutare istanze soggette a errore, o viceversa, rifiuta predizioni corrette.
3. Carichi di lavoro imprevedibili: Meccanismi di rifiuto che non riescono a seguire le quote target sotto drift.

L'articolo sostiene che, sotto distribuzione di shift, le reti neurali sono soggette a una grave miscalibrazione, assegnando un'alta confidenza a predizioni errate su input OOD, minando così il presupposto fondamentale della classificazione selettiva e dell'apprendimento attivo.

Metodologia: Il Framework Aurora

Per affrontare queste lacune, gli autori propongono Aurora, un framework progettato per valutare i classificatori di malware basandosi sulla qualità della confidenza e sulla resilienza operativa piuttosto che sulla semplice accuratezza puntuale.

1. Setting di Valutazione

Il framework impiega un protocollo di valutazione non stazionario e temporale che simula il deployment reale:

• Dati: Tre dataset di malware Android (APIGraph, AndroZoo, Transcendent) con diversi livelli di severità del drift.
• Protocollo: Un ciclo mensile in cui un modello viene valutato su nuovi dati del mese ($M_i$), interroga un budget di annotazione fisso ($B_{Mi}$) composto dai campioni più incerti, riceve i label e si aggiorna.
• Vincoli: Non sono disponibili label di ground-truth durante la fase online; le decisioni si basano esclusivamente sui punteggi di confidenza del modello. Una soglia di rifiuto fissa ($\rho$) è calibrata su una finestra mobile di punteggi non etichettati per simulare un budget di annotazione mensile o un target di tasso di errore.

2. Metriche

Aurora introduce un insieme multidimensionale di metriche categorizzate in tre pilastri:

• Affidabilità (Qualità della Confidenza):

  • AURC (Area Under the Risk-Coverage Curve): Misura quanto efficacemente i punteggi di confidenza classificano le istanze in base alla loro reale probabilità di errore. Un AURC più basso indica un miglior ranking (gli errori sono correttamente identificati come a bassa confidenza).
  • AURC[F1]*: Una variante operativa di AURC che utilizza il rischio basato su F1 ($1 - \text{F1}$) invece del tasso di errore. Questo rileva se l'astensione danneggia sproporzionatamente una classe (ad es., rifiutando campioni malware mentre si mantengono quelli benigni), cosa che l'AURC standard potrebbe mancare.
  • Frequenza di Beneficio (BF):* La proporzione di mesi in cui la classificazione selettiva (astensione) migliora l'F1 rispetto a un baseline senza rifiuto.

• Stabilità (Robustezza Temporale):

  • $\sigma[\text{F1}]$: Deviazione standard dei punteggi F1 mensili, che misura la volatilità delle performance.
  • Trend di Mann-Kendall ($\tau$): Un test non parametrico che rileva trend di performance monotonici (miglioramento, degradazione o stabilità) nel tempo.
  • Consistenza del Rifiuto:
    • $\Delta\text{Rej}^*$: Bias tra le quote di rifiuto effettive e quelle target.
    • $\sigma[\text{Rej}]^*$: Deviazione standard dei rifiuti realizzati, misurando la prevedibilità del carico di lavoro dell'analista.

3. Modelli Benchmark

Il framework valuta quattro framework open-source allo stato dell'arte (SOTA):

• Drebin: SVM lineare su feature statiche.
• DeepDrebin: Rete fully connected su feature di Drebin.
• CADE: Apprendimento contrastivo con scoring OOD basato sulla distanza.
• HCC: Apprendimento contrastivo gerarchico con vincoli a livello di famiglia.

Lo studio investiga anche l'impatto della curatela dei dati, confrontando modelli addestrati sul dataset iniziale completo ($B_0 = \text{Full}$) rispetto a un set sottocampionato ($B_0 = 4800$).

Risultati Chiave

La valutazione rivela un significativo distacco tra le metriche di performance di primo piano e l'affidabilità operativa.

1. Calibrazione della Confidenza vs. Accuratezza

• L'F1 non implica affidabilità: Modelli con punteggi F1 simili possono mostrare valori di AURC vastamente differenti (fino a 10 volte la differenza). Ad esempio, sul dataset APIGraph, CADE e DeepDrebin avevano punteggi F1 comparabili, ma l'AURC di CADE era 6 volte peggiore, indicando che i suoi punteggi di confidenza non riuscivano a classificare correttamente gli errori.
• Sbilanciamento di Classe nel Rifiuto: L'AURC[F1]* ha rivelato che alcuni modelli (ad es., HCC) classificavano bene gli errori totali ma rifiutavano in modo sproporzionato una classe (ad es., il malware), degradando la qualità del rilevamento bilanciato.
• Fallimento dello Scoring OOD: Lo scoring OOD basato sulla distanza di CADE (che assume che gli errori correlino con la distanza dai centri dei cluster) è fallito empiricamente. Le curve Risk-Coverage hanno mostrato che le misclassificazioni avvenivano spesso vicino ai centri dei cluster (alta confidenza), contraddicendo il presupposto centrale di CADE.

2. Stabilità Temporale e Consistenza del Rifiuto

• Instabilità Catastrofica: CADE ha mostrato un'estrema instabilità nel comportamento di rifiuto. Sul dataset Transcendent, CADE-MSP ha superato la sua quota di rifiuto di una media di 3.375 campioni (target 400) con una variabilità massiccia ($\sigma[\text{Rej}]^* \approx 3347$), rendendolo inadatto per operazioni a budget fisso.
• Oscillazione Fragile vs. Adattamento Robusto: Mentre alcuni modelli mostravano un F1 elevato, le loro metriche di stabilità ($\sigma[\text{F1}]$ e $\tau$) hanno rivelato un degrado sistematico o un'oscillazione erratica sotto drift. DeepDrebin, al contrario, ha dimostrato un adattamento robusto con trend di miglioramento costanti su determinati dataset.
• Beneficio dell'Astensione: La classificazione selettiva non è stata universalmente vantaggiosa. CADE ha ottenuto una Frequenza di Beneficio (BF*) <5% in diverse configurazioni, il che significa che l'astensione ha attivamente danneggiato le performance nella maggior parte dei mesi.

3. La Prospettiva di Pareto

Valutando i metodi attraverso molteplici dimensioni (F1, AURC, $\sigma[\text{F1}]$, $\tau$), nessun singolo metodo ha dominato tutte le condizioni.

• DeepDrebin (con sottocampionamento) e HCC-MSP (con sottocampionamento) sono emersi costantemente come Pareto-ottimali, offrendo i migliori compromessi tra performance, stabilità e affidabilità.
• Vantaggio del Sottocampionamento: Controintuitivamente, l'addestramento su un dataset iniziale sottocampionato ($B_0 = 4800$) ha spesso superato l'addestramento sul primo anno di dati completo, suggerendo che grandi volumi di dati storici possono impedire l'adattamento a nuovi pattern di drift.
• Complessità vs. Utilità: Il metodo più semplice (DeepDrebin) ha spesso superato framework complessi (CADE, HCC) che dipendono da costose etichette di famiglia e addestramenti estesi, consumando una frazione del budget computazionale.

Significato e Rivendicazioni

Il paper sostiene che l'attuale affidamento sulle metriche di accuratezza statica (F1, FPR) sia insufficiente per valutare l'affidabilità dei classificatori di malware in ambienti dinamici.

1. Rivedere le Assunzioni: La fragilità osservata nei framework SOTA suggerisce che le assunzioni sottostanti sulla calibrazione della confidenza e sul rilevamento OOD (ad es., metriche basate sulla distanza) potrebbero necessitare di una revisione.
2. Realtà Operativa: Il comportamento di un modello in deployment è condizionato dalla qualità e stabilità del suo ranking basato sulla confidenza, non solo dalla sua accuratezza in laboratorio.
3. Cambio Metodologico: Gli autori propongono uno spostamento verso una valutazione multidimensionale che includa la calibrazione della confidenza, la stabilità temporale e la consistenza del rifiuto.
4. Implicazioni Pratiche: I risultati suggeriscono che i "migliori" metodi dipendono dalle priorità operative (ad es., prevedibilità del carico di lavoro vs. tasso di rilevamento grezzo). Un metodo che domina sotto l'F1 può essere superato quando si considerano affidabilità e stabilità.
5. La Semplicità Vince: Lo studio evidenzia che i framework complessi, dipendenti da etichette di famiglia, non si traducono necessariamente in robustezza nel deployment; baselines più semplici con una curatela strategica dei dati possono essere più efficaci.

In conclusione, il paper pone l'accento sul fatto che "quando l'F1 diventa l'obiettivo, cessa di essere una buona misura della fiducia", e che framework come Aurora sono necessari per esporre i rischi nascosti del deployment di metodi di classificazione selettiva sotto distribuzione di drift.