Technische Zusammenfassung: Über die Zuverlässigkeit und Stabilität selektiver Methoden bei Malware-Klassifizierungsaufgaben

Problemstellung

Moderne Malware-Klassifizierer, insbesondere solche, die für Distribution Drift angepasst wurden, berichten oft über vielversprechende Leistungsmetriken (z. B. F1, FPR). Diese Metriken spiegeln jedoch primär die basale Vorhersagegenauigkeit unter statischen oder isolierten Verschiebungsbedingungen wider und vernachlässigen die operationale Zuverlässigkeit und Stabilität im realen Einsatz.

In operationalen Umgebungen (z. B. Active Learning oder selektive Klassifizierung) dienen die Konfidenzschätzungen des Modells als einziges Signal für die Entscheidungsfindung, sobald keine Ground-Truth-Labels mehr verfügbar sind. Ein vertrauenswürdiges System muss sicherstellen, dass hochkonfidente Vorhersagen wahrscheinlich korrekt sind und dass niedrige Konfidenzwerte (oder hohe Out-of-Distribution/OOD-Scores) Instanzen für die menschliche Überprüfung präzise markieren. Aktuelle Evaluationsparadigmen versäumen es zu verifizieren, ob Konfidenzfunktionen unter anhaltendem zeitlichem Drift kalibriert und stabil bleiben. Wie Goodhart [15] anmerkte: „Wenn ein Maß zum Ziel wird, hört es auf, ein gutes Maß zu sein.“ Die Optimierung auf Schlagzeilen-Metriken wie F1 maskiert oft Defizite in der Konfidenz-Rangfolge, was zu Folgendem führt:

1. Fehlgeleitete Ressourcen: Active Learning verschwendet das Annotationsbudget auf nicht informative Stichproben.
2. Operationale Fragilität: Selektive Klassifizierung scheitert daran, fehleranfällige Instanzen abzulehnen, oder lehnt im Gegenzug korrekte Vorhersagen ab.
3. Unvorhersehbare Arbeitslasten: Ablehnungsmechanismen versagen dabei, die Zielquoten unter Drift zu verfolgen.

Das Paper argumentiert, dass neuronale Netze unter Distributionsdrift zur schweren Fehlkalibrierung neigen, indem sie hochkonfidente Vorhersagen für inkorrekte Ergebnisse auf OOD-Inputs treffen, was die Kernprämisse der selektiven Klassifizierung und des Active Learning untergräbt.

Methodik: Das Aurora-Framework

Um diese Lücken zu schließen, schlagen die Autoren Aurora vor, ein Framework, das darauf ausgelegt ist, Malware-Klassifizierer basierend auf der Qualität der Konfidenz und der operationalen Resilienz zu bewerten, statt nur auf punktueller Genauigkeit.

1. Evaluationssetting

Das Framework verwendet ein nicht-stationäres, temporales Evaluationsprotokoll, das den realen Einsatz simuliert:

• Daten: Drei Android-Malware-Datensätze (APIGraph, AndroZoo, Transcendent) mit variierender Drift-Schwere.
• Protokoll: Eine monatliche Schleife, in der ein Modell auf den Daten eines neuen Monats ($M_i$) evaluiert wird, ein festes Annotationsbudget ($B_{Mi}$) der unsichersten Stichproben abfragt, Labels erhält und sich aktualisiert.
• Constraints: Während der Online-Phase sind keine Ground-Truth-Labels verfügbar; Entscheidungen basieren ausschließlich auf den Konfidenzscores des Modells. Ein fester Ablehnungsschwellenwert ($\rho$) wird auf einem rollierenden Fenster unlabelter Scores kalibriert, um ein monatliches Annotationsbudget oder eine Zielfehlerrate zu simulieren.

2. Metriken

Aurora führt einen multidimensionalen Satz von Metriken ein, die in drei Säulen kategorisiert sind:

• Reliabilität (Konfidenzqualität):

  • AURC (Area Under the Risk-Coverage Curve): Misst, wie effektiv Konfidenzscores Instanzen nach ihrer tatsächlichen Wahrscheinlichkeit der Fehlklassifizierung ranken. Ein niedrigerer AURC deutet auf ein besseres Ranking hin (Fehler werden korrekt als niedrig-konfident identifiziert).
  • AURC[F1]*: Eine operationale Variante von AURC, die ein F1-basiertes Risiko ($1 - \text{F1}$) anstelle der Fehlerrate verwendet. Dies detektiert, ob die Enthaltung (Abstention) eine Klasse unverhältnismäßig stark benachteiligt (z. B. das Ablehnen von Malware-Proben bei gleichzeitigem Beibehalten von Benign-Proben), was der Standard-AURC entgehen könnte.
  • Benefit Frequency (BF):* Der Anteil der Monate, in denen die selektive Klassifizierung (Enthaltung) den F1-Wert gegenüber einer No-Rejection-Baseline verbessert.

• Stabilität (Temporale Robustheit):

  • $\sigma[\text{F1}]$: Standardabweichung der monatlichen F1-Scores, welche die Volatilität der Performance misst.
  • Mann-Kendall Trend ($\tau$): Ein nicht-parametrischer Test zur Erkennung monotoner Performance-Trends (Verbesserung, Verschlechterung oder Stabilität) über die Zeit.
  • Ablehnungskonsistenz (Rejection Consistency):
    • $\Delta\text{Rej}^*$: Bias zwischen tatsächlicher und Ziel-Ablegungsquote.
    • $\sigma[\text{Rej}]^*$: Standardabweichung der realisierten Ablehnungen, welche die Vorhersehbarkeit der Analysten-Arbeitslast misst.

3. Benchmarked Modelle

Das Framework evaluiert vier State-of-the-Art (SOTA) Open-Source-Frameworks:

• Drebin: Lineares SVM auf statischen Features.
• DeepDrebin: Fully Connected Network auf Drebin-Features.
• CADE: Kontrastives Lernen mit distanzbasiertem OOD-Scoring.
• HCC: Hierarchisches kontrastives Lernen mit Family-Level-Constraints.

Die Studie untersucht zudem den Einfluss der Datenkuratierung, indem sie Modelle vergleicht, die auf dem vollständigen initialen Datensatz ($B_0 = \text{Full}$) trainiert wurden, gegenüber einem untersampelten Set ($B_0 = 4800$).

Kernergebnisse

Die Evaluation offenbart eine signifikante Diskrepanz zwischen Schlagzeilen-Leistungskennzahlen und operationaler Zuverlässigkeit.

1. Konfidenz-Kalibrierung vs. Genauigkeit

• F1 impliziert keine Reliabilität: Modelle mit ähnlichen F1-Scores weisen oft drastisch unterschiedliche AURC-Werte auf (bis zum 10-fachen Unterschied). Beispielsweise hatten CADE und DeepDrebin beim APIGraph-Datensatz vergleichbare F1-Scores, aber CDEs AURC war 6-mal schlechter, was bedeutet, dass seine Konfidenzscores die Fehler nicht korrekt rankten.
• Klassen-Imbalance in der Ablehnung: AURC[F1]* zeigte, dass einige Modelle (z. B. HCC) zwar die Gesamte-Fehler gut rankten, aber eine Klasse (z. B. Malware) unverhältnismäßig oft ablehnten, was die ausgewogene Detektionsqualität verschlechterte.
• Versagen des OOD-Scoring: Das distanzbasierte OOD-Scoring von CADE (welches davon ausgeht, dass Fehler mit der Distanz zu Cluster-Zentren korrelieren) scheiterte empirisch. Die Risk-Coverage-Kurven zeigten, dass Fehlklassifizierungen oft nahe an den Cluster-Zentren auftraten (hohe Konfidenz), was die Kernprämisse von CADE widerspricht.

2. Temporale Stabilität und Ablehnungskonsistenz

• Katastrophale Instabilität: CADE zeigte eine extreme Instabilität im Ablehnungsverhalten. Auf dem Transcendent-Datensatz überschritt CADE-MSP seine Ablegungsquote um durchschnittlich 3.375 Samples (Ziel: 400) mit massiver Variabilität ($\sigma[\text{Rej}]^* \approx 3347$), was es für Operationen mit festem Budget ungeeignet macht.
• Fragile Oszillation vs. Robuste Adaptation: Während einige Modelle eine hohe F1 zeigten, offenbarten ihre Stabilitätsmetriken ($\sigma[\text{F1}]$ und $\tau$) eine systematische Degradation oder erratische Oszillation unter Drift. DeepDrebin hingegen demonstrierte eine robuste Adaptation mit stetigen Verbesserungstrends auf bestimmten Datensätzen.
• Nutzen der Enthaltung (Abstention): Selektive Klassifizierung war nicht universell vorteilhaft. CADE erreichte in mehreren Konfigurationen eine Benefit Frequency (BF*) von <5 %, was bedeutet, dass die Enthaltung die Performance in den meisten Monaten aktiv verschlechterte.

3. Die Pareto-Perspektive

Bei der Bewertung von Methoden über mehrere Dimensionen hinweg (F1, AURC, $\sigma[\text{F1}]$, $\tau$) dominierte keine einzelne Methode unter allen Bedingungen.

• DeepDrebin (mit Untersampelung) und HCC-MSP (mit Untersampelung) traten konsistent als Pareto-optimal hervor und boten die besten Kompromisse zwischen Performance, Stabilität und Reliabilität.
• Vorteil der Untersampelung: Kontraintuitiv war das Training auf einem untersampelten initialen Datensatz ($B_0 = 4800$) oft leistungsfähiger als das Training auf dem vollen ersten Jahr, was darauf hindeutet, dass große Mengen historischer Daten die Adaptation an neue Drift-Muster behindern können.
• Komplexität vs. Nutzen: Der einfachste neuronale Ansatz (DeepDrebin) übertraf oft komplexe Frameworks (CADE, HCC), die auf kostspieligen Family-Labels und extensivem Training basieren, und verbrauchte dabei nur einen Bruchteil des Rechenbudgets.

Signifikanz und Thesen

Das Paper behauptet, dass die aktuelle Abhängigkeit von statischen Genauigkeitsmetriken (F1, FPR) unzureichend ist, um die Vertrauenswürdigkeit von Malware-Klassifizierern in dynamischen Umgebungen zu bewerten.

1. Überprüfung von Annahmen: Die beobachtete Fragilität von SOTA-Frameworks legt nahe, dass die zugrunde liegenden Annahmen über Konfidenz-Kalibrierung und OOD-Detektion (z. B. distanzbasierte Metriken) revidiert werden müssen.
2. Operationale Realität: Das Verhalten eines Modells im Einsatz ist durch die Qualität und Stabilität seines konfidenzbasierten Rankings bedingt, nicht nur durch seine Genauigkeit im Labor.
3. Methodologischer Wandel: Die Autoren plädieren für einen Wechsel in der Evaluierung von Sicherheitsmodellen hin zu einer multidimensionalen Bewertung, die Konfidenz-Kalibrierung, temporale Stabilität und Ablehnungskonsistenz einschließt.
4. Praktische Implikationen: Die Ergebnisse legen nahe, dass der „beste“ Ansatz von den operationalen Prioritäten abhängt (z. B. Vorhersehbarkeit der Arbeitslast vs. rohe Detektionsrate). Eine Methode, die unter F1 dominiert, kann bei Berücksichtigung von Reliabilität und Stabilität unterlegen sein.
5. Einfachheit gewinnt: Die Studie hebt hervor, dass komplexe, von Family-Labels abhängige Frameworks nicht zwangsläufig zu operationaler Robustheit führen und dass einfachere Baselines mit strategischer Datenkuratierung effektiver sein können.

Zusammenfassend stellt das Paper die These auf, dass „wenn F1 zum Ziel wird, es aufhört, ein gutes Maß für Vertrauenswürdigkeit zu sein“, und dass Frameworks wie Aurora notwendig sind, um die verborgenen Risiken des Einsatzes selektiver Klassifizierungsmethoden unter Distributionsdrift aufzuzeigen.