RMF: A Risk Measurement Framework for Machine Learning Models

Technische Samenvatting: RMF: Een Risicometingframework voor Machine Learning-modellen

Probleemstelling
Machine learning (ML)-modellen, met name deep learning-systemen, worden steeds vaker ingezet in veiligheids- en beveiligingskritische toepassingen zoals autonoom rijden en medische diagnose. Deze proliferatie introduceert aanzienlijke risico's door adversarial machine learning, waarbij neurale netwerken (NN's) kwaadwillend worden beïnvloed. Specifiek richt het artikel zich op de uitdaging van het kwantificeren van het risico dat gepaard gaat met vergiftigingsaanvallen (poisoning attacks) (een subset van backdoor-aanvallen) die neurale netwerken ertoe brengen tijdens de inferentie verkeerde afbeeldingen te classificeren. Hoewel het bestaan van deze dreigingen goed gedocumenteerd is, is er een gebrek aan gestandaardiseerde methoden om de omvang van de schade veroorzaakt door een aanval en de inspanning die een aanvaller moet leveren om deze uit te voeren, te meten. De auteurs stellen dat zonder dergelijke metingen het moeilijk is om de beveiligingsprestaties van ML-systemen objectief te beoordelen of betekenisvolle risicowaarden af te leiden.

Methodologie
Het artikel stelt een Risk Measurement Framework (RMF) voor, gebaseerd op de ISO/IEC 27004:2016 standaard voor informatiebeveiligingsmeting. De methodologie volgt een gestructureerd proces:

1. Attribuutdefinitie: Het framework definieert specifieke attributen om risico te meten, gecategoriseerd in twee hoofdgroepen:

   • Inspanning van de aanvaller (Attacker's Effort): Omvat Kennis van de aanvaller (white-box vs. black-box), Doel van de aanvaller (stappen om het doel te bereiken), Aanvalsspecificiteit (stappen om specifieke of willekeurige labels te targeten), Aanvaltijd (trainings- en inferentieduur) en Computationele middelen (CPU/GPU-gebruik).
   • Omvang van de schade (Extent of Damage): Gemeten met standaard ML-metrieken, waaronder Accuracy, F1-Score, Average Precision en Average Recall.

2. Meetproces:

   • Gegevensverzameling: Het framework maakt gebruik van de Adversarial Robustness Toolbox (ART) om backdoor-aanvallen uit te voeren op een doel-NN.
   • Basisgegevens (Base Measures): Het systeem registreert ruwe gegevens tijdens de aanval, zoals trainingstijd, verbruik van hardwarebronnen en het aantal procedurele stappen dat de aanvaller heeft ondernomen.
   • Afgeleide gegevens (Derived Measures): Meetfuncties aggregeren deze basisgegevens.
     • Berekening van schade: Om de schade te kwantificeren, keert het framework de ML-metrieken om (bijv. als de nauwkeurigheid daalt naar 0,06, wordt dit omgezet naar 0,94). Deze omkering zorgt ervoor dat een lagere oorspronkelijke metriek (hogere schade) resulteert in een hogere schade-score. Deze omgekeerde waarden worden vervolgens geïntegreerd om een samengestelde "Omvang van de schade" te vormen.
     • Berekening van inspanning: Het framework aggregeert de aanvaltijd, computationele middelen en het totaal aantal stappen (afgeleid van kennis, doel en specificiteit) om een samengestelde "Inspanning van de aanvaller" te vormen.

3. Risico-interpretatie: Het framework combineert schade en inspanning niet tot één enkele scalaire risicowaarde. In plaats daarvan behandelt het deze als vier afzonderlijke waarden (Schade, Tijd, Middelen, Stappen) die individueel geïnterpreteerd moeten worden. De auteurs merken op dat standaardisatie van inspanning momenteel onmogelijk is vanwege de variabiliteit in eenheden (seconden, MB, natuurlijke getallen) en het gebrek aan vergelijkbare baseline-gegevens voor verschillende typen aanvallen.

Casusstudie en Resultaten
Het framework werd geëvalueerd met een casusstudie waarbij een Convolutioneel Neuraal Netwerk (CNN) werd getraind op een dataset van 133.000 Duitse verkeersborden (70 labels).

• Opzet: Een clean-label backdoor-aanval werd uitgevoerd door 50% van de trainingsdata te vergiftigen om willekeurige afbeeldingen te laten misclassificeren naar een specifiek doel-label (Label 10).
• Hardware: Het experiment werd uitgevoerd op een AMD Ryzen 7 5800X CPU en een NVIDIA GeForce RTX 3060 Ti GPU.
• Bevindingen:
  • Schade: De aanval veroorzaakte een drastische vermindering van de prestaties. De oorspronkelijke nauwkeurigheid daalde van 0,94 naar 0,06. De berekende samengestelde "Omvang van de schade" was 4,62.
  • Inspanning: De aanval vereiste 21 totale stappen (combinatie van kennis, doel en specificiteit), duurde 1037,23 seconden om uit te voeren en verbruikte 9% CPU en 8137,81 MB GPU geheugen.
  • Risicoclassificatie: Op basis van de risicoclassificatie van het European Telecommunication Standards Institute (ETSI) werden de resultaten gecategoriseerd als een Kritiek Risico. Het gebrek aan tegenmaatregelen maakte maximale schade mogelijk met relatief lage inspanning van de aanvaller.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. Voorstel van attributen: Het stelt een reeks kwantitatieve en kwalitatieve attributen voor (inclusief computationele middelen en specifieke aanvalsstappen) die geïnstantieerd moeten worden tijdens meetmethoden voor ML-beveiliging.
2. Meetfuncties: Het ontwikkelt specifieke functies om waarden te berekenen die de omvang van de schade en de inspanning van de aanvaller vertegenwoordigen, in overeenstemming met de ISO/IEC 27004:2016-richtlijnen.
3. Evaluatie en Interpretatie: Het evalueert deze berekende waarden via een casusstudie, waarbij wordt aangetoond hoe het uiteindelijke risico van een aanval geïnterpreteerd kan worden zonder specifieke tegenmaatregelen voor te stellen.

Betekenis en Claims
De auteurs positioneren dit werk als een hulpmiddel om de beveiligingsprestaties te verbeteren door het mogelijk te maken de risico's te meten tijdens de ontwikkelingsfase van NN's, voorafgaand aan de implementatie. Het artikel stelt expliciet dat het geen tegenmaatregelen voorstelt; de enige focus ligt op de meting en evaluatie van het risico.

De betekenis van het RMF ligt in het vermogen om:

• De potentiële schade van adversarial aanvallen op een gestandaardiseerde manier te kwantificeren.
• Objectief de middelen en stappen te meten die een aanvaller moet investeren.
• Aan te tonen dat zonder tegenmaatregelen backdoor-aanvallen tot kritieke risico's kunnen leiden (bijv. het verkeerd classificeren van een stopbord als een snelheidsbord in autonome voertuigen) met relatief lage inspanning van de aanvaller.

De auteurs concluderen bescheiden dat, hoewel het framework erin slaagt risico's te meten in een gecontroleerde omgeving, het vermogen om risico's over verschillende aanvallen te vergelijken of een uitgebreide risicomatrix te creëren, momenteel beperkt wordt door een gebrek aan vergelijkbare gegevens. Toekomstig werk vereist het meten van meer aanvallen om een dataset op te bouwen die een specifiekere ontwikkeling van tegenmaatregelen en een betere risicostandaardisatie mogelijk maakt.