One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning

Titel: One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning

1. Het Probleem: De Verzwakte Fundering van ML

Machine Learning (ML) systemen zijn fundamenteel afhankelijk van willekeur (randomness) voor cruciale processen zoals data-sampling, data-augmentatie, gewichtsinitialisatie, optimalisatie (SGD) en privacybescherming (Differential Privacy). De meeste ML-frameworks maken gebruik van Pseudorandom Number Generators (PRNG's).

Het onderzoek stelt vast dat de implementatie van deze PRNG's inconsistent is over verschillende frameworks (PyTorch, TensorFlow, JAX), softwarebibliotheken en hardware-backends. Dit leidt tot drie grote beveiligingsrisico's:

• Insecure Seeding: Het gebruik van voorspelbare bronnen zoals systeemtijd of vaste strings voor het initialiseren van de 'seed'.
• Inadequate Algoritmen: Het gebruik van niet-cryptografisch veilige PRNG's (zoals Mersenne Twister) voor privacygevoelige taken zoals Differential Privacy (DP), waar een Cryptographically Secure PRNG (CSPRNG) vereist is.
• Gebrek aan Validatie: Er is nauwelijks statistische controle op de kwaliteit van de gegenereerde distributies binnen de ML-pipeline.

Deze kwetsbaarheden vormen een "covert" (verborgen) aanvalsvector: een aanvaller kan de willekeur manipuleren om de nauwkeurigheid te verlagen, privacygaranties te doorbreken of achterdeurtjes (backdoors) in modellen te plaatsen zonder dat dit direct opvalt.

2. Methodologie

De auteurs hanteerden een drieledige aanpak:

1. Ecosysteemstudie: Een uitgebreide analyse van populaire ML-frameworks, DP-bibliotheken (zoals Opacus) en Federated Learning-platforms om implementatieverschillen en zwakheden in kaart te brengen.
2. Taxonomie van Aanvallen: Het ontwikkelen van een classificatiesysteem voor aanvallen op basis van het doelwit (seed-bron, bibliotheek-afhankelijkheden of het ML-framework zelf) en het doel van de aanvaller (privacy, eerlijkheid, robuustheid, etc.).
3. Ontwerp van RNGGUARD: Een nieuw systeem om de veiligheid van willekeur te waarborgen.

3. Belangrijkste Bijdragen: RNGGUARD

De kern van het werk is RNGGUARD, een systeem dat in twee fasen werkt:

• Statische Fase (Policy Generation): Gebruikmakend van CodeQL voert het systeem een semantische analyse uit van de broncode van een bibliotheek. Het identificeert alle functies die direct of indirect afhankelijk zijn van kern-PRNG-functies. Hierdoor wordt een "code flow graph" opgebouwd die bepaalt welke onderdelen moeten worden gecontroleerd of vervangen.
• Dynamische Fase (Runtime Enforcement): Tijdens de uitvoering van het programma vervangt RNGGUARD onveilige functie-aanroepen door veilige implementaties die voldoen aan de vastgestelde beleidsregels.
  • Static Mode: Vervangt onveilige calls door veilige versies (bijv. het injecteren van een CSPRNG voor DP-taken).
  • Dynamic Mode: Voert tijdens runtime statistische tests uit (zoals de Kolmogorov-Smirnov test voor continue distributies en de Pearson $\chi^2$ test voor discrete distributies) om te verifiëren of de gegenereerde data daadwerkelijk de gewenste distributie volgt.

4. Resultaten en Evaluatie

• Effectiviteit: RNGGUARD slaagde erin om gemanipuleerde functies (zoals een aanval op gewichtsinitialisatie) te detecteren en te herstellen naar een veilige staat, waarbij de functionaliteit van het model behouden bleef.
• Prestaties (Overhead):
  • De Static Mode introduceert een gematigde overhead (ca. 47% in non-DP settings).
  • De Dynamic Mode heeft een aanzienlijke overhead (tot 650% in DP-settings) vanwege de zware statistische tests.
• Optimalisaties: Om de overhead van de dynamische modus te beperken, introduceerden de auteurs twee optimalisaties:
  • ASN (Asynchronous): De statistische tests draaien op een aparte CPU-thread parallel aan de GPU-training.
  • RASN (Randomized Asynchronous): Er wordt slechts een subset van de gegenereerde willekeurige sequenties gecontroleerd (bijv. elke tiende), wat de trainingstijd drastisch verkort.

5. Betekenis (Significance)

Dit onderzoek is cruciaal omdat het een voorheen over het hoofd gezien beveiligingsaspect van AI blootlegt. Waar de meeste ML-beveiliging zich richt op adversarial examples of data poisoning, laat dit werk zien dat de fundamentele willekeur van het systeem zelf een zwakke schakel is. RNGGUARD biedt een praktische, laag-drempelige oplossing voor engineers om hun systemen te beveiligen zonder dat zij de volledige broncode van complexe frameworks hoeven te herschrijven of te patchen.