Technische Samenvatting: InferNet – Het exploiteren van geaggregeerde GPU-profielen voor DNN-architectuurinferentie

1. Probleemstelling

Deep Neural Networks (DNN's) zijn cruciale intellectuele eigendomsactiva (IP), maar worden geconfronteerd met aanzienlijke beveiligingsdreigingen, met name Model Extraction Attacks (MEA's). Traditionele MEA's vertrouwen vaak op complexe, fijnmazige tijdreeksanalyses van laag-niveau systeembronnen (bijv. PCIe-verkeer, cache-timing of geheugenbus-snooping) om modelarchitecturen te reverse-engineeren. Deze benaderingen zijn echter vaak onpraktisch in real-world cloud- en Machine-Learning-as-a-Service (MLaaS)-omgevingen, omdat ze geprivilegieerde toegang (root/administrator) of fysieke nabijheid vereisen, wat zelden beschikbaar is voor co-gelokaliseerde gebruikers.

Bovendien heeft de verschuiving in de industrie naar foundation models (grote pre-trained modellen die zijn gefinetuned voor specifieke taken) het doel van de aanvaller veranderd. In plaats van gewichten te extraheren, proberen aanvallers nu de onderliggende DNN-architectuur te identificeren (bijv. het onderscheiden tussen ResNet-, BERT- of Inception-varianten) om gerichte modelstealing of replicatie te faciliteren. Bestaande methoden die vertrouwen op fijnmazige temporele data zijn fragiel, gevoelig voor systeemruis en gemakkelijk te verslaan door tegenmaatregelen zoals gerandomiseerde kernel-scheduling.

Er is behoefte aan een niet-intrusieve, robuuste en praktische aanvalsvector die DNN-architecturen kan afleiden met behulp van alleen grove, geaggregeerde systeemmetrieken die beschikbaar zijn voor standaardgebruikers in cloud-omgevingen.

2. Methodologie: InferNet

Het artikel introduceert InferNet, een aanvallingsmethode die geaggregeerde GPU-profielen gebruikt als een side-channel om DNN-architecturen te fingerprinten en te identificeren. In tegen tegenstelling tot eerdere werken die de temporele sequentie van operaties analyseren, maakt InferNet gebruik van statistische samenvattingen van GPU-executie.

2.1 Kerninzicht

De auteurs identificeren twee belangrijke inzichten die de aanval drijven:

1. Kernel-naar-Layer Mapping: Elke unieke combinatie van DNN-laertype en -grootte koppelt aan specifieke CUDA-kernel calls.
2. Unieke Fingerprints: Het type kernel calls, hun executietijden en resource-utilisatiepatronen vormen een unieke fingerprint voor specifieke DNN-architecturen en hun varianten.

2.2 Aanvals-workflow

De aanval bestaat uit een offline preprocessing-fase en een online aanvals-fase:

• Dataverzameling (Offline): De aanvaller verzamelt geaggregeerde GPU-profielen voor een set kandidaat DNN-architecturen (de "trainingsset"). Met behulp van tools zoals nvprof in aggregate mode worden metrieken vastgelegd, waaronder:
  • GPU Kernel Metrics: Totale tijd, aantal calls en gemiddelde/min/max executietijden voor specifieke kernels (bijv. cudnn_infer, volta_sgemm).
  • API Calls: Frequentie en timing van CUDA API-invocaties.
  • Systeem-niveau Metrics: SM clock speed, memory clock, temperatuur en stroomverbruik.
• Feature Engineering: De ruwe profielen worden schoongemaakt om schaarste te behandelen (door binaire indicatoren voor kernel-aanwezigheid toe te voegen) en genormaliseerd. Recursive Feature Elimination (RFE) wordt gebruikt om de meest voorspellende features te identificeren, waardoor ruis en overfitting worden verminderd.
• Model Training: Een machine learning classifier (bijv. Random Forest, Naive Bayes, KNN) wordt getraind om de geaggregeerde profiel-features te mappen naar de specifieke DNN-architectuur label.
• Online Aanval: De aanvaller draait het victim model op een GPU-ondersteund systeem, verzamelt een enkel geaggregeerd profiel en voert dit in de getrainde classifier om de architectuur te voorspellen.

2.3 Waarom Geaggregeerde Profielen?

Het artikel betoogt dat geaggregeerde profielen superieur zijn aan tijdreeks-traces voor dit specifieke dreigingsmodel omdat:

• Ze ruis onderdrukken van niet-deterministische GPU-scheduling en interne resource-contention.
• Ze minder gevoelig zijn voor variaties in profiler-versies of thermische throttling.
• Ze stabiele, statistische fingerprints bieden die resistent zijn tegen temporele tegenmaatregelen (bijv. gerandomiseerde kernel-ordering).

3. Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

• Nieuwe Side-Channel Identificatie: Het identificeert geaggregeerde GPU-profielen (kernel calls en systeemmetrieken) als een levensvatbare side-channel voor DNN-architectuurinferentie, wat de aanname dat fijnmazige traces noodzakelijk zijn, uitdaagt.
• InferNet Framework: Ontwikkeling van een machine learning-gebaseerde aanval die in staat is een breed scala aan architecturen te extraheren, inclus[ief] Vision-modellen (CNN's, Vision Transformers) en Large Language Models (LLM's).
• Robuustheid tegen Optimalisatie: Demonstratie dat de aanval effectief blijft, zelfs wanneer modellen gecomprimeerd, gepruned of gefinetuned zijn met verschillende output classes.
• Feature Efficiëntie: Empirisch bewijs dat een kleine subset van features (bijv. de top 3 kernel metrics) voldoende is voor bijna perfecte nauwkeurigheid, wat de datavereisten voor de aanval vermindert.
• Cross-Environment Evaluatie: Karakterisering van de transferabiliteit van de aanval over verschillende hardware (NVIDIA Tesla T4 versus Quadro RTX 8000) en frameworks (PyTorch versus TensorFlow).

4. Experimentele Resultaten

De auteurs evalueerden InferNet op 90 diverse DNN-architecturen (21 families) over PyTorch en TensorFlow, met behulp van twee hardwareplatforms.

• Nauwkeurigheid:
  • 100% nauwkeurigheid met het volledige GPU geaggregeerde profiel.
  • ~100% nauwkeurigheid met slechts de top 3 kernel features (specifiek volta_sgemm en splitKreduce metrieken).
  • 100% nauwkeurigheid op gemodificeerde architecturen (bijv. modellen die gefinetuned zijn met andere output classes).
  • 75% nauwkeurigheid in cross-GPU scenario's (trainen op één GPU, testen op een andere), waarbij de voorspelling op family-niveau hoog bleef (>90% voor sommige modellen).
• Data-efficiëntie: De aanval vereist minimale trainingsdata; één profiel per architectuur was voor de meeste modellen voldoende om dezelfde nauwkeurigheid te bereiken als trainen op 20 profielen.
• Framework Generalisatie: Hoewel cross-framework voorspelling (PyTorch naar TensorFlow) aanvankelijk lagere nauwkeurigheid vertoonde door uiteenlopende kernel sets, herstelde training op een heterogene dataset (combinatie van beide frameworks) de nauwkeurigheid naar 100% voor Random Forest en Naive Bayes.
• Vergelijking: InferNet bereikt 100% nauwkeurigheid op een kandidaatenset die 4x groter is dan het dichtstbijzijnde gerelateerde werk (dat doorgaans 15–20 modellen target).

5. Betekenis en Claims

Het artikel beweert dat InferNet een paradigmaverschuiving vertegenwoordigt in model extraction attacks door aan te tonen dat statistische robuustheid kan worden bereikt zonder temporele precisie.

• Practicaliteit: De aanval is zeer praktisch voor cloud-omgevingen waar aanvallers geen root-toegang hebben, maar wel executables kunnen draaien en toegang hebben tot standaard profiling tools (die niet uniform beperkt zijn over alle cloud providers of legacy CUDA versies).
• Stealth: Door te vertrouwen op geaggregeerde data in plaats van intrusieve hardware sniffing, is de aanval niet-intrusief en moeilijk te detecteren via standaard anomaliedetectie op systeemlogs.
• Strategische Impact: Het vermogen om de architectuurfamilie nauwkeurig te identificeren (bijv. "Dit is een BERT-variant") verkleint de zoekruimte voor aanvallers aanzienlijk, wat gericht model stealing mogelijk maakt en de beveiliging van foundation models ondermijnt.
• Erkende Beperkingen: De auteurs merken bescheiden op dat hoewel de aanval robuust is binnen een architecturale generatie (bijv. NVIDIA Turing), cross-generatie transferabiliteit extra afstemming vereist. Ze erkennen ook dat nieuwere NVIDIA tools de toegang tot profilers hebben beperkt, hoewel legacy omgevingen en specifieke cloud configuraties dit aanvalsoppervlak nog steeds blootstellen.

Het artikel concludeert dat geaggregeerd GPU-profiling een aanzienlijk kwetsbaarheid blootlegt in de AI-supply chain, wat nieuwe tegenmaatregelen noodzakelijk maakt zoals dummy computations, gerandomiseerde kernel scheduling en beperkte toegang tot profiling tools.