Detecting Hidden ML Training With Zero-Overhead Telemetry

Technische Samenvatting: Detectie van Verborgen ML-Training met Zero-Overhead Telemetrie

Probleemstelling
Effectief bestuur van AI-rekenkracht (compute governance) rust op het vermogen om te verifiëren wanneer en waar grootschalige modeltraining plaatsvindt. Huidige voorstellen voor regulering (bijv. FLOP-drempels, registratie en audits) gaan ervan uit dat toezichthouders betrouwbaar onderscheid kunnen maken tussen trainingsworkloads en inferentie of niet-ML-taken. Deze schema's zijn echter kwetsbaar als ontwikkelaars de detectie kunnen ontwijken door training te camoufleren als andere workloads. Hoewel eerder werk heeft aangetoond dat ML en niet-ML computing onderscheiden kunnen worden in niet-adversariële omgevingen, is er geen systematische evaluatie uitgevoerd naar de vraag of detectie robuust blijft wanneer een tegenstander actief probeert de ML-signalen te maskeren. Bovendien vereisen bestaande profileringsgebaseerde monitoringoplossingen vaak een onaanvaardbare runtime-overhead of toegang tot gevoelige modelgegevens, wat zorgen oproept over privacy en operationele integriteit.

Methodologie
De auteurs onderzoeken de adversariële robuustheid van GPU-workloadclassificatiesystemen met behulp van uitsluitend zero-overhead, privacy-bewarende telemetrie van de NVIDIA Management Library (NVML).

• Datacollectie: De studie maakte gebruik van 9 NVIDIA GPU-modellen verspreid over vier architectuurgeneraties (Pascal tot Blackwell), inclusend consumentenhardware (RTX 4050, 5080, 5090) en datacenterhardware (A100, H100, H200, B200). De dataset bestaat uit 1.404 runs van 162 verschillende workloads, wat neerkomt op ongeveer 117 GPU-uren en meer dan 445.000 telemetrie-metingen. De workloads omvatten 93 ML-trainingsopdrachten (supervised, gedistribueerd, LoRA), 40 inferentie-taken en 16 niet-ML-taken (HPC, mining, rendering).
• Telemetriesignalen: De classifier werkt op basis van negen ruwe NVML-counters die met een frequentie van 1 Hz worden gesampled: GPU-benutting, geheugenbenutting, gebruikt geheugen, stroomverbruik, temperatuur, SM-klok, geheugenklok en PCIe TX/RX-bandbreedte. Deze signalen zijn inhoud-agnostisch; ze observeren enkel de fysieke effecten van berekeningen zonder toegang te hebben tot gewichten, data of hyperparameters.
• Classifier Architectuur: Een Random Forest-classifier werd gekozen als het optimale model. Het maakt gebruik van een tweestaps feature-extractiepipeline:
  1. Structurele Laag: Identificeert workloads in een trainings-achtige operationele regio op basis van rekenintensiteit (gemiddeld vermogen versus gemiddelde benutting).
  2. Temporele Laag: Lost ambiguïteit op met behulp van tijdreeks-features (autocorrelatie, variatiecoëfficiënt, periodiciteit).
• Adversariële Evaluatie (Red-Teaming): De auteurs voerden een vijf-ronden "monitor–evader" iteratie uit. In elke ronde introduceerden aanvallers nieuwe ontwijkingsstrategieën gericht op de zwakheden van de classifier, waarna verdedigers de classifier hertrainden om hiertegen bestand te zijn. Dit proces genereerde 20 families van ontwijkingsstrategieën, waaronder benutting-modulatie, geheugen-minimalisatie, workload-mimicry (bijv. FFT, mining), "training-als-inferentie" verdunning, multi-GPU structurering en white-box aanvallen waarbij de tegenstander toegang had tot de interne mechanica van de classifier.

Belangrijkste Bijdragen

1. Zero-Overhead Detectie: Het artikel toont aan dat hoogwaardige classificatie van training versus niet-training workloads haalbaar is met uitsluitend standaard, altijd beschikbare NVML-telemetrie, waardoor de noodzaak voor dure profilingtools zoals Nsight Compute vervalt.
2. Adversariële Robuustheidsbenchmark: Door middel van vijf iteratierondes hebben de auteurs de classifier getest tegen een uitgebreid pakket van 20 families van ontwijkingsstrategieën, waarmee een benchmark is gesteld voor de "kat-en-muis"-dynamiek in AI-governance.
3. Hardware Generalisatie: De studie valideert dat een classifier getraind op een diverse set hardware kan generaliseren naar onbekende GPU-modellen (Leave-One-GPU-Out evaluatie) zonder opnieuw te worden afgestemd, wat locatie-onafhankelijke implementatie ondersteunt.
4. Privacy-bewarend Mechanisme: De aanpak bevestigt dat governance-relevante vragen beantwoord kunnen worden zonder inspectie van propriëtaire modelgewichten of trainingsdata, wat belangrijke juridische en ethische barrières bij cloud-monitoring wegneemt.

Resultaten

• Baseline Prestaties: Op niet-adversariële workloads over alle 9 GPU-modellen bereikte de classifier een binaire nauwkeurigheid van 98,2% (macro-F1 = 0,982) bij het onderscheiden van training versus niet-training.
• Adversariële Prestaties:
  • Multi-GPU: De classifier detecteerde alle multi-GPU ontwijkingsstrategieën met een nauwkeurigheid van ≥99,6%.
  • Single-GPU: Tegen de meest uitdagende single-GPU ontwijkingsstrategieën (exclusief white-box) bleven de detectiepercentages hoog. In een "leave-one-strategy-out" evaluatie behaalde de classifier een gemiddelde nauwkeurigheid van 95,2% op ongeziene externe strategieën.
  • White-Box Aanvallen: Zelfs toen tegenstanders toegang hadden tot de interne werking van de classifier (Ronde 5), behield de verharde classifier een nauwkeurigheid van 43–87% tegen ongeziene white-box strategieën. Slechts één specifiek type ontwijking (white-box LoRA) zakte onder de 50% detectiegraad.
• Feature Belangrijkheid: Fysica-gebaseerde features, specif kind de cumulatieve energie, de power–memory correlatie en de pre-allocatie geheugen-plateau features, bleken cruciaal voor het detecteren van de meest geavanceerde ontwijkingspogingen. De auteurs merken op dat de fundamentele fysieke beperking van training (het vereisen van ~2× de FLOPs en energie van inferentie) een signaal oplevert dat moeilijk te onderdrukken is zonder het trainingsproces te staken.

Betekenis en Claims
Het artikel claimt dat de voorgestelde zero-overhead telemetrie-aanpak een levensvatbaar, empirisch realiseerbaar fundament biedt voor AI-compute governance. De auteurs stellen dat verdedigers structureel in het voordeel zijn, omdat de fysieke energievereisten van de backward pass een fundamentele beperking vormen die ontwijkingsstrategieën niet volledig kunnen elimineren zonder het vermogen om het model te trainen op te offeren.

De betekenis van het werk ligt in de verschuiving van de governance-uitdaging van een puur machine learning-probleem naar een hardware-beveiligingsprobleem. De auteurs stellen dat hoewel hun softwarematige classifier robuust is, de effectiviteit in de praktijk afhankelijk is van de implementatie van Hardware-Enabled Mechanisms (HEMs) die de integriteit van de telemetriegegevens waarborgen (bijv. tamper-resistente leespaden en geauthenticeerde kanalen). Indien aan deze hardwaregaranties wordt voldaan, concludeert het artikel dat de economische en technische kosten van ontwijking (zoals verdunning en idle-padding) onhaalbaar worden op de schaal van frontier-modellen, waardoor de detectie van ongeautoriseerde training haalbaar wordt voor toezichthouders en cloudproviders.