Detecting Hidden ML Training With Zero-Overhead Telemetry

Sintesi Tecnica: Rilevamento di Addestramento ML Nascosto con Telemetria a Zero-Overhead

Problematica
Una governance efficace del calcolo IA dipende dalla capacità di verificare quando e dove avviene l'addestramento di modelli su larga scala. Le attuali proposte di regolamentazione (ad es. soglie FLOP, registrazione, audit) presuppongono che i regolatori possano distinguere in modo affidabile i carichi di lavoro di addestramento da quelli di inferenza o da compiti non legati al ML. Tuttavia, tali schemi sono vulnerabili se gli sviluppatori possono eludere il rilevamento camuffando l'addestramento come altri carichi di lavoro. Sebbene studi precedenti abbiano dimostrato che il calcolo ML e non-ML può essere distinto in contesti non avversariali, non è stata condotta alcuna valutazione sistematica per determinare se il rilevamento rimanga robusto quando un avversario tenta attivamente di offuscare i segnali di addestramento. Inoltre, le soluzioni di monitoraggio basate sul profiling esistenti spesso comportano overhead operativi proibitivi o richiedono l'accesso a dati sensibili del modello, sollevando preoccupazioni relative alla privacy e all'operatività.

Metodologia
Gli autori investigano la robustezza avversaria dei classificatori di carichi di lavoro GPU utilizzando esclusivamente la telemetria a zero-overhead e preservante della privacy fornita dalla NVIDIA Management Library (NVML).

• Raccolta Dati: Lo studio ha utilizzato 9 modelli di GPU NVIDIA appartenenti a quattro generazioni di architetture (da Pascal a Blackwell), inclusi hardware consumer (RTX 4050, 5080, 5090) e datacenter (A100, H100, H200, B200). Il dataset comprende 1.404 esecuzioni di 162 carichi di lavoro distinti, per un totale di circa 117 ore-GPU e oltre 445.000 letture di telemetria. I carichi di lavoro includevano 93 task di addestramento ML (supervisionato, distribuito, LoRA), 40 task di inferenza e 16 task non-ML (HPC, mining, rendering).
• Segnali di Telemetria: Il classificatore opera su nove contatori grezzi NVML campionati a 1 Hz: utilizzo della GPU, utilizzo della memoria, memoria utilizzata, assorbimento di potenza, temperatura, clock SM, clock della memoria e larghezza di banda PCIe TX/RX. Questi segnali sono agnostici rispetto al contenuto, osservando solo gli effetti fisici del calcolo senza accedere a pesi, dati o iperparametri.
• Architettura del Classificatore: Un classificatore Random Forest è stato selezionato come il modello ottimale. Esso impiega una pipeline di estrazione delle caratteristiche a due stadi:
  1. Livello Strutturale: Identifica i carichi di lavoro in una regione operativa simile all'addestramento in base all'intensità aritmetica (potenza media vs. utilizzo medio).
  2. Livello Temporale: Risolve le ambiguità utilizzando caratteristiche nel dominio del tempo (autocorrelazione, coefficiente di variazione, periodicità).
• Valutazione Avversaria (Red-Teaming): Gli autori hanno condotto un'iterazione "monitor–evader" in cinque round. In ogni round, gli attaccanti hanno introdotto nuove strategie di evasione mirate alle debolezze del classificatore, e i difensori hanno riaddestrato il classificatore per indurirlo contro di esse. Questo processo ha generato 20 famiglie di strategie di evasione, tra cui modulazione dell'utilizzo, minimizzazione della memoria, mimetismo del carico di lavoro (ad es. FFT, mining), diluizione dell'addestramento-come-inferenza, strutturazione multi-GPU e attacchi white-box in cui l'avversario aveva accesso alla meccanica interna del classificatore.

Contributi Chiave

1. Rilevamento a Zero-Overhead: Il documento dimostra che è possibile ottenere una classificazione ad alta precisione tra carichi di lavoro di addestramento e non-addestramento utilizzando solo la telemetria NVML standard e sempre disponibile, eliminando la necessità di strumenti di profiling costosi come Nsight Compute.
2. Benchmark di Robustezza Avversaria: Attraverso cinque round di iterazione, gli autori hanno testato lo stress del classificatore contro una suite completa di 20 famiglie di strategie di evasione, stabilendo un benchmark per la dinamica "gatto e topo" nella governance dell'IA.
3. Generalizzazione dell'Hardware: Lo studio valida il fatto che un classificatore addestrato su un set diversificato di hardware può generalizzare a modelli GPU non visti (valutazione Leave-One-GPU-Out) senza ri-adattamento, supportando un deployment agnostico rispetto al sito.
4. Meccanismo Preservante la Privacy: L'approccio conferma che le questioni rilevanti per la governance possono essere affrontate senza ispezionare i pesi proprietari del modello o i dati di addestramento, affrontando le barriere legali ed etiche chiave nel monitoraggio basato su cloud.

Risultati

• Prestazioni Baseline: Sui carichi di lavoro non avversariali su tutti i 9 modelli di GPU, il classificatore ha raggiunto un'accuratezza binaria del 98,2% (macro-F1 = 0,982) nel distinguere l'addestramento dal non-addestramento.
• Prestazioni Avversarie:
  • Multi-GPU: Il classificatore ha rilevato tutte le strategie di evasione multi-GPU con un'accuratezza ≥99,6%.
  • Single-GPU: Contro le strategie di evasione single-GPU più impegnative (esclusi i white-box), i tassi di rilevamento sono rimasti elevati. In una valutazione "leave-one-strategy-out", il classificatore ha raggiunto un'accuratezza media del 95,2% su strategie esterne non viste.
  • Attacchi White-Box: Anche quando gli avversari avevano accesso agli interni del classificatore (Round 5), il classificatore indurito ha mantenuto un'accuratezza del 43–87% contro le strategie white-box non viste. Solo un tipo specifico di evasione (white-box LoRA) è sceso sotto il tasso di rilevamento del 50%.
• Importanza delle Caratteristiche: Le caratteristiche basate sulla fisica, specificamente l'energia cumulativa, la correlazione potenza-memoria e le caratteristiche del plateau di memoria pre-allocata, si sono rivelate critiche per rilevare i tentativi di evasione più sofisticati. Gli autori notano che il vincolo fisico fondamentale dell'addestramento (che richiede circa 2× i FLOP e l'energia dell'inferenza) fornisce un segnale che è difficile sopprimere senza abortire il processo di addestramento.

Significatività e Rivendicazioni
Il documento sostiene che l'approccio di telemetria a zero-overhead proposto fornisce una base empiricamente realizzabile e vitale per la governance del calcolo dell'IA. Gli autori sostengono che i difensori sono strutturalmente avvantaggiati perché i requisiti fisici di energia del passaggio backward impongono un vincolo fondamentale che le strategie di evasione non possono eliminare completamente senza sacrificare la capacità di addestrare il modello.

La significatività del lavoro risiede nello spostamento della sfida della governance da un problema puramente di machine learning a un problema di sicurezza dell'hardware. Gli autori affermano che, sebbene il loro classificatore a livello software sia robusto, la sua efficacia nel mondo reale è condizionata dall'implementazione di Meccanismi Abilitati dall'Hardware (HEM) che garantiscano l'integrità dei dati di telemetria (ad es. percorsi di lettura resistenti alle manomissioni e canali autenticati). Se queste garanzie hardware sono soddisfatte, il documento conclude che i costi economici e tecnici dell'evasione (come la diluizione e il padding dell'idle) diventano non sostenibili alle scale di frontiera, rendendo il rilevamento di addestramenti non autorizzati fattibile per regolatori e fornitori di servizi cloud.