🤖 machine learning

One RNG to Rule Them All: How Randomness Becomes an Attack Vector in Machine Learning

Questo studio analizza come le debolezze nei generatori di numeri pseudocasuali dei framework di machine learning possano creare vettori di attacco occulti e presenta **RNGGuard**, uno strumento capace di rilevare e sostituire automaticamente le funzioni di randomizzazione insicure con implementazioni protette.

Autori originali: Kotekar Annapoorna Prabhu, Andrew Gan, Zahra Ghodsi

Pubblicato 2026-02-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kotekar Annapoorna Prabhu, Andrew Gan, Zahra Ghodsi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il "Dado Truccato" dell'Intelligenza Artificiale: Come proteggere l'IA dal caos invisibile

Immaginate di dover organizzare una gigantesca cena di gala per migliaia di persone. Per far sì che tutto funzioni, avete bisogno di un po' di "casualità": decidere a caso chi siede dove per mescolare le conoscenze, scegliere a sorte i menu per evitare sprechi, o lanciare un dado per decidere se servire il vino rosso o bianco.

Se i dadi che usate sono onesti, la cena sarà un successo. Ma cosa succederebbe se qualcuno, in segreto, sostituisse i vostri dadi con dei "dadi truccati"? Dadi che sembrano normali, ma che tendono a far uscire sempre lo stesso numero o che rispondono ai comandi di un sabotatore? La cena diventerebbe un disastro: alcuni ospiti verrebbero esclusi, altri riceverebbero cibo scadente e nessuno capirebbe perché, perché il trucco è troppo sottile per essere visto a occhio nudo.

Questo è esattamente il problema che il paper "One RNG to Rule Them All" affronta per l'Intelligenza Artificiale.

1. Il problema: Il "cuore invisibile" dell'IA

L'Intelligenza Artificiale (IA) non è solo logica pura; ha un enorme bisogno di casualità (quella che i tecnici chiamano RNG - Random Number Generator). La casualità serve per:

Imparare meglio: Mescolare i dati per non far studiare all'IA sempre le stesse cose.
Proteggere la privacy: Aggiungere un po' di "rumore" (come un velo di nebbia) per nascondere i dati sensibili delle persone.
Essere robusta: Assicurarsi che l'IA non si faccia ingannare da piccoli errori.

Il problema è che l'IA non usa "dadi veri" (che sono lenti e complicati), ma "dadi matematici" (chiamati pseudocasuali). Questi dadi seguono una formula. Se un hacker scopre la formula o se la formula è scritta male, può prevedere il futuro. Può sapere esattamente quale "dado" lancerà l'IA e manipolare il risultato.

2. Il rischio: Un sabotaggio silenzioso

Gli autori hanno scoperto che i grandi sistemi che usiamo oggi (come PyTorch o TensorFlow) sono come grandi cucine che usano dadi provenienti da fornitori diversi. Alcuni fornitori sono eccellenti, altri usano dadi un po' vecchi o, peggio, usano il "tempo dell'orologio" per decidere il numero: un trucco facilissimo da prevedere per un hacker!

Se un hacker controlla la casualità, può:

Rendere l'IA "ingiusta": Manipolare i dati in modo che l'IA ignori certi gruppi di persone.
Rubare segreti: Se la "nebbia" che protegge la privacy è prevedibile, l'hacker può guardare attraverso la nebbia e leggere i tuoi dati privati.
Creare "backdoor": L'IA sembra perfetta, ma se vede un segnale specifico (scelto dall'hacker), si comporta in modo sbagliato.

3. La soluzione: RNGGUARD (Il "Controllore dei Dadi")

Per risolvere questo problema, i ricercatori hanno creato RNGGUARD. Immaginatelo come un ispettore di sicurezza super-tecnologico che entra in cucina mentre la cena è in corso.

RNGGUARD fa due cose:

L'ispezione preventiva (Analisi Statica): Prima che inizi la cena, l'ispettore legge tutte le ricette e i manuali per vedere se qualcuno ha scritto: "Usa il dado truccato del vicino". Se trova un errore, lo segna.
Il controllo in tempo reale (Analisi Dinamica): Mentre gli chef lanciano i dadi, l'ispettore osserva i risultati. Se nota che il dado sta uscendo troppo spesso con lo stesso numero (segno che è truccato), interviene immediatamente, scambia il dado cattivo con uno certificato e sicuro, e continua la cena senza che nessuno se ne accorga.

In sintesi

Il paper ci dice che l'intelligenza artificiale è forte quanto la sua capacità di gestire l'imprevisto. Se la sua "casualità" è debole, tutta la sua intelligenza è fragile. RNGGUARD è lo scudo che assicura che il caos dell'IA sia un caos onesto, sicuro e imprevedibile, proteggendo i nostri dati e la nostra privacy.

Riassunto Tecnico: "One RNG to Rule Them All"

Il Problema: La Vulnerabilità della Casuallità nel Machine Learning

Il Machine Learning (ML) dipende intrinsecamente dalla casualità per diverse fasi critiche: campionamento dei dati, data augmentation, inizializzazione dei pesi, ottimizzazione (es. SGD) e meccanismi di difesa come la Differential Privacy (DP) e il Randomized Smoothing.

Nonostante la sua importanza, la gestione dei generatori di numeri pseudocasuali (PRNG) nel ML è spesso trascurata dal punto di vista della sicurezza. Gli autori identificano tre problemi principali:

Incoerenza tra Framework: Le implementazioni dei PRNG variano significativamente tra framework (PyTorch, TensorFlow, JAX), librerie e backend hardware.
Scelte di Design Insecure: Molti sistemi utilizzano seed prevedibili (come il tempo di sistema o stringhe fisse) o algoritmi non crittograficamente sicuri (CSPRNG) per compiti sensibili come la DP.
Assenza di Validazione Statistica: I framework ML raramente eseguono test statistici rigorosi per verificare che le distribuzioni generate (Gaussiana, Uniforme, ecc.) siano effettivamente corrette e non manipolabili.

Queste lacune creano vettori di attacco (sia tramite vulnerabilità esistenti che tramite attacchi alla supply chain) che possono degradare le prestazioni del modello, compromettere la privacy dei dati o falsificare le certificazioni di robustezza.

Metodologia

Il lavoro si articola in tre fasi principali:

Studio dell'Ecosistema e Tassonomia: Gli autori hanno condotto uno studio sistematico dei principali framework ML (PyTorch, TensorFlow, JAX, Keras), delle librerie di Differential Privacy (Opacus, TFPrivacy, Diffprivlib) e delle piattaforme di Federated Learning. Da questo studio hanno derivato una tassonomia di attacchi e un insieme di policy di sicurezza (es. l'obbligo di usare CSPRNG per la DP).
Sviluppo di RNGGUARD: Un sistema progettato per proteggere le applicazioni ML attraverso due fasi:
- Analisi Statica: Utilizza il motore di query semantica CodeQL per scansionare il codice sorgente delle librerie, identificando tutte le funzioni che dipendono dai core PRNG.
- Enforcement a Runtime: Sfrutta la natura dinamica di Python per sostituire le funzioni di randomizzazione non sicure con implementazioni sicure che rispettano le policy definite.
Modalità Operative di RNGGUARD:
- Modalità Statica: Sostituisce le chiamate ai PRNG con generatori sicuri (es. iniettando seed da /dev/urandom o usando CSPRNG per la DP).
- Modalità Dinamica: Esegue test statistici in tempo reale (Test di Kolmogorov-Smirnov per distribuzioni continue e Test $\chi^2$ di Pearson per quelle discrete) per rilevare deviazioni dalle distribuzioni attese.

Contributi Chiave

Studio Sistematico: Una mappatura completa delle pratiche di seeding e implementazione dei PRNG nel panorama ML attuale.
Nuova Tassonomia di Attacco: Una classificazione degli attacchi basata sul target (Seed, Dipendenze, Framework) e sull'obiettivo (Performance, Privacy, Fairness, Integrità, Robustezza).
RNGGUARD: Un framework innovativo che combina analisi statica e auditing dinamico per garantire la sicurezza della casualità.
Ottimizzazioni di Runtime: Introduzione di modalità asincrone (ASN) e campionamento casuale dell'auditing (RASN) per ridurre l'overhead computazionale dei test statistici.

Risultati

Efficacia dell'Auditing: Gli autori dimostrano che gli strumenti di auditing della privacy esistenti (come DeltaSiege) non sono in grado di rilevare violazioni causate da PRNG non sicuri, confermando la necessità di RNGGUARD.
Performance (Overhead):
- La modalità statica introduce un overhead moderato (circa il 47% nel training non-DP).
- La modalità dinamica senza ottimizzazioni è molto pesante (fino al 650% di overhead nel training DP).
- Tuttavia, con le ottimizzazioni ASN e soprattutto RASN (che testa solo un decimo delle sequenze), l'overhead viene drasticamente ridotto, rendendo il sistema praticabile per workflow reali.
Soundness (Solidità): RNGGUARD è stato in grado di rilevare e correggere con successo un attacco che tentava di manipolare l'inizializzazione dei pesi (Kaiming Normal) trasformandola in una distribuzione uniforme.

Significato e Conclusioni

Il paper dimostra che la casualità non è solo un componente funzionale del Machine Learning, ma un vero e proprio vettore di attacco critico. RNGGUARD rappresenta un passo fondamentale verso la creazione di sistemi di ML più affidabili e sicuri, offrendo una soluzione che non richiede la modifica del codice sorgente dei framework originali, ma agisce come uno strato di protezione trasparente per gli sviluppatori. Il lavoro apre la strada a nuovi standard di sicurezza per la generazione di numeri casuali nel settore dell'Intelligenza Artificiale.