Sintesi Tecnica: Attacchi di Estrazione di Modelli AI: Superamento delle Assunzioni Single-Client nelle Difese

Definizione del Problema

La sicurezza dei modelli di Intelligenza Artificiale (AI) impiegati nei sistemi di Comando e Controllo (C2) militari e nelle infrastrutture critiche è sempre più minacciata dagli attacchi di Estrazione del Modello (Model Extraction Attacks - MEA). In questi attacchi, gli avversari interrogano sistematicamente un modello target per replicarne il confine decisionale, consentendo il furto di proprietà intellettuale e lo sviluppo offline di attacchi avversari (ad esempio, per eludere i sistemi di rilevamento delle intrusioni).

Gli attuali meccanismi di difesa, come Protecting Against Deep Neural Network Model Stealing Attacks (PRADA), Query Unlearning (QUEEN) e Model-Guardian, si affidano pesantemente alla Single Client Assumption (SCA) (Assunzione del Cliente Singolo). Questa assunzione postula che l'attività malevola abbia origine da un'identità singola e isolata (ad esempio, un indirizzo IP o una chiave API). Le difese operano monitorando i pattern di richiesta per singolo client (ad esempio, i tempi di inter-arrivo) e attivando allarmi quando si verificano deviazioni statistiche.

L'articolo sostiene che la SCA sia fondamentalmente invalida negli odierni ambienti operativi in rete, particolarmente contro le Minacce Avanzate Persistenti (APT). In tali scenari, gli avversari possiedono le risorse per distribuire le attività di sondaggio su molti client coordinati (ad esempio, botnet), rendendo così inefficaci le difese statistiche per singolo client. Inoltre, anche gli approcci di aggregazione globale sono vulnerabili al mixing adattivo del traffico, in cui gli attaccanti mescolano i sondaggi malevoli con il traffico legittimo di background per mascherare le firme statistiche.

Metodologia

Per dimostrare sistematicamente il fallimento della SCA e valutare gli scenari di attacco distribuiti, gli autori hanno sviluppato CerberusAI, un framework modulare e open-source per la ricerca riproducibile sull'estrazione dei modelli.

Il Framework CerberusAI

CerberusAI è progettato per simulare complessi scenari di attacco distribuiti in linea con le architetture Software Defined Defence (SDD). I suoi componenti principali includono:

• Configurazione Dichiarativa: Gli esperimenti sono definiti tramite file YAML, garantendo la riproducibilità fissando i parametri per i modelli target, le strategie di attacco e gli iperparametri di difesa.
• Orchestratore di Esperimenti: Utilizza un pattern factory per istanziare i componenti, avvolgendo il modello target in un proxy DefendedModel che instrada le richieste attraverso la logica di difesa (ad esempio, PRADA) prima di raggiungere il modello.
• Gestore di Attacco Distribuito: Simula strutture simili a botnet generando $N$ identità di client virtuali. Implementa specifiche strategie di scheduling per aggirare le difese:
  1. Round-Robin Scheduling: Distribuisce il budget totale di query ciclicamente tra $N$ client. Ciò assicura che nessun singolo client superi la dimensione minima di campione ($N_{min}$) richiesta per la significatività statistica nella logica di rilevamento.
  2. Adaptive Traffic Mixing: Inietta un alto rapporto di traffico benigno nel flusso di attacco. Questo offusca la distribuzione statistica del traffico totale, rendendolo indistinguibile dal comportamento degli utenti legittimi.

Formalizzazione dell'Attacco

Gli autori formalizzano l'attaccante distribuito come un insieme di client $C = \{c_1, \dots, c_N\}$ che partizionano l'insieme di query necessario $Q$ in sottoinsiemi disgiunti $Q_{c_i}$. Se ogni sottoinsieme $|Q_{c_i}|$ rimane al di sotto della soglia critica $\epsilon$ (la dimensione minima del campione per i test statistici), il meccanismo di difesa $D$, che valuta i client in isolamento, fallisce nel far scattare l'allarme.

Contributi Chiave

1. Dimostrazione Sistematica della Vulnerabilità della SCA: Il documento fornisce prove empiriche che le strategie di query coordinate e distribuite possono ridurre le prestazioni di rilevamento delle difese consolidate (specificamente PRADA) a zero.
2. Analisi dei Limiti della Difesa Globale: Gli autori dimostrano che anche l'aggregazione ingenua delle richieste globali fallisce quando gli attaccanti impiegano il traffic mixing adattivo. Ciò risulta in un massiccio aumento dei Falsi Positivi (FP), rendendo la difesa operativamente inutile (effettivamente un attacco Denial of Service per gli utenti legittimi).
3. Introduzione di CerberusAI: Il rilascio di un framework modulare e open-source che consente la simulazione di scenari MEA distribuiti e adattivi, affrontando la mancanza di strumenti di valutazione standardizzati nel settore.

Risultati Sperimentali

Gli autori hanno valutato il meccanismo di difesa PRADA utilizzando il dataset MNIST e un modello target di tipo Convolutional Neural Network (CNN). Gli esperimenti hanno utilizzato il Momentum Iterative Fast Gradient Sign Method (MI-FGSM) per la generazione dell'attacco.

• Scenario 1 (Baseline - Single Client): Un singolo attaccante contro la difesa standard PRADA. Il sistema ha ottenuto un F1-score del 63,2% (Precisione: 100%, Recall: 46,2%), confermando che la difesa funziona come previsto sotto la SCA.
• Scenario 2 (Attacco Distribuito): Il budget di attacco (2.500 query) è stato distribuito tra 400 client utilizzando lo scheduling round-robin. Ogni client ha inviato solo circa 6-7 query, ben al di sotto della soglia $N_{min}=50$.
  • Risultato: L'F1-score è sceso allo 0,0%. La difesa non è riuscita a rilevare l'attacco perché nessun singolo client ha innescato l'analisi statistica.
• Scenario 3 (Difesa Globale): Una difesa modificata ha aggregato le richieste tra tutti i 400 client.
  • Risultato: L'F1-score è tornato al 90,8% (Precisione: 100%, Recall: 83,1%), mostrando che l'aggregazione globale può rilevare attacchi distribuiti semplici.
• Scenario 4 (Adaptive Traffic Mixing): L'attaccante ha mescolato le query malevole con il 99% di traffico benigno utilizzando la distribuzione round-robin.
  • Risultato: L'F1-score è crollato al 2,0%. Mentre la Recall rimaneva alta (99,3%), la Precisione è precipitata all'1,0%. Il sistema ha generato un'ondata di falsi allarmi, rendendolo operativamente inutilizzabile.

Significato e Rivendicazioni

Il documento sostiene che la SCA rappresenti una lacuna strutturale nelle attuali dottrine di difesa dell'AI. I risultati indicano che:

• La SCA è Invalida: In presenza di avversari coordinati e ricchi di risorse (come le APT), le difese basate sull'analisi di client isolati sono cieche agli attacchi distribuiti.
• Le Difese Statistiche sono Fragili: Gli approcci puramente statistici (basati sui tempi di inter-arrivo o sul matching delle distribuzioni) possono essere manipolati arbitrariamente attraverso la distribuzione e l'iniezione di rumore.
• È Necessario un Cambio di Paradigma: La ricerca futura deve andare oltre il rilevamento delle anomalie centrato sul client. Gli autori sostengono la necessità di un passaggio verso architetture di difesa stateful e indipendenti dall'identità che monitorino lo stato globale del modello e analizzino il contenuto semantico delle query (ovvero: "Quale contenuto informativo estraggono queste query?") piuttosto che concentrarsi esclusivamente sulla loro distribuzione statistica.

Il lavoro supporta gli obiettivi strategici della NATO fornendo una metodologia per la "valutazione informata sulle minacce" (threat-informed evaluation) e sottolineando la necessità di una sicurezza dell'AI resiliente in operazioni federate e multi-dominio. Gli autori concludono che proteggere i componenti dell'AI nelle infrastrutture critiche richiede di allontanarsi dalle assunzioni di attaccanti isolati verso architetture di sicurezza robuste e basate sull'apprendimento, capaci di riconoscere comportamenti avversari coordinati.