💻 computer science

NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples

Il paper presenta NeuroTrace, un framework e un dataset open-source che utilizza Grafi di Provenienza dell'Inferenza (IPG) per rilevare esempi avversariali analizzando il flusso di informazioni trasversale alle layer durante l'esecuzione dei modelli, dimostrando così prestazioni di rilevamento superiori e migliorando la trasparenza dei sistemi di apprendimento automatico.

Autori originali: Firas Ben Hmida, Philemon Hailemariam, Kashif Ali Khan, Birhanu Eshete

Pubblicato 2026-04-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Firas Ben Hmida, Philemon Hailemariam, Kashif Ali Khan, Birhanu Eshete

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un'auto molto sofisticata, un'auto a guida autonoma che prende decisioni su come sterzare o frenare. Se qualcuno le lancia un piccolo sasso sotto il pneumatico (un "esempio avversario"), l'auto potrebbe improvvisamente decidere di accelerare contro un muro, anche se tutto sembra normale dall'esterno.

Il problema è che queste "intelligenze artificiali" (le Reti Neurali Profonde) sono come scatole nere: guardi dentro e non capisci perché hanno preso quella decisione sbagliata. Vedono solo il risultato finale, ma non il percorso mentale che hanno fatto per arrivarci.

NeuroTrace è come un nuovo tipo di taccuino di bordo o una telecamera interna che registra non solo cosa fa l'auto, ma come pensa mentre lo fa.

Ecco come funziona, spiegato con parole semplici:

1. Il Problema: Guardare solo il risultato

Fino a oggi, per capire se un'auto stava per fare un errore, guardavamo solo il "volto" dell'auto (i suoi ultimi pensieri). Se sembrava confusa, la fermavamo. Ma gli hacker sono furbi: possono ingannare l'auto facendole credere che tutto sia normale, anche se sta per schiantarsi.

2. La Soluzione: NeuroTrace e la "Mappa del Viaggio"

Gli autori di questo studio hanno creato NeuroTrace. Invece di guardare solo il risultato finale, NeuroTrace disegna una mappa completa di ogni singolo pensiero che l'auto ha avuto mentre analizzava l'immagine.

Immagina che l'intelligenza artificiale sia una grande fabbrica di assemblaggio:

Il modo vecchio: Guardavi solo il prodotto finito sulla linea di montaggio.
Il modo NeuroTrace: Disegni un grafico che mostra ogni singolo operaio, ogni macchina, e come il pezzo passa da uno all'altro. Se un hacker modifica un pezzo all'inizio, questo grafico mostra come quel piccolo errore si è propagato, cambiando il modo in cui gli operai successivi lavorano.

Questa mappa si chiama Grafo di Provenienza dell'Inferenza (IPG). È come un'istantanea della "fatica" che l'auto ha fatto per pensare.

3. Come funziona la rilevazione?

Quando un hacker cerca di ingannare l'auto, deve "spingere" i pensieri dell'auto in una direzione strana. Anche se l'immagine finale sembra normale, il modo in cui i pensieri viaggiano attraverso la fabbrica è innaturale.

Esempio: Se un'auto normale pensa "Questo è un gatto" seguendo un percorso logico (occhi -> orecchie -> baffi), un'auto ingannata potrebbe seguire un percorso contorto e caotico per arrivare alla stessa conclusione, o a una conclusione sbagliata.
NeuroTrace guarda questo percorso. Se il percorso è "strano" o "tortuoso" rispetto a come dovrebbe essere, il sistema suona l'allarme: "Attenzione! Qualcuno sta manipolando i pensieri dell'auto!".

4. Perché è speciale? (La prova del nove)

La cosa incredibile di NeuroTrace è che funziona come un detective esperto.

Se addestri il detective a riconoscere i "falsi" creati con un certo metodo (ad esempio, usando un tipo specifico di sasso), lui impara a riconoscere il tipo di danno che quel sasso fa alla macchina.
Quando arriva un hacker che usa un metodo diverso (un martello invece di un sasso), il detective dice: "Aspetta, anche se il martello è diverso, il danno alla struttura della fabbrica è lo stesso! È un attacco!".

Gli esperimenti hanno mostrato che NeuroTrace riesce a riconoscere gli attacchi anche se non li ha mai visti prima, perché impara a riconoscere il "caos strutturale" che gli hacker creano, indipendentemente da come lo fanno.

5. Il prezzo da pagare (Velocità e Spazio)

C'è un piccolo svantaggio. Tenere traccia di ogni singolo pensiero richiede tempo e spazio.

È come se, invece di prendere un'auto per andare al lavoro, dovessimo portare con noi un'intera biblioteca di note su ogni singolo passo del viaggio.
Attualmente, questo sistema è perfetto per controlli di sicurezza approfonditi (come analizzare un'auto dopo un incidente per capire cosa è andato storto) o per sistemi critici dove la sicurezza è più importante della velocità. Non è ancora veloce abbastanza per fermare un attacco in tempo reale mentre l'auto sta guidando a 100 km/h, ma è un passo enorme verso sistemi più trasparenti e sicuri.

In sintesi

NeuroTrace è come dare agli ingegneri degli "occhiali a raggi X" per vedere come pensano le intelligenze artificiali. Invece di fidarsi ciecamente della risposta finale, controllano il "viaggio mentale" dell'IA. Se il viaggio sembra sospetto, anche se la destinazione sembra corretta, il sistema sa che c'è un inganno in atto.

È un passo fondamentale per rendere le macchine più oneste, trasparenti e difficili da ingannare.

1. Il Problema

Le Reti Neurali Profonde (DNN) sono fondamentali per sistemi critici, ma rimangono "opache" durante la fase di inferenza. Questa mancanza di trasparenza limita la capacità di rilevare e diagnosticare input manipolati malevolmente, come gli esempi avversariali (adversarial examples).
I metodi di rilevamento esistenti soffrono di due principali limitazioni:

Segnali locali: Si basano prevalentemente su segnali locali a un singolo strato (es. logit, gradienti, mappe di salienza), trattando i componenti del modello in isolamento.
Mancanza di contesto globale: Non catturano adeguatamente il flusso di informazioni tra gli strati e la struttura di esecuzione complessiva della rete. Di conseguenza, faticano a generalizzare su diversi tipi di attacchi o a rilevare manipolazioni sistemiche che non alterano drasticamente le attivazioni locali ma distorcono il flusso computazionale.

2. Metodologia: NeuroTrace e IPG

Il paper introduce NeuroTrace, un framework unificato e un dataset open-source progettati per analizzare la "provenienza dell'inferenza" (inference provenance). Il cuore della metodologia è la costruzione di Inference Provenance Graphs (IPG).

A. Inference Provenance Graphs (IPG)

Gli IPG sono grafi eterogenei che catturano il comportamento di un modello durante il passaggio in avanti (forward pass) per un dato input.

Nodi: Rappresentano le attivazioni intermedie generate durante l'inferenza. Possono essere neuronali (per layer fully connected), canali (per layer convoluzionali) o mappe di feature aggregate. Ogni nodo include feature derivate dal tensore di attivazione (media, norma L2, sparsità) e metadati (indice del layer, tipo).
Archi: Codificano le dipendenze computazionali tra le attivazioni.
- Per layer parametrici (es. convoluzioni), gli archi hanno attributi derivati dai pesi appresi.
- Per operazioni non parametriche (es. pooling), gli archi codificano la connettività strutturale.
Estrazione basata sull'attivazione: Non tutto il grafo di calcolo viene utilizzato. Il framework estrae un sottografo indotto dall'input, includendo solo i nodi la cui magnitudine di attivazione supera una soglia $\tau$ . Questo crea una rappresentazione compatta dei percorsi computazionali attivi.
Rappresentazione Eterogenea: Il grafo mantiene la distinzione semantica e strutturale tra diversi tipi di layer e relazioni computazionali.

B. Pipeline NeuroTrace

Il framework opera in tre fasi principali:

Estrazione IPG: Utilizza un motore di strumentazione (ProvenanceEngine) basato su PyTorch che aggancia "hook" ai confini dei moduli per intercettare le attivazioni e costruire il grafo in tempo reale.
Apprendimento della Rappresentazione: I grafi IPG vengono codificati utilizzando una Graph Neural Network (GNN) (specificamente GraphSAGE in questo studio) per apprendere rappresentazioni vettoriali che catturano le dipendenze cross-layer.
Rilevamento: Un classificatore binario addestrato sulla rappresentazione del grafo predice se l'input è benigno o avversariale.

3. Contributi Chiave

Provenienza come Segnale di Rilevamento: Formalizza la provenienza dell'inferenza come una rappresentazione basata su grafi, dimostrando che cattura dipendenze cross-layer non accessibili ai metodi locali, fornendo un segnale robusto per il rilevamento.
Framework di Estrazione NeuroTrace: Sviluppa una pipeline riproducibile in PyTorch che strumentizza l'esecuzione del modello, costruendo grafi eterogenei senza richiedere adattamenti specifici per ogni architettura.
Dataset e Benchmark NeuroTrace-IPG: Rilascia un dataset multi-dominio (visione artificiale e rilevamento malware) contenente grafi IPG per input benigni e avversariali (sia white-box che black-box). Include schemi standardizzati e configurazioni per la ricerca riproducibile.
Rilevamento Trasferibile: Dimostra che i rilevatori basati su IPG addestrati su un sottoinsieme di attacchi generalizzano efficacemente ad attacchi non visti e tra diversi modelli di minaccia (white-box vs black-box).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli di visione (ResNet-20 su CIFAR-10) e modelli di rilevamento malware (Cuckoo-DNN, EMBER-DNN).

Performance Intra-Attacco: I rilevatori basati su IPG raggiungono prestazioni eccellenti quando addestrati e testati sullo stesso tipo di attacco. Su CIFAR-10, l'accuratezza supera il 96% per tutti gli attacchi (FGSM, PGD, APGD, SPSA, Square, SIA) e l'AUC ROC è vicino a 1.0. Nel dominio malware, la separazione è stata perfetta (100% di accuratezza).
Addestramento Multi-Attacco: Un singolo rilevatore addestrato su una miscela di diversi attacchi avversariali mantiene prestazioni quasi sature, dimostrando che la provenienza cattura segnali strutturali condivisi tra diverse famiglie di attacchi.
Trasferimento Cross-Threat: Il risultato più significativo è la capacità di generalizzazione tra modelli di minaccia. Addestrando su attacchi white-box e testando su black-box (e viceversa), il sistema mantiene un'accuratezza superiore al 96% e un AUC quasi perfetto. Questo suggerisce che le perturbazioni avversariali inducono deviazioni strutturali sistemiche nel flusso di informazioni, indipendentemente dal meccanismo di generazione dell'attacco.
Confronto con lo Stato dell'Arte: NeuroTrace supera il baseline più vicino basato su grafi, CIGA (Critical Inference Graphs), in tutte le categorie di attacco, con guadagni significativi su PGD e APGD.

5. Significato e Implicazioni

Nuova Prospettiva di Sicurezza: Il lavoro sposta il focus dal rilevamento basato su anomalie locali a un'analisi del flusso di informazioni globale. Suggerisce che gli esempi avversariali "inquinano" sistematicamente la struttura computazionale interna della rete, un segnale rilevabile anche se l'input appare visivamente o semanticamente simile a quello originale.
Trasparenza e Auditabilità: NeuroTrace fornisce non solo un output binario (benigno/malevolo), ma un artefatto persistente (il grafo IPG) che può essere archiviato, analizzato post-hoc e utilizzato per il debug forense dei sistemi di ML.
Limiti e Costi: L'estrazione degli IPG comporta un overhead computazionale e di storage (da 0.2 a 6 MB per grafo e tempi di estrazione da 4 a 25 secondi su GPU). Attualmente, il framework è più adatto per scenari di alta sicurezza, audit offline, analisi forense e incident response, piuttosto che per il rilevamento in tempo reale a bassa latenza su modelli molto grandi.
Fondazione per la Ricerca: Rilasciando codice, dataset e protocolli, NeuroTrace stabilisce una base solida per studi sistematici sul comportamento delle DNN durante l'inferenza, aprendo la strada a sistemi di machine learning più trasparenti e verificabili.

In sintesi, NeuroTrace dimostra che la provenienza dell'inferenza è un segnale potente e trasferibile per il rilevamento di attacchi avversariali, offrendo una soluzione che va oltre i limiti delle analisi basate su singoli strati.