Topology-Constrained Attention Networks: A Topology-Derived Robustness Margin for High-Frequency Cyber-Physical Systems

Sulla base del manoscritto fornito, ecco un riepilogo tecnico dettagliato del lavoro.

Problematica

I Sistemi Ciber-Fisici (CPS) ad alta frequenza, come quelli utilizzati nella guerra elettronica (DRFM radar jamming) e nella percezione dei veicoli autonomi (LiDAR spoofing), si affidano a modelli di sequenza come i Transformer e i Modelli di Spazio di Stato (SSM) per la classificazione di serie temporali. Sebbene questi modelli raggiungano elevate prestazioni predittive, i loro confini decisionali sono appresi principalmente da pattern di ampiezza statistica. Ciò li rende vulnerabili ad attacchi avversari basati sul gradiente, che possono iniettare dati sensoriali sintetici per forzare una classificazione errata pur rimanendo all'interno della distribuzione dei dati autentici.

Le difese esistenti basate sull'Analisi dei Dati Topologici (TDA) si sono storicamente affidate al costo computazionale dell'omologia persistente per deterre gli avversari. Tuttavia, con l'avvento di strati topologici differenziabili, questa ipotesi non è più valida, poiché gli attaccanti white-box possono ora ottimizzare attraverso le rappresentazioni topologiche. Di conseguenza, vi è la necessità di una difesa che offra un margine di robustezza quantitativo — specificamente, un limite inferiore al budget di perturbazione che un avversario adattivo e consapevole della topologia debba spendere per falsificare simultaneamente i segnali statistici e topologici.

Metodologia

Il documento propone le Topology-Constrained Attention Networks (TCAN), un'architettura progettata per integrare i segnali topologici direttamente nel meccanismo di attenzione dei modelli di sequenza.

1. Estrazione delle Caratteristiche Topologiche:

• Embedding nello Spazio delle Fasi: Le finestre di serie temporali univariate dei CPS vengono ricostruite in nuvole di punti nello spazio delle fasi utilizzando l'embedding a ritardo temporale di Takens.
• Omologia Persistente: Una filtrazione di Vietoris–Rips viene applicata a queste nuvole di punti per calcolare diagrammi di persistenza, catturando strutture di connettività multi-scala (ad es., componenti connesse, cicli).
• Rappresentazione Differenziabile: I diagrammi di persistenza vengono vettorizzati in landscape di persistenza ($\lambda$), che risiedono in uno spazio vettoriale e sono 1-Lipschitz rispetto alla distanza di bottleneck, consentendo l'ottimizzazione basata sul gradiente.

2. Attenzione Guidata dalla Topologia (Topology-Gated Attention):
TCAN modifica il meccanico standard di auto-attenzione dot-product scalata introducendo un gate topologico moltiplicativo:

• Kernel Topologico ($\Pi$): Viene calcolata una matrice di kernel dove ogni voce $\Pi_{i,j}$ rappresenta la similarità tra i landscape di persistenza di due finestre temporali. Questo è calcolato come una funzione esponenziale della distanza $L_2$ tra i landscape, controllata da un parametro di temperatura apprendibile $\tau_{topo}$.
• Meccanismo di Gating: La matrice di similarità query-key standard ($QK^\top$) viene moltiplicata elemento per elemento (prodotto di Hadamard) con $\Pi$ prima dell'operazione di softmax.
  • Se due finestre condividono una struttura topologica coerente (ad es., movimento fisico stabile), $\Pi_{i,j} \to 1$.
  • Se viene rilevata una discontinuità strutturale (ad es., un artefatto di spoofing), $\Pi_{i,j} \to 0$, sopprimendo efficacementamente l'attenzione su quella finestra indipendentemente dalla sua similarità statistica.
• Razionale: L'autore sostiene che il gating moltiplicativo sia superiore alla fusione additiva o alla concatenazione perché può portare i pesi dell'attenzione a zero, impedendo a un elevato punteggio di similarità statistica di sovrastare una discontinuità topologica.

3. Framework Teorico:
Il documento deriva un margine di robustezza derivato dalla topologia basato su due assunzioni esplicite:

• Assunzione 1 (Dominio Sensoriale Limitato): Il dominio di input è compatto (fisicamente limitato dai limiti del sensore), il che è necessario affinché l'auto-attenzione sia Lipschitz continua.
• Assunzione 2 (Classificatore Lipschitz): La mappa composta da landscape di persistenza a logit di classe è $L$-Lipschitz.
• Teorema 1: Sotto queste assunzioni, la norma della perturbazione $\|\delta\|_\infty$ necessaria per invertire una predizione è limitata inferiormente da $\frac{\Delta y}{2L}$, dove $\Delta y$ è il margine di classificazione. Questo limite è condizionato dalla costante di Lipschitz $L$ e dalla stabilità della mappa del landscape.

Contributi Chiave

Il manoscritto delinea esplicitamente tre contributi primari:

1. Architettura TCAN: Un nuovo meccanismo di attenzione in cui un kernel topologico differenziabile, derivato dai landscape di persistenza, modula moltiplicativamente la matrice di similarità query-key.
2. Margine di Robustezza Derivato dalla Topologia: Un limite inferiore teorico sulla perturbazione che un avversario adattivo deve iniettare per cambiare una predizione. L'autore chiarisce che questo è un limite condizionato su una costante di Lipschitz stimabile, piuttosto che una garanzia architettonica non provata.
3. Protocollo Sperimentale Pre-Registrato: Una specifica dettagliata per testare la teoria su DRFM radar jamming e LiDAR spoofing, includendo un modello di minaccia adattiva che ottimizza congiuntamente la perdita di classificazione e la distorsione topologica.

Risultati e Stato Sperimentale

Fondamentalmente, questo manoscritto non riporta esperimenti eseguiti o risultati empirici.

• Il documento presenta il framework matematico, l'architettura e il design sperimentale, ma dichiara esplicitamente che non sono stati ancora eseguiti esperimenti.
• Tutte le rivendicazioni quantitative riguardanti il vantaggio di TCAN rispetto ai baseline (Transformer, Mamba, PersLay) sono attualmente ipotesi da testare.
• La sezione "Risultati" si concentra sulla derivazione teorica del margine di robustezza e sulla specifica delle metriche di valutazione (ad es., perturbazione minima empirica, costante di Lipschitz stimata, costo computazionale) che saranno misurate in studi futuri.

Significatività e Limitazioni

Significatività:
Il documento posiziona TCAN come un passo verso la robustezza "certificata" per i CPS ad alta frequenza, andando oltre le affermazioni qualitative secondo cui la topologia è "difficile da falsificare". Inveve, propone un framework quantitativo in cui il costo di un attacco è esplicitamente limitato dalla stabilità topologica del segnale. Si distingue dal precedente lavoro sulla topologia dell'attenzione (ad es., Zeng et al.) concentrandosi sulla robustezza avversaria piuttosto che sull'accuratezza della previsione e utilizzando il gating moltiplicativo invece dell'aumento di caratteristiche additive.

Limitazioni (come dichiarato dall'autore):

• Costante di Lipschitz non provata: Il limite di robustezza è condizionato dall'Assunzione 2. Il documento non ha ancora derivato un limite superiore analitico per $L$ per TCAN, né ha dimostrato che $L_{TCAN} < L_{vanilla}$.
• Nessuna Validazione Empirica: Il protocollo nella Sezione 4 non è stato eseguito; pertanto, la compattezza del limite e la reale robustezza contro attaccanti adattivi rimangono non verificate.
• Rischi di Novità: L'autore riconosce che la combinazione di omologia persistente e attenzione non è nuova; la novità risiede specificamente nel meccanismo di gating moltiplicativo e nel modello di minaccia avversaria, che devono essere dimostrati empiricamente.
• Costo Computazionale: Il metodo richiede il calcolo dell'omologia persistente per ogni finestra, il che aggiunge un carico computazionale significativo rispetto all'attenzione vanilla. Il documento nota che la fattibilità di questo costo per l'implementazione edge in tempo reale è attualmente sconosciuta.

In sintesi, questo lavoro fornisce una proposta teorica e un blueprint sperimentale per una rete di attenzione vincolata dalla topologia. Argomenta che l'integrazione della stabilità topologica nel meccanismo di attenzione offre una strada promettente per la difesa robusta dei CPS, ma delega esplicitamente la validazione di tali affermazioni a un futuro studio sperimentale completato.