Topology-Constrained Attention Networks: A Topology-Derived Robustness Margin for High-Frequency Cyber-Physical Systems

Op basis van het manuscript volgt hier een gedetailleerde technische samenvatting van het werk.

Probleemstelling

Hoogfrequente Cyber-Fysieke Systemen (CPS), zoals die gebruikt worden in elektronische oorlogsvoering (DRFM radar jamming) en autonome voertuigperceptie (LiDAR spoofing), vertrouwen op sequentiemodellen zoals Transformers en State Space Models (SSM's) voor tijdreeksclassificatie. Hoewel deze modellen een sterke voorspellende prestatie leveren, worden hun beslissingsgrenzen primair geleerd van statistische amplitude-patronen. Dit maakt ze kwetsbaar voor gradiëntgebaseerde adversariële aanvallen die synthetische sensordata kunnen injecteren om misclassificatie te forceren, terwijl de data binnen de authentieke distributie blijven.

Bestaande verdedigingen gebaseerd op Topologische Data Analyse (TDA) hebben historisch vertrouwd op de computationele kosten van persistente homologie om aanvallers af te schrikken. Echter, met de komst van differentiabele topologische lagen, houdt deze aanname geen stand, aangezien white-box aanvallers nu kunnen optimaliseren via topologische representaties. Bijgevolg is er behoefte aan een verdediging die een kwantitatieve robuustheidsmarge biedt—specifiek, een ondergrens voor het perturbatiebudget dat een adaptieve, topologie-bewuste aanvaller moet opofferen om zowel de statistische als de topologische signalen simultaan te spoofen.

Methodologie

Het artikel stelt Topology-Constrained Attention Networks (TCAN) voor, een architectuur die is ontworpen om topologische aanwijzingen direct te integreren in het aandachtsmecanisme van sequentiemodellen.

1. Topologische Kenmerkextractie:

• Faseruimte-inbedding: Univariante CPS-tijdreeksvensters worden gereconstrueerd in faseruimte-puntenwolken met behulp van de Takens' tijdvertraging-inbedding.
• Persistente Homologie: Een Vietoris–Rips filtratie wordt toegepast op deze puntenwolken om persistente diagrammen te berekenen, die multi-schaal connectiviteitsstructuren (bijv. verbonden componenten, lussen) vastleggen.
• Differentiabele Representatie: De persistente diagrammen worden gevectoriseerd naar persistente landschappen ($\lambda$), die in een vectorruimte liggen en 1-Lipschitz zijn met betrekking tot de bottleneck-afstand, wat gradiëntgebaseerde optimalisatie mogelijk maakt.

2. Topologie-gestuurde Aandacht (Topology-Gated Attention):
TCAN wijzigt het standaard geschaalde dot-product zelfaandachtsmecanisme door een multiplicatieve topologische poort te introduceren:

• Topologisch Kernel ($\Pi$): Een kernelmatrix wordt berekend waarbij elke invoer $\Pi_{i,j}$ de gelijkenis tussen de persistente landschappen van twee tijdvensters vertegenwoordigt. Dit wordt berekend als een exponentiële functie van de $L_2$-afstand tussen landschappen, gecontroleerd door een leerbare temperatuurparameter $\tau_{topo}$.
• Poortmechanisme: De standaard query-key gelijkenismatrix ($QK^\top$) wordt elementgewijs vermenigvuldigd (Hadamard-product) met $\Pi$ voordat de softmax-operatie plaatsvindt.
  • Als twee vensters een consistente topologische structuur delen (bijv. stabiele fysieke beweging), dan $\Pi_{i,j} \to 1$.
  • Als een structurele discontinuïteit wordt gedetecteerd (bijv. een spoofing-artefact), dan $\Pi_{i,j} \to 0$, waardoor de aandacht naar dat venster effectief wordt onderdrukt, ongeacht de statistische gelijkenis.
• Ratio: De auteur beargumenteert dat multiplicatieve gating superieur is aan additieve fusie of concatenatie, omdat het de aandachtsgewichten naar nul kan drijven, waardoor voorkomt dat een grote statistische gelijkenisscore een topologische discontinuïteit overstemt.

3. Theoretisch Kader:
Het artikel leidt een topologie-afgeleide robuheidsmarge af op basis van twee expliciete aannames:

• Aanname 1 (Begrensde Sensordomein): Het invoerdomein is compact (fysiek begrensd door sensorgrenzen), wat noodzakelijk is om zelfaandacht Lipschitz-continu te laten zijn.
• Aanname 2 (Lipschitz Classificator): De samengestelde afbeelding van persistente landschappen naar klasse-logits is $L$-Lipschitz.
• Stelling 1: Onder deze aannames wordt de perturbatie-norm $\|\delta\|_\infty$ die nodig is om een voorspelling te veranderen, ondergrenst door $\frac{\Delta y}{2L}$, waarbij $\Delta y$ de classificatiemarge is. Deze grens is voorwaardelijk op de Lipschitz-constante $L$ en de stabiliteit van de landschap-afbeelding.

Belangrijkste Bijdragen

Het manuscript schetst expliciet drie primaire bijdragen:

1. TCAN Architectuur: Een nieuw aandachtsmecanisme waarbij een differentiële topologische kernel, afgeleid van persistente landschappen, de query-key gelijkenismatrix multiplicatief reguleert.
2. Topologie-afgeleide Robuheidsmarge: Een theoretische ondergrens voor de perturbatie die een adaptieve aanvaller moet injecteren om een voorspelling te veranderen. De auteur verduidelijkt dat dit een voorwaardelijke grens is, afhankelijk van een schatbare Lipschitz-constante, in plaats van een onbewezen architecturale garantie.
3. Pre-geregistreerd Experimenteel Protocol: Een gedetailleerde specificatie voor het testen van de theorie op DRFM radar jamming en LiDAR spoofing, inclusief een adaptief dreigingsmodel dat classificatieverlies en topologische distortie gezamenlijk optimaliseert.

Resultaten en Experimentele Status

Cruciaal is dat dit manuscript geen uitgevoerde experimenten of empirische resultaten rapporteert.

• Het artikel presenteert het wiskundige kader, de architectuur en het experimentele ontwerp, maar stelt expliciet dat er nog geen experimenten zijn uitgevoerd.
• Alle kwantitatieve claims met betrekking tot het voordeel van TCAN ten opzichte van baselines (Transformers, Mamba, PersLay) zijn momenteel hypothesen die getest moeten worden.
• De sectie "Resultaten" richt zich op de theoretische afleiding van de robuheidsmarge en de specificatie van de evaluatiemetrieken (bijv. empirische minimale perturbatie, geschatte Lipschitz-constante, computationele kosten) die in toekomstig werk gemeten zullen worden.

Betekenis en Beperkingen

Betekenis:
Het artikel positioneert TCAN als een stap naar "gecertificeerde" robuustheid voor hoogfrequente CPS door verder te gaan dan kwalitatieve claims dat topologie "moeilijk te vervalsen" is. In plaats daarvan stelt het een kwantitatief kader voor waarbij de kosten van een aanval expliciet worden begrensd door de topologische stabiliteit van het signaal. Het onderscheidt zich van eerder topologisch aandachtswerk (bijv. Zeng et al.) door zich te richten op adversariële robuustheid in plaats van voorspellende nauwkeurigheid en door multiplicatieve gating te gebruiken in plaats van additieve kenmerkaugmentatie.

Beperkingen (zoals vermeld door de auteur):

• Onbewezen Lipschitz-constante: De robuotheidsgrens is voorwaardelijk op Aanname 2. Het artikel heeft nog geen analytische bovengrens voor $L$ voor TCAN afgeleid, noch heeft het bewezen dat $L_{TCAN} < L_{vanilla}$.
• Geen Empirische Validatie: Het protocol in Sectie 4 is niet uitgevoerd; daarom blijven de nauwkeurigheid van de grens en de werkelijke robuustheid tegen adaptieve aanvallers ongeverifieerd.
• Nieuwigheidsrisico's: De auteur erkent dat de combinatie van persistente homologie en aandacht niet nieuw is; de nieuwheid ligt specifelijk in het multiplicatieve gatingmechanisme en het adversariële dreigingsmodel, die empirisch aangetoond moeten worden.
• Computationele Kosten: De methode vereist het berekenen van persistente homologie voor elk venster, wat aanzienlijke computationele overhead toevoegt vergeleken met vanilla aandacht. Het artikel merkt op dat de haalbaarheid van deze kosten voor real-time edge-implementatie momenteel onbekend is.

Samenvattend biedt dit werk een theoretisch voorstel en een experimenteel blauwdruk voor een topologie-beperkt aandachtnetwerk. Het beargumenteert dat de integratie van topologische stabiliteit in het aandachtsmecanisme een veelbelovende weg biedt voor robuuste CPS-verdediging, maar het stelt de validatie van deze claims expliciet uit aan een toekomstige, voltooide experimentele studie.