On the Sharp Input-Output Analysis of Nonlinear Systems under Adversarial Attacks

Technische Samenvatting: Scherpe Input-Output Analyse van Nietlineaire Systemen onder Adversariële Aanvallen

Probleemformulering
Dit artikel behandelt de uitdaging van het identificeren van de input-output mapping van algemene nietlineaire dynamische systemen in aanwezigheid van adversariële verstoringen. Het systeem wordt gemodelleerd als een gedeeltelijk observeerbaar nietlineair dynamisch systeem:
$$x_{t+1} = f(x_t, u_t, w_t), \quad y_t = g(x_t, u_t)$$
waarbij $x_t$ de toestand is, $u_t$ de besturingsinput, $w_t$ een adversariële verstoring, en $y_t$ de observatie. In tegenstelling tot de bestaande literatuur, die voornamelijk uitgaat van Gaussische inputs, onafhankelijke en identiek verdeelde (i.i.d.) verstoringen of ruis met een gemiddelde van nul, besch Considereert dit werk een aanzienlijk breder kader:

1. Niet-Gaussische, Niet-Nulgemiddelde Inputs: Besturingsinputs zijn niet beperkt tot Gaussische distributies of een gemiddelde van nul.
2. Gecorreleerde, Niet-Nulgemiddelde Adversariële Verstoringen: De verstoring $w_t$ kan gecorreleerd zijn met de volledige informatiegeschiedenis van het systeem en een gemiddelde van nul hebben.
3. Gedeeltelijke Observeerbaarheid: De leerder observeert alleen $y_t$, niet de volledige toestand $x_t$.

Het primaire doel is om de matrix $G^*$ te leren die de mapping regelt van een afgekapte inputgeschiedenis $(u_t, \dots, u_{t-\tau})$ naar de observatie $y_t$, ondanks de aanwezigheid van deze gegeneraliseerde verstoringen.

Methodologie
De auteurs stellen een raamwerk voor dat het nietlineaire systeemidentificatieprobleem herformuleert tot een lineair geparametriseerd schattingsprobleem met behulp van een eindige geheugenbenadering.

1. Lineaire Parametrisatie via Basisfuncties: Door gebruik te maken van de Stelling van Stone-Weierstrass en universele benaderingseigenschappen, wordt het nietlineaire input-output gedrag benaderd als een lineaire combinatie van basisfuncties $\Phi(\cdot)$ toegepast op de inputgeschiedenis:
   $$y_t \approx G^* \cdot \Phi(u_t, \dots, u_{t-\tau}) + \text{residuen}$$
   De residuen bevatten benaderingsfouten, effecten van "verre" verleden toestanden en het cumulatieve effect van verstoringen over het geheugenvenster.

2. Probabilistisch Adversarieel Aanvalmodel: Het artikel introduceert een specifieke beperking op de adversariër. Hoewel de adversariër $w_t$ kan ontwerpen met behulp van de volledige informatiegeschiedenis $\sigma\{x_0, \dots, x_t\}$ wanneer een aanval plaatsvindt, worden aanvallen aangenomen ijl (sparse) te zijn. Specifiek, op elk tijdstip $t$ vindt een aanval plaats met waarschijnlijkheid $p$, waarbij $p < \frac{1}{2\tau}$. Dit impliceert dat er met een hoge waarschijnlijkheid een sequentie van $\tau$ opeenvolgende tijdstappen zonder aanvallen plaatsvindt, waardoor de "schone" input-output dynamica geobserveerd kan worden.

3. $\ell_2$-Norm Schatter: De auteurs stellen voor om $G^*$ te schatten met behulp van een $\ell_2$-norm minimalisatie (kleinste kwadraten) schatter:
   $$\hat{G}_T = \arg \min_{G} \sum_{t=\tau}^{T-1} \| y_t - G \cdot \Phi(U^{(\tau)}_t) \|_2^2$$
   De analyse toont aan dat, ondanks de aanwezigheid van grote, niet-nulgemiddelde adversariële aanvallen, de $\ell_2$-norm schatter succesvol $G^*$ kan herstellen, mits de waarschijnlijkheid van de aanval voldoet aan de ijle voorwaarde.

Belangrijkste Bijdragen en Resultaten

• Gegeneraliseerde Aannames: Dit werk breidt de systeemidentificatietheorie uit voorbij lineaire systemen en standaard ruis-aannames (Gaussisch, gemiddelde nul, i.i.d.) naar Lipschitz-continue nietlineaire systemen met niet-Gaussische, niet-nulgemiddelde inputs en gecorreleerde adversariële verstoringen.
• Optimale Schattingsfout-grens: Het artikel bewijst dat de schattingsfout van de $\ell_2$-norm schatter begrensd wordt door $O(\rho^\tau)$, waarbij $\rho \in (0,1)$ de contractiefactor van de systeemdynamica $f$ is. Deze grens neemt exponentieel af met de lengte van de inputgeheugen $\tau$.
• Passende Ondergrens: Om de scherpte van het resultaat vast te stellen, construeren de auteurs een probleeminstantie waar elke schatter een fout van $\Omega(\rho^\tau)$ zal lijden. Dit bewijst dat de afgeleide bovengrens optimaal is en niet verbeterd kan worden in het slechtste geval onder het gegeven adversariële model.
• Superioriteit van de $\ell_2$-Norm: De analyse laat zien dat de $\ell_2$-norm schatter een nauwere foutgrens bereikt vergeleken met $\ell_1$-norm of $\ell_\infty$-norm schatters in deze specifieke setting. Andere normen introduceren extra factoren die afhankelijk zijn van de observatiedimensie $r$, terwijl de $\ell_2$-norm grens onafhankelijk is van $r$.
• Experimentele Validatie: Numerieke experimenten op synthetische nietlineaire systemen en een echt wereld model van de swing-dynamica van een elektriciteitsnet bevestigen de theoretische bevindingen. De resultaten tonen aan dat de $\ell_2$-norm schatter convergeert naar de ware mapping, terwijl de standaard kleinste kwadraten methode (die uitgaat van ruis met een gemiddelde van nul) faalt onder adversariële condities.

Betekenis en Claims
Het artikel claimt de eerste scherpe input-output analyse te bieden voor generieke nietlineaire en gedeeltelijk observeerbare systemen onder aanzienlijk gegeneraliseerde aannames met betrekking tot inputs en verstoringen. De primaire betekenis ligt in het vaststellen van optimale schattingsfout-grenzen voor systeemidentificatie onder probabilistische adversariële aanvallen.

De auteurs benadrukken dat hun werk theoretische garanties biedt voor het verbeteren van de veiligheid en veerkracht van het leren van complexe nietlineaire systemen (zoals elektriciteitsnetten en autonome voertuigen) in realistische adversariële omgevingen. Door de klasse van problemen te karakteriseren waar nauwkeurige identificatie mogelijk is (specifiek wanneer de waarschijnlijkheid van een aanval ijl is ten opzichte van de geheugengrootte), overbrugt het artikel de kloof tussen theoretische systeemidentificatie en praktische beveiligingseisen in cyber-fysieke systemen. Het werk blijft bescheiden wat betreft toekomstige richtingen, waarbij wordt opgemerkt dat het uitbreiden van deze resultaten naar niet-parametrische benaderingen die betrokken zijn bij oneindig-dimensionale optimalisatie een openstaand vraagstuk blijft.