💻 computer science

Belief-Space Quantum-Inspired Reinforcement Learning for Partially Observable Autonomous Cyber Defense in the Internet of Vehicles

Dit artikel stelt Q-BIRD voor, een quantum-geïnspireerd reinforcement learning-framework dat amplitude-gebaseerde belief states gebruikt om de besluitvorming van verdedigers onder partiële observeerbaarheid in het Internet of Vehicles te verbeteren, waarbij het klassieke Bayesiaanse methoden aanzienlijk overtreft in het verminderen van succesvolle aanvallen en cumulatieve schade tegen adaptieve tegenstanders.

Oorspronkelijke auteurs: Anwar Shah, Rohan Farooq, Sajid Anwer, Tallha Akram, Usman Ghous, Sajid Ullah Khan

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anwar Shah, Rohan Farooq, Sajid Anwer, Tallha Akram, Usman Ghous, Sajid Ullah Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een spelletje "Verstoppertje Spelen" in een Slimme Stad

Stel je het Internet of Vehicles (IoV) niet alleen voor als auto's op een weg, maar als een enorm, razendsnel spelletje "Verstoppertje Spelen" in een slimme stad.

De Verdedigers: Dit zijn de beveiligingssystemen in de auto's en verkeersnetwerken. Hun taak is om iedereen veilig te houden.
De Aanvallers: Dit zijn hackers die proberen auto's te laten crashen, gegevens te stelen of het verkeer te blokkeren. Maar ze zijn niet dom; ze zijn adaptief. Als ze een beveiligingsbeambte (de verdediger) de andere kant op zien kijken, sluipen ze er via de andere kant langs. Als ze betrapt worden, veranderen ze hun vermomming.

Het Probleem:
De meeste huidige beveiligingssystemen zijn als een beveiliger die alleen naar een statische foto van een bekende crimineel kijkt. Als de crimineel een nieuwe hoed opzet of anders loopt, herkent de beveiliger hem niet. Bovendien worden deze bemanningsleden vaak overmoedig. Als ze een schaduw zien die lijkt op een crimineel, roepen ze direct "Dief!", zelfs als het maar een wolk is. Wanneer de crimineel daadwerkelijk aan het verstoppen is, kan de beveiliger er te veel vanuit gaan dat het veilig is en de echte dreiging missen. Dit leidt tot paniek (valse alarmen) of het verrast worden (echte aanvallen).

De Oplossing: "Quantum-geïnspireerd" Denken (Q-BIRD)

De auteurs stellen een nieuw systeem voor genaamd Q-BIRD (Quantum Belief-Integrated Reinforcement Defense). Ze gebruiken geen echte kwantumcomputers (die zijn enorm en duur). In plaats daarvan gebruiken ze wiskunde geïnspireerd door kwantumfysica om de beveiligingsbeambte slimmer te maken in het raden wat de hacker doet.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "Superpositie" van Wantrouwen

Op de oude manier (Klassieke Bayesiaanse methode) probeert de beveiligingsbeambte één antwoord te kiezen: "Is de persoon een crimineel? Ja of Nee?"

Als het bewijs wankel is, dwingt de beambte een gok af. Ze kunnen zeggen: "Het is voor 90% een crimineel!" en agressief optreden.
De Fout: Als de crimineel eigenlijk een spelletje speelt, heeft de beambte een slechte gok gedaan op basis van wankel bewijs.

Op de Q-BIRD manier (Quantum-geïnspireerde methode) houdt de beambte alle mogelijkheden tegelijkertijd open.

Denk aan een tollende munt. Terwijl de munt draait, is hij niet "Kop" of "Munt". Hij is een mix van beide.
Het systeem houdt een "superpositie" van gedachten vast: "Misschien testen ze de boel, misschien vallen ze aan, misschien rijden ze gewoon normaal."
Het dwingt geen beslissing af totdat het genoeg solide bewijs heeft. Dit voorkomt dat de beambte paniekerig reageert op een valse schaduw.

2. De "Amplitude" versus de "Waarschijnlijkheid"

Oude Manier: De beambte werkt met een score bij (Waarschijnlijkheid). Als de score 99% bereikt, grijpt de beambte in. Maar als de hacker de beambte probeert te misleiden met een vals signaal, stort de score in en raakt de beambte in de war of wordt hij overmoedig.
Nieuwe Manier: De beambte werkt met een "golf" bij (Amplitude). Stel je voor dat de onzekerheid een golf in een vijver is. Wanneer een hacker het systeem probeert te misleiden, kunnen de golven elkaar op complexe manieren uitdoven of juist versterken.
De Magie: Deze golf-wiskunde stelt het systeem in staat om te zeggen: "Ik weet het nog niet zeker, en dat is oké," zonder een overhaaste beslissing te nemen. Het houdt de onzekerheid langer vast, wachtend tot de hacker een fout maakt.

3. Leren van Fouten (Reinforcement Learning)

Het systeem gebruikt een methode genaamd PPO (Proximal Policy Optimization). Zie dit als een personage in een videogame dat leert spelen.

Het personage probeert verschillende zetten: "Alarmeer de politie," "Vertraag het verkeer," of "Isoleer het verdachte voertuig."
Als de zet een aanval stopt, krijgt het personage een "punt". Als ze het verkeer onnodig vertragen, verliezen ze een punt.
Over 600 trainingssessies (gesimuleerde spellen) leert het systeem de perfecte balans tussen veiligheid bieden en niet irritant zijn voor de bestuurders.

Wat gebeurde er in de experimenten?

De onderzoekers bouwden een computersimulatie waarin een slimme hacker probeerde een netwerk van auto's aan te vallen. Ze testten hun nieuwe "Quantum" beambte tegenover een "Ouderwetse" beambte.

De Resultaten:

Minder Schade: De Quantum-beambte veroorzaakte 60% minder schade in totaal.
Stabiliteit: Dit is de grootste overwinning. De prestaties van de ouderwetse beambte waren alle kanten op (soms geweldig, soms verschrikkelijk). De Quantum-beambte was 10 keer stabieler. Er waren geen wilde schommelingen in de prestaties.
Nul Succes voor Hackers: In de testruns stopte de Quantum-beambte 100% van de aanvallen, terwijl de ouderwetse beambte er ongeveer 25% doorheen liet glippen.
Waarom? De ouderwetse beambte werd "overmoedig" wanneer de hacker het systeem probeerde te misleiden. De Quantum-beambte bleef kalm, hield de opties open en wachtte tot de waarheid aan het licht kwam.

De "Black Box" Controle (Verklaarbaarheid)

De auteurs vertrouwden niet alleen op de resultaten; ze keken in het "brein" van de AI met behulp van tools zoals SHAP en LIME.

Ze ontdekten dat de Quantum-beambte daadwerkelijk luisterde naar zijn "onzekerheids"-signalen.
Wanneer de hacker slimme trucjes uithaalde (evasie), bleef de interne "golf" van de Quantum-beambte wijd verspreid, wat het systeem vertelde: "Nog niet handelen, ik ben dit nog aan het uitzoeken."
De ouderwetse beambte daarentegen had zijn denken al samengeperst tot één enkele foute gok, wat leidde tot slechte beslissingen.

Samenvatting

Het artikel beweert dat door wiskunde te gebruiken die geïnspireerd is door kwantumfysica (het onzekerheid "levend" houden zoals een tollende munt in plaats van een gok af te dwingen), het nieuwe beveiligingssysteem veel beter is in het verdedigen van slimme auto's tegen hackers die proberen het systeem te misleiden. Het is slimmer, kalmer en consistenter dan de huidige methoden, en dat allemaal zonder dat er speciale kwantumhardware nodig is — alleen betere wiskunde die op gewone computers draait.

Technische Samenvatting: Belief-Space Quantum-Inspired Reinforcement Learning voor IoV-beveiliging

Probleemformulering
Het artikel behandelt de beveiligingsuitdagingen die inherent zijn aan het Internet of Vehicles (IoV), waarbij de dynamische en vijandige aard van de omgeving traditionele statische intrusiedetectiesystemen (IDS) ineffectief maakt. Bestaande benaderingen vertrouwen op offline datasets en vaste classificaties, wat tekortschiet in het rekening houden met sequentiële besluitvorming, aanpassing door aanvallers en de gedeeltelijke observeerbaarheid van real-world implementaties. Specifiek identificeren de auteurs een kritieke beperking in huidige Reinforcement Learning (RL) defensies: zij vertrouwen op klassieke Bayesiaanse belief-modellen om verborgen intenties van aanvallers te volgen. Onder gedeeltelijke observeerbaarheid, met name wanneer aanvallers gebruikmaken van probing- of evasie-strategieën, hebben deze klassieke modellen de neiging om te "collapsen" naar overtuigende schattingen. Deze collaps corrumpeert de beleidsinput, wat leidt tot grillige, hoog-variabele defensieve acties op precies de momenten dat betrouwbare redenering het meest nodig is.

Methodologie: Q-BIRD
Om deze beperkingen te overwinnen, stellen de auteurs Quantum Belief-Integrated Reinforcement Defense (Q-BIRD) voor. Het framework modelleert IoV-beveiliging als een sequentiële interactie tussen aanvaller en verdediger onder gedeeltelijke observeerbaarheid, geformuleerd als een Partially Observable Markov Decision Process (POMDP).

Quantum-geïnspireerde Belief-representatie: In tegenstelling tot klassieke benaderingen die een waarschijnlijkheidsvector bijhouden over hypothesen van de intentie van de aanvaller, maakt Q-BIRD gebruik van een amplitude-gebaseerde belief-toestand ( $\psi_t \in \mathbb{C}^H$ ). De verdediger houdt een toestandsvector van complexe getallen bij, waarbij elke invoer overeenkomt met een mogelijke intentie van de aanvaller (bijv. benign, probing, attack, evasion).
- Evolutie: De belief-toestand evolueert via een lineaire transformatiematrix ( $U_t$ ) in de amplituderuimte, in plaats van via directe waarschijnlijkheidsupdates.
- Extractie van waarschijnlijkheid: Waarschijnlijkheden worden pas afgeleid wanneer dat nodig is via de Born-regel ( $b_t(\theta_i) = |\psi_t(i)|^2$ ).
- Mechanisme: Deze aanpak maakt het mogelijk dat onzekerheid voortduurt in een "superpositie" van hypothesen onder ambigue of misleidende observaties. Dit voorkomt de voortijdige collaps van de belief die optreedt bij klassieke Bayesiaanse updates, waardoor een niet-Bayesiaanse belief-evolutie mogelijk wordt die robuuster is tegen ruis en adversariële manipulatie.
Integratie met RL: De quantum belief-toestand wordt geïntegreerd in een Proximal Policy Optimization (PPO) verdediger. Het beleid ( $\pi_\phi$ ) neemt zowel de observeerbare systeemtoestand ( $s_t$ ) als de belief-toestand ( $b_t$ of $\psi_t$ ) als input. De verdediger selecteert kostenbewuste mitigatieacties (waarschuwen, throttelen, isoleren) om een beloningsfunctie te minimaliseren die gedefinieerd wordt als de negatieve som van cumulatieve schade en operationele kosten.
Bedreigingsmodel: De omgeving kenmerkt zich door een adaptieve aanvaller met een verborgen intentie-toestand die evolueert op basis van de acties van de verdediger. De aanvaller schakelt dynamisch tussen probing, actieve aanvallen en evasie-strategieën om detectie te ontwijken, wat een niet-stationaire omgeving creëert.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

Formulering: IoV-beveiliging wordt geformuleerd als een sequentieel besluitvormingsproces met een adaptieve aanvaller die opereert onder een verborgen intentie-toestand.
Quantum-geïnspireerde Belief: Een nieuwe amplitude-gebaseerde belief-representatie wordt voorgesteld die de verdeelde onzekerheid over intentie-hypothesen behoudt onder ambigue observaties, in contrast met de collaps-gevoelige aard van klassieke Bayesiaanse beliefs.
Beleidsintegratie: De quantum belief-toestand wordt geïntegreerd in een PPO-gebaseerde verdediger, waardoor kostenbewuste mitigatieacties mogelijk zijn die geconditioneerd zijn op zowel observeerbare toestanden als belief-onzekerheid.
Validatie: Het framework wordt gevalideerd via gecontroleerde simulaties en post-hoc verklaarbaarheidsanalyses (SHAP, LIME, Grad-CAM), waarmee wordt bevestigd dat de quantum belief-toestand dient als het primaire beslissingssignaal tijdens strategie-transities van de aanvaller.

Experimentele Resultaten
De aanpak werd geëvalueerd in een gesimuleerde IoV-omgeving met 600 trainingsepisoden en 80 testepisoden, met een adaptief aanvallermodel. De resultaten werden vergeleken met baselines, waaronder PPO met klassieke Bayesiaanse belief, Q-Learning en random policies.

Reductie van schade: De voorgestelde methode bereikte een reductie van 60,4% in cumulatieve gemiddelde schade vergeleken met PPO met klassieke Bayesiaanse belief (27,495 vs. 69,348).
Stabiliteit: Cruciaal is dat de methode een reductie van 90,2% in schadevariantie demonstreerde (3,636 vs. 37,054), wat een 10,2-voudige verbetering in stabiliteit betekent. Dit geeft aan dat het gedrag van de verdediger aanzienlijk voorspelbaarder en betrouwbaarder is.
Attack Success Rate (ASR): De quantum PPO behaalde een ASR van 0,000 in testepisoden, een verbetering van 50% ten opzien van de klassieke PPO-baseline (0,247).
Overlevingskans: De overlevingskans nam toe met 46,4% (1,000 vs. 0,683).
Ablatie-bevindingen: De studie merkte op dat een random policy de klassieke belief PPO in termen van gemiddelde schade zelfs versloeg. Dit suggereert dat het klassieke belief-model het beleid actief schaadt door valse, overtuigende staatgegevens te verstrekken tijdens evasie, terwijl de quantum belief de onzekerheid behoudt, waardoor het beleid consistent kan blijven.

Betekenis en Claims
Het artikel beweert dat de primaire bron van prestatiewinst de quantum-geïnspireerde belief-representatie is, en niet het onderliggende RL-algoritme (PPO), zoals bevestigd door de ablation studies waarbij alleen het belief-update mechanisme verschilde. De auteurs stellen dat niet-klassieke onzekerheidsrepresentaties superieure beveiliging bieden voor IoV-netwerken zonder dat er quantumhardware vereist is; het "quantum"-aspect is een wiskundig kader voor het representeren van onzekerheid op klassieke hardware.

De betekenis ligt in het aanpakken van de specifieke faalmodus van klassieke belief-modellen in adversariële settings: de "collaps" van onzekerheid onder misleidende observaties. Door onzekerheid te behouden in de amplituderuimte, maakt Q-BIRD robuuste besluitvorming mogelijk tijdens strategie-transities, wat een stabielere en effectievere verdediging biedt tegen adaptieve aanvallers in veiligheidskritische IoV-omgevingen. Het werk suggereert dat toekomstige autonome defensiesystemen verder moeten gaan dan statische detectie en klassieke probabilistische modellering om de ambiguïteit en aanpasbaarheid van moderne cyberdreigingen aan te kunnen.