Differential fuzz testing to detect tampering in sensor systems and its application to arms control authentication

Dit artikel introduceert fysiek differentieel fuzzing als een holistische challenge-response-methode om hardware- en softwaremanipulatie in cyber-fysische systemen, zoals die voor nucleaire wapenverificatie, te detecteren door de output van een systeem te vergelijken met een baseline bij het invoeren van willekeurige parameters.

De kern

Stel je voor dat twee landen een overeenkomst hebben gesloten om hun kernwapens te verminderen. Ze beloven elkaar: "We houden ons aan de regels en hebben geen geheime voorraadjes meer." Maar hoe kun je dat controleren zonder dat het ene land het andere vertelt waar de wapens zitten of hoe ze er precies uitzien? Dat is een enorme puzzel.

De wetenschappers in dit artikel hebben een slimme oplossing bedacht om te controleren of de meetapparatuur die wordt gebruikt voor deze controle, niet is geknoeid. Ze noemen dit "Fuzz Testing" (of in het Nederlands: "Warrig Testen").

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Valse Vriend"

Stel je voor dat je een weegschaal koopt om te controleren of je buren eerlijk zijn met hun gewicht. Je wilt weten of de weegschaal echt werkt.

• Huidige methode: Je kijkt naar de code van de weegschaal of telt de schroeven. Maar wat als de buren de software hebben aangepast om alleen op dinsdagmiddag tussen 14:00 en 15:00 een extra 10 kilo toe te voegen aan het gewicht? Als je de code niet op dat specifieke moment bekijkt, zie je het niet. Of wat als ze een verborgen knop hebben die de weegschaal manipuleert?
• Het risico: In de wereld van kernwapens kan een land (de "huisbaas") de meetapparatuur van de inspecteurs manipuleren. Ze kunnen de software zo aanpassen dat een nep-wapen eruitziet als een echt wapen, of dat een echt wapen eruitziet als een nep-wapen, zodat ze stiekem wapens kunnen verstoppen.

2. De Oplossing: De "Warrige Test" (Fuzz Testing)

De auteurs stellen voor om de meetapparatuur niet op één manier te testen, maar op duizenden willekeurige manieren.

De Analogie van de Muzikale Stoel:
Stel je voor dat je een piano hebt die je wilt testen.

• Normale test: Je speelt een paar bekende liedjes. Als ze goed klinken, denk je: "Oké, de piano werkt."
• De "Warrige" test: Je laat een robot met een hamer op willekeurige toetsen slaan, op willekeurige snelheden, met willekeurige kracht, en op willekeurige tijdstippen. Je luistert heel goed naar het geluid dat eruit komt.
  • Je maakt een opname van dit geluid (de "vingerafdruk" of basislijn).
  • Later, als je twijfelt of de piano nog eerlijk is, laat je de robot exact dezelfde willekeurige hamerslagen opnieuw uitvoeren.
  • Het resultaat: Als de piano nog steeds dezelfde is, klinkt het geluid identiek (binnen de natuurlijke variatie van een piano). Maar als iemand in de tussentijd de piano heeft geknoeid (bijvoorbeeld een snaar heeft vervangen of een toets heeft geblokkeerd), klinkt het geluid anders. Dan slaat het alarm.

3. Hoe werkt dit bij kernwapens?

In dit artikel testen ze een stralingsdetector (een apparaat dat gammastraling meet).

1. De Basislijn: De inspecteur laat het apparaat duizenden metingen doen met willekeurige instellingen (bijvoorbeeld: "zet de spanning op 1000V", "verander de tijd", "verander de gevoeligheid"). Ze slaan de resultaten op. Dit is de "eerlijke vingerafdruk".
2. De Knoop: Het apparaat gaat naar het land dat gecontroleerd moet worden. Daar kan het apparaat worden aangepakt (geknoeid).
3. De Terugkeer: Het apparaat gaat terug naar de inspecteur.
4. De Test: De inspecteur laat het apparaat exact dezelfde duizenden willekeurige metingen opnieuw doen.
5. De Vergelijking: Een computer vergelijkt de nieuwe resultaten met de oude opname.
   • Als de resultaten overeenkomen: Alles is in orde.
   • Als de resultaten afwijken: Iemand heeft geknoeid!

4. Waarom is dit zo slim?

De truc zit hem in de willekeurigheid en de tijd.

• De "Tijdbom": Stel je voor dat een hacker een virus in de software stopt dat alleen werkt op vrijdagmiddag tussen 14:00 en 15:00. Als de inspecteur alleen op maandag kijkt, ziet hij niets. Maar omdat de inspecteur ook de "tijd" als een willekeurige variabele gebruikt in hun test, komen ze per ongeluk op die vrijdagmiddag. Dan ziet de computer: "Hé, op vrijdagmiddag klinkt de piano anders dan op maandag!" De knoeier is betrapt.
• De "Totaal-Telling": Een andere hacker probeert het aantal stralingsteeltjes te veranderen als de straling te hoog of te laag is. Maar omdat de inspecteur ook de instellingen van de detector willekeurig verandert (zoals de spanning), komen ze situaties tegen die de hacker niet had verwacht. De hacker probeert dan de data te vervalsen, maar dat zorgt voor een rare "ruis" in de meting die de computer direct ziet.

5. Het Grote Doel

Dit systeem is niet perfect (niets is), maar het maakt het voor een land dat probeert te bedriegen onmogelijk om te weten welke test er komt. Ze kunnen niet weten welke willekeurige instelling de inspecteur als volgende gaat kiezen. Ze kunnen de software niet voor elke mogelijke situatie aanpassen zonder dat ze betrapt worden.

Samenvattend:
Het is alsof je een slot op je deur hebt, maar in plaats van een sleutel te gebruiken, gooi je elke dag een andere, willekeurige steen tegen de deur. Als de deur openbreekt op een dag dat je een steen gooit die je normaal nooit zou gebruiken, weet je dat er iemand aan de deur heeft geknoeid. Het maakt het voor de boef onmogelijk om te weten wat je gaat doen, en dus onmogelijk om zich perfect te verstoppen.

Dit artikel laat zien dat deze methode werkt met echte stralingsdetectoren en een grote stap kan zijn voor veilige controle van kernwapens in de toekomst.

Technische samenvatting

Probleemstelling

In toekomstige nucleaire wapencontroleverdragen is het cruciaal om de integriteit van de hardware en software van verificatiemetingssystemen te garanderen. Het doel is om te verzekeren dat deze systemen functioneren zoals bedoeld en niet zijn gemanipuleerd door kwaadwillende actoren (vaak de "host" of het gecontroleerde land).

Bestaande methoden, zoals het hashen van broncode of statische analyse, zijn onvoldoende omdat ze geen tampering kunnen detecteren in:

• Omgevingsvariabelen (environment variables).
• Externe bibliotheken.
• Firmware en hardware van stralingsmeetapparatuur.

Een host heeft vaak de middelen, motivatie en fysieke toegang om een verificatiesysteem te manipuleren zonder dat de inspecteur dit merkt. Het huidige New START-verdrag beperkt authenticatie zich voornamelijk tot functionele tests, wat kwetsbaar is voor geavanceerde aanvallen. Er is behoefte aan een methode die het volledige cyber-fysische systeem (van broncode tot fysieke sensor) kan testen op manipulatie.

Methodologie: Fysiek Differentieel Fuzzing

De auteurs introduceren het concept van fysiek differentieel fuzzing als een "challenge-response"-mechanisme voor tamper-detectie. In tegenstelling tot traditioneel fuzzing (dat software crashes zoekt), wordt hier de output van een fysiek, niet-deterministisch systeem vergeleken.

Het proces verloopt als volgt:

1. Baseline-creatie: De inspecteur voert een reeks metingen uit met een onaangetast systeem. De inputparameters (zoals spanning, versterking, tijd, etc.) worden willekeurig ("gefuzzed") variëren binnen een bepaald bereik. De output (bijv. gammastraalspectra) vormt de referentie- of "baseline"-signatuur.
2. Certificering en Verificatie: Het systeem wordt overgedragen aan de host voor certificering (waar manipulatie kan plaatsvinden) en vervolgens gebruikt voor de daadwerkelijke wapenverificatie.
3. Testfase: De inspecteur herhaalt exact dezelfde reeks willekeurige inputparameters op het systeem.
4. Vergelijking: De nieuwe outputreeks wordt statistisch vergeleken met de baseline. Omdat stralingsdetectie een stochastisch proces is (Poisson-ruis), is een exacte match niet mogelijk. In plaats daarvan wordt een statistische consistentie getoetst.

Statistische Analyse:
Om de ruis te hanteren, gebruiken de auteurs een aangepaste verminderde $\chi^2$-metriek ($\chi^2/\nu$):
$$(\chi^2/\nu)_i \equiv \frac{1}{J} \sum_{j=1}^{J} \frac{(p_{ij} - p'_{ij})^2}{p_{ij} + p'_{ij}}$$
Waarbij $p_{ij}$ en $p'_{ij}$ de bin-aantallen zijn van de spectra. Als de verhouding $\chi^2/\nu \approx 1$, zijn de spectra statistisch consistent. Een waarde die significant afwijkt (bijv. $\gg 1$) wijst op manipulatie.

Aanvalsscenario's (Demonstratie):
De auteurs simuleerden twee soorten aanvallen op een Python-gebaseerd stralingsdetectiesysteem (NaI-detector):

1. Tijdsgebaseerde aanval: De host voegt kwaadaardige code toe die alleen activeert op een specifiek tijdstip (bijv. 14:00–15:00) om meetdata te dupliceren. Dit maskeert het verwijderen van splijtstof tijdens de daadwerkelijke inspectie.
2. Aantal-gebaseerde aanval (Counts-based): De code analyseert de totale tellingen. Als deze afwijken van een verwachte waarde (bijv. door verwijderde splijtstof), worden data-punten gewist of gedupliceerd om de totale tellingen te normaliseren.

Belangrijkste Bijdragen

1. Toepassing van Fuzzing op Cyber-Fysische Systemen: Dit is de eerste toepassing van differentieel fuzzing om manipulatie in een fysiek, niet-deterministisch systeem (stralingsdetector) op te sporen.
2. Holistische Testdekking: De methode test niet alleen de software, maar het volledige systeem: broncode, omgevingsvariabelen, bibliotheken, firmware en hardware. Een simpele hash van een bestand zou bijvoorbeeld een gemanipuleerde omgevingsvariabele missen.
3. Statistische Oracle voor Ruis: Het ontwikkelen van een methode om stochastische outputreeksen (met Poisson-ruis) te vergelijken om tampering te onderscheiden van natuurlijke variatie.

Resultaten

De auteurs voerden demonstraties uit met een natriumjodide (NaI) gammastraalspectrometer en een Cs-137 bron.

• Tijdsgebaseerde aanval: Bij het herhalen van de fuzzing-sequentie werden 38% van de metingen (die binnen het aanvalstijdsvenster vielen) gedetecteerd als gemanipuleerd. De $\chi^2/\nu$-waarden overschreden de drempelwaarde van 2, wat een alarm opleverde. De vals-negatieve rate was 1% en de vals-positieve rate 0%.
• Aantal-gebaseerde aanval: Bij deze aanval werden 70% van de metingen gedetecteerd. De manipulatie leidde tot een significante afwijking in de spectra (bijv. 56% minder tellingen in bepaalde gevallen), wat resulteerde in een $\chi^2/\nu$-waarde ver boven de drempel van 4.
• Conclusie: De methode slaagde erin beide typen aanvallen te detecteren door de afwijkingen in de tijdreeks van de spectra te identificeren, zelfs wanneer de host probeerde de data te "repareren" om de totale tellingen te verbergen.

Betekenis en Toekomstperspectief

De studie toont aan dat fysiek differentieel fuzzing een veelbelovend raamwerk is voor de authenticatie van cyber-fysische systemen in de nucleaire wapencontrole en beveiliging.

• Sterke Punten: Het biedt een robuuste manier om complexe, gemanipuleerde systemen te detecteren die traditionele software-checks omzeilen. Het maakt het voor een host extreem moeilijk om een "logic bomb" te verbergen die alleen onder specifieke omstandigheden activeert, omdat de fuzzing juist die specifieke omstandigheden (tijden, parameters) willekeurig doorzoekt.
• Beperkingen en Uitdagingen:
  • Omgevingsinvloeden: Temperatuurschommelingen kunnen de versterking van de detector beïnvloeden, wat leidt tot schijnbare afwijkingen. Dit vereist zorgvuldige kalibratie of het gebruik van robuustere detectormaterialen (zoals CdZnTe).
  • Replay-aanvallen: Een host zou een "digital twin" kunnen gebruiken om synthetische data te genereren. Dit kan echter worden tegengegaan door parameters te fuzzen die de host niet kan controleren (bijv. de afstand tussen bron en detector).
  • Operationalisatie: Het testen van miljoenen parametercombinaties is tijdrovend. Er moet een balans worden gevonden tussen testdiepte en praktische uitvoerbaarheid binnen verdragen.

Kortom, deze techniek biedt een nieuwe laag van beveiliging die het voor kwaadwillende staten onmogelijk of extreem kostbaar maakt om nucleaire wapenverificatiesystemen te manipuleren zonder ontdekt te worden.