Differential fuzz testing to detect tampering in sensor systems and its application to arms control authentication

Der Artikel stellt das Konzept des physikalischen differentiellen Fuzzings als einen ganzheitlichen Ansatz zur Erkennung von Manipulationen in cyber-physischen Systemen vor und demonstriert dessen Wirksamkeit bei der Authentifizierung von Strahlungsmessgeräten für die nukleare Rüstungskontrolle.

Das Wesentliche

Der unsichtbare Wächter: Wie man Betrug bei Atomwaffen-Checks aufdeckt

Stellen Sie sich vor, zwei Länder wollen einen Vertrag schließen, um ihre Atomwaffenarsenale zu verringern. Damit das funktioniert, muss ein unabhängiger Prüfer (der Inspektor) sicherstellen, dass die Länder auch wirklich die Waffen abmelden, die sie angeblich abmelden. Das Problem: Der Landbesitzer (der "Gastgeber") hat einen starken Anreiz, zu betrügen. Er könnte eine echte Bombe gegen eine Attrappe tauschen oder heimlich Material zurückbehalten.

Bisher gab es nur einfache Methoden, um zu prüfen, ob die Messgeräte des Inspektors intakt sind. Aber was, wenn der Gastgeber die Software des Geräts manipuliert hat, ohne dass man es sieht? Genau hier kommt die Idee dieses Papers ins Spiel: Differenzielles Fuzz-Testing.

Klingt kompliziert? Lassen Sie es uns mit ein paar einfachen Bildern erklären.

1. Das Problem: Der schlaue Betrüger

Stellen Sie sich vor, der Gastgeber hat einen sehr schlauen Computer-Hacker im Team. Dieser Hacker kann die Software des Messgeräts so manipulieren, dass es nur dann lügt, wenn es eine echte Atomwaffe misst. Wenn der Inspektor das Gerät aber nur auf eine harmlose Testquelle (wie ein kleines Strahlungsmuster) prüft, zeigt es korrekte Werte an.

Herkömmliche Sicherheitschecks (wie das Prüfen des Quellcodes) würden hier versagen, weil der Hacker die Software nicht direkt verändert hat, sondern sie nur während des Betriebs manipuliert (z. B. indem er eine Bibliothek im Hintergrund austauscht).

2. Die Lösung: Der "Zufalls-Test" (Fuzzing)

Die Autoren schlagen vor, das Messgerät nicht nur einmal, sondern mit tausenden von zufälligen Einstellungen zu testen.

Die Analogie vom Musikinstrument:
Stellen Sie sich vor, Sie wollen prüfen, ob ein Geigenvirtuose (das Messgerät) wirklich gut spielt oder ob er nur eine Aufnahme abspielt.

• Der alte Weg: Sie bitten ihn, ein bekanntes Lied zu spielen. Wenn er es perfekt spielt, denken Sie, er ist ehrlich. Aber er könnte einfach eine CD abspielen.
• Der neue Weg (Fuzzing): Sie geben ihm einen Zettel mit tausenden zufälligen Anweisungen: "Spiele jetzt eine Note in der Tonhöhe 432, dann 500, dann 433, aber mit dem linken Bein auf dem Pedal und bei 20 Grad Raumtemperatur."
  • Ein ehrlicher Virtuose (ein intaktes System) spielt diese wilden Kombinationen natürlich und konsistent.
  • Ein Betrüger, der nur eine CD abspielt oder eine vorprogrammierte Lüge hat, wird bei diesen wilden, zufälligen Anweisungen ins Stolpern geraten oder die falsche Note spielen.

In der Physik bedeutet das: Der Inspektor gibt dem Messgerät zufällige Werte für Spannung, Zeit, Verstärkung und sogar die Uhrzeit. Er zeichnet auf, wie das Gerät darauf reagiert. Das ist die Referenz-Signatur.

3. Der Trick: Der "Zwilling" (Differenzielles Testen)

Jetzt kommt der Clou. Der Inspektor gibt das Gerät an den Gastgeber zur Überprüfung. Der Gastgeber könnte versuchen, das Gerät zu manipulieren.

Später holt der Inspektor das Gerät zurück. Er führt exakt dieselben zufälligen Tests noch einmal durch.

• Szenario A (Ehrlich): Das Gerät reagiert beim zweiten Mal fast genauso wie beim ersten Mal. Die Daten passen.
• Szenario B (Betrug): Der Gastgeber hat das Gerät manipuliert, damit es bei bestimmten Bedingungen (z. B. wenn es eine echte Waffe misst) lügt. Aber da der Inspektor beim zweiten Test wieder die zufälligen Bedingungen nutzt, trifft er vielleicht genau den Moment, in dem die Manipulation aktiv wird.

Das Gerät gibt nun eine andere Antwort als beim ersten Mal. Die beiden Datensätze stimmen nicht überein. Alarm!

4. Die Herausforderung: Das Rauschen (Poisson-Rauschen)

Hier wird es physikalisch. Atomare Strahlung ist wie ein Regenschauer: Man kann nicht vorhersagen, wann genau ein Regentropfen (ein Strahlungsteilchen) aufkommt. Es ist immer ein bisschen "unruhig" oder "verrauscht".

Wenn man zwei Messungen vergleicht, sind sie nie exakt gleich, selbst wenn nichts manipuliert wurde. Es ist wie zwei Wurfserien mit Würfeln: Man erwartet, dass die Summe ähnlich ist, aber sie ist nie identisch.
Die Autoren haben daher eine spezielle mathematische Formel (eine Art "Statistik-Werkzeug") entwickelt, die erkennt:

• "Ist der Unterschied nur normales Rauschen?" -> Alles okay.
• "Ist der Unterschied zu groß, als dass es Zufall sein könnte?" -> Jemand hat manipuliert!

5. Was haben sie bewiesen?

Die Forscher haben ein echtes Strahlungsmessgerät (ein Natrium-Jodid-Detektor) gebaut und zwei Arten von Betrug simuliert:

1. Zeit-basierter Betrug: Der Hacker programmierte das Gerät so, dass es nur zwischen 14:00 und 15:00 Uhr lügt. Da der Inspektor aber zufällige Uhrzeiten beim Testen nutzte, traf er genau diese Zeit und fing den Betrug auf.
2. Zahl-basierter Betrug: Der Hacker änderte die Messwerte, wenn die Gesamtzahl der Strahlungsteilchen zu niedrig war (um zu verbergen, dass Material fehlt). Da der Inspektor aber auch andere Einstellungen (wie Spannung) zufällig änderte, änderte sich die Gesamtzahl der Teilchen auf eine Weise, die den Hacker "in die Falle" lockte.

Fazit: Warum ist das wichtig?

Diese Methode ist wie ein unsichtbarer Sicherheitsgurt. Sie prüft nicht nur, ob die Software-Dateien auf dem Computer noch die gleichen Namen haben, sondern ob das ganze System (Hardware, Software, Umgebung) sich so verhält, wie es soll.

Es ist ein vielversprechendes Werkzeug für die Zukunft, um sicherzustellen, dass bei Atomwaffen-Verträgen niemand die Wahrheit verdreht, indem er die Messgeräte manipuliert. Es macht Betrug extrem schwierig, weil der Betrüger nie weiß, welche zufällige Frage der Inspektor als Nächstes stellen wird.

Technische Zusammenfassung

1. Problemstellung

Im Kontext zukünftiger nuklearer Rüstungskontrollverträge ist es entscheidend, die Integrität der Hardware- und Softwarekomponenten von Verifizierungsmesssystemen zu gewährleisten. Diese Systeme müssen sicherstellen, dass sie wie vorgesehen funktionieren und nicht von böswilligen Akteuren (insbesondere dem überwachten Staat, dem „Host") manipuliert wurden.

• Herausforderung: Herkömmliche Methoden wie das Hashen von Quellcode oder statische Analysen können die Integrität des Quellcodes zwar überprüfen, sind jedoch blind gegenüber Manipulationen von Umgebungsvariablen, externen Bibliotheken, Firmware oder der Hardware selbst.
• Spezifisches Szenario: Ein Host könnte versuchen, die Messung zu täuschen, indem er z. B. einen Schein-Objekt (ein „Fake"-Kerngefechtskopf) präsentiert oder heimlich spaltbares Material zurückbehält, während er die Verifizierungsmessung manipuliert.
• Lücke: Es fehlt ein Mechanismus, der das gesamte cyber-physische System (Software, Firmware, Hardware, Umgebung) holistisch und gleichzeitig auf Manipulationen testen kann, ohne sensible Informationen preiszugeben.

2. Methodik: Physisches differentielles Fuzzing

Die Autoren schlagen ein Konzept namens „Physisches differentielles Fuzzing" (Physical Differential Fuzz Testing) vor. Dies ist eine Erweiterung des klassischen Fuzzing (zufällige Eingabetests zur Fehlerfindung) auf physikalische, nicht-deterministische Systeme.

• Prinzip:

  1. Baseline-Erstellung: Ein unmanipuliertes Referenzsystem wird mit einer zufälligen Sequenz von Eingabeparametern („Fuzz") getestet. Diese Parameter umfassen sowohl normale als auch abnormale Werte (z. B. Hochspannung, Impulsbreite, Verstärkung, Systemzeit). Die resultierenden Ausgabesignale (hier: Gamma-Spektren) bilden die Baseline-Signatur.
  2. Wiederholung: Zu einem späteren Zeitpunkt (nach einer möglichen Zertifizierungsphase durch den Host) wird dieselbe Sequenz von Eingabeparametern erneut auf das System angewendet.
  3. Vergleich: Die neuen Ausgaben werden mit der Baseline verglichen.
     • Bei einem unmanipulierten System sollten die Ausgaben statistisch konsistent sein (innerhalb der Poisson-Rauschgrenzen).
     • Bei einem manipulierten System führt die Manipulation zu Abweichungen, die als Alarm erkannt werden.

• Umgang mit Rauschen: Da radioaktive Zerfälle und Detektion stochastische Prozesse sind, sind die Ausgaben nie exakt identisch. Daher wird kein direkter Bit-für-Bit-Vergleich verwendet, sondern ein statistischer Test.

  • Metrik: Die Autoren verwenden einen modifizierten reduzierten $\chi^2$-Wert ($\chi^2/\nu$), um die Diskrepanz zwischen den Histogrammen der Energiespektren zu messen.
  • Schwellenwert: Überschreitet der $\chi^2$-Wert einen festgelegten Schwellenwert, wird ein Alarm ausgelöst, was auf eine Manipulation hindeutet.

• Operationskonzept (CONOPS):

  1. Inspektor erstellt Baseline (Fuzz-Sequenz).
  2. System wird an den Host zur Zertifizierung übergeben (Risiko der Manipulation).
  3. Gemeinsame Vertragsverifizierung.
  4. Rückgabe des Systems an den Inspektor.
  5. Inspektor führt die gleiche Fuzz-Sequenz erneut durch und vergleicht die Ergebnisse.

3. Schlüsselbeiträge

1. Anwendung von Fuzzing auf Cyber-Physische Systeme: Erstmals wird Fuzzing nicht nur auf Software, sondern auf ein physikalisches Messsystem angewendet, wobei die Eingaben physikalische Parameter (Spannung, Zeit, Verstärkung) betreffen.
2. Ganzheitliche Testabdeckung: Die Methode testet gleichzeitig Quellcode, Bibliotheken, Umgebungsvariablen, Firmware und Hardware. Eine Manipulation einer einzigen Komponente (z. B. einer Python-Bibliothek) wird erkannt, selbst wenn der Hauptcode unverändert bleibt.
3. Statistischer Vergleich stochastischer Daten: Entwicklung einer Methode, um zufällige Eingaben mit stochastischen physikalischen Ausgaben (Gamma-Spektren) durch statistische Metriken ($\chi^2$) zu vergleichen.
4. Demonstration mit realer Hardware: Implementierung und Test mit einem realen Natriumiodid (NaI)-Gammastrahlenspektrometer.

4. Ergebnisse und Experimente

Die Autoren demonstrierten die Wirksamkeit der Methode an einem NaI-Detektor mit zwei spezifischen Angriffsszenarien, die durch „Monkey Patching" (das dynamische Überschreiben von Python-Funktionen zur Laufzeit) realisiert wurden:

• Angriff 1: Zeitbasierte Manipulation (Time-based Attack)

  • Szenario: Der Host manipuliert den Code so, dass er nur zu einer bestimmten Uhrzeit (z. B. 14–15 Uhr) aufgerufen wird, um Gamma-Ereignisse zu duplizieren und so einen reduzierten Materialgehalt zu kaschieren.
  • Ergebnis: Da die Systemzeit als Fuzz-Parameter variiert wurde, traten die manipulierten Messungen nur bei den entsprechenden Zeitstempeln auf. Der Vergleich mit der Baseline zeigte signifikante Abweichungen ($\chi^2 > 2$) und löste Alarm aus. Die Erkennungsrate war hoch, die Fehlalarmrate bei unmanipuliertem System null.

• Angriff 2: Zählraten-basierte Manipulation (Counts-based Attack)

  • Szenario: Der Code analysiert die Gesamtzählrate des Spektrums. Wenn diese von einem erwarteten Wert abweicht (z. B. durch entferntes Material), werden Ereignisse manipuliert (gelöscht oder dupliziert), um die Zählrate zu normalisieren.
  • Ergebnis: Durch das Fuzzing von Parametern wie Hochspannung und Verstärkung wurden „abnormale" Zählraten erzeugt, die den Angriff auslösten. Da die Baseline-Messung jedoch ohne diesen Angriff stattfand, zeigten die Wiederholungsmessungen massive Abweichungen im Spektrum und einen extrem hohen $\chi^2$-Wert, was den Angriff erfolgreich detektierte.

5. Bedeutung und Ausblick

• Vertrauenswürdigkeit: Die Methode bietet einen starken Mechanismus zur Authentifizierung von Verifizierungssystemen, der über reine Software-Checks hinausgeht. Sie erschwert es dem Host, Manipulationen zu verstecken, da diese nur unter spezifischen Bedingungen aktiviert werden könnten, die durch das Fuzzing zufällig durchbrochen werden.
• Anwendbarkeit: Das Konzept ist nicht nur auf Rüstungskontrolle beschränkt, sondern kann auch für internationale nukleare Sicherheitsmaßnahmen (Safeguards) oder andere cyber-physische Systeme genutzt werden.
• Herausforderungen:
  • Umwelteinflüsse: Temperaturänderungen können die Verstärkung von Detektoren beeinflussen und zu Fehlalarmen führen. Dies erfordert robuste Hardware oder adaptive Schwellenwerte.
  • Komplexität der Angriffe: Fortgeschrittene Angriffe (z. B. „Logic Bombs", die nur bei spezifischen Spektralanalysen von waffenfähigem Material aktiv werden) könnten schwerer zu erkennen sein, wenn die Fuzzing-Tests nur Standardquellen (wie Cs-137) verwenden.
  • Operative Einschränkungen: Die Notwendigkeit, viele Parameterkombinationen zu testen, kann zeitaufwendig sein. Zudem muss das System so gestaltet sein, dass es für den Inspektor zugänglich bleibt, ohne dass der Host während des Tests manipulieren kann.

Fazit: Das Paper zeigt, dass physisches differentielles Fuzzing ein vielversprechendes Werkzeug ist, um Manipulationen an Sensoren in kritischen Infrastrukturen zu erkennen. Es füllt eine Lücke in der aktuellen Rüstungskontroll-Technologie, indem es die Integrität des gesamten Messsystems sicherstellt, nicht nur des Quellcodes.