When Unseen Attacks Look Normal: Open-Set Evaluation, Feature Observability, and Protocol-Invariant Detection in Mobile Ad Hoc Networks
Diese Arbeit zeigt auf, dass während Standardmodelle des maschinellen Lernens aufgrund ihrer Abhängigkeit von variablen Verteilungen nicht in der Lage sind, ungesehene Angriffe in Mobile Ad Hoc Networks zu erkennen, ein einfaches protokollinvariantes Merkmal – das Zählen von Routing-Nachbarn ohne dekodierte Frames – eine perfekte Detektion von Wormhole-Angriffen durch die Identifizierung struktureller Verletzungen anstatt statistischer Anomalien erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der chaotischen Welt mobiler Ad-hoc-Netzwerke kommunizieren Geräte miteinander, ohne dass ein zentraler Turm oder eine feste Infrastruktur sie leitet. Stellen Sie sich eine Gruppe von Wanderern in einem dichten Wald vor, von denen jeder ein Funkgerät trägt. Um eine Nachricht durch die Gruppe zu senden, muss ein Wanderer sie an einen Nachbarn weitergeben, der sie wiederum an einen anderen weitergibt, bis sie ihr Ziel erreicht. Dieses System ist bei Katastrophenhilfe oder militärischen Operationen, bei denen keine Mobilfunkmasten existieren, unglaublich nützlich, aber es ist auch fragil. Da jedes Gerät sowohl als Sender als auch als Relais fungiert, kann ein einziges unehrliches Gerät das gesamte Gespräch sabotieren. Es kann so tun, als wäre es ein hilfreicher Nachbar, Nachrichten stehlen oder sie einfach im Dreck liegen lassen. Jahrelang haben Forscher versucht, digitale Wachhunde zu bauen, um diese Verräter aufzuspüren. Sie trainieren Computerprogramme, um spezifisches Fehlverhalten zu erkennen, wie etwa ein Gerät, das plötzlich aufhört, Nachrichten weiterzuleiten, oder eines, das das Netzwerk mit gefälschten Anfragen überflutet. Diese Programme werden meist dadurch getestet, wie gut sie bekannte Übeltäter von guten Akteuren unterscheiden können. Wenn das Programm zwischen einem Dieb und einem Wanderer unterscheiden kann, gilt es als erfolgreich.
Eine neue Studie legt jedoch nahe, dass diese Art der Testung gefährlich unvollständig ist. Die Forscher, die mit einer detaillierten Computersimulation von einhundert beweglichen Geräten arbeiteten, entdeckten, dass ein Programm zwar exzellent darin sein mag, die fünf spezifischen Arten von Angriffen zu erkennen, auf die es trainiert wurde, aber gegenüber einer sechsten Art, die es noch nie gesehen hat, völlig blind sein kann. In ihren Experimenten schufen sie ein Szenario mit fünf verschiedenen Arten von Sabotage: ein „Black Hole“, das den gesamten Datenverkehr verschluckt, ein „Grey Hole“, das die Hälfte der Nachrichten fallen lässt, ein „Sinkhole“, das Geräte dazu verleitet, Daten in eine Sackgasse zu senden, ein „Flooding“-Angriff, der das Netzwerk mit Rauschen verstopft, und ein „Wormhole“, das einen geheimen Tunnel zwischen zwei entfernten Geräten schafft. Sie trainierten sieben verschiedene Erkennungsmethoden, um diese fünf Bedrohungen zu erkennen. Als die Forscher diese Methoden nur an den Angriffen testeten, die sie bereits kannten, schnitten die Programme ähnlich gut ab, mit hohen Genauigkeitswerten, die sie alle wie Gewinner aussehen ließen. Doch der wahre Test kam, als sie eine Angriffsart aus den Trainingsdaten verbargen und die Programme baten, diese in einer Menge von normalem Datenverkehr zu finden.
Die Ergebnisse waren erschütternd. Die ausgeklügeltesten Programme, die komplexe neuronale Netze verwendeten, ähnlich denen, die die Bilderkennung antreiben, versagten spektakulär. Wenn sie mit ungesehenen Flooding-, Sinkhole- und Wormhole-Angriffen konfrontiert wurden, stuften diese neuronalen Netze die Übeltäter einstimmig als normale, harmlose Geräte ein. Sie waren sich ihrer falschen Antworten so sicher, dass ihre Konfidenzwerte nicht von denen ihrer korrekten Antworten zu unterscheiden waren. Tatsächlich schnitten diese intelligenten Programme bei Black-Hole- und Flooding-Angriffen schlechter ab als beim bloßen Ratem. Die einzige Methode, die eine echte Fähigkeit zeigte, die unbekannten Bedrohungen zu entdecken, war ein viel einfacherer Ansatz, der auf einem Wald von Entscheidungsbäumen basierte. Diese Methode funktionierte deshalb, weil sie – im Gegensatz zu den neuronalen Netzen – spüren konnte, wenn sie etwas betrachtete, das sie nicht verstand. Wenn die Daten nicht zu seinem Training passten, widersprachen sich die Bäume in seinem „Wald“, was ein Signal der Unsicherheit erzeugte, das den anderen Programmen fehlte.
Die Studie deckte auch einen kritischen Fehler auf, der oft beim Aufbau solcher Simulationen vorkommt. Einer der Angriffe, das Wormhole, wurde anfangs mit nahezu perfekter Genauigkeit erkannt, aber die Forscher erkannten, dass dies eine Illusion war. Die Simulation hatte den Detektoren Zugriff auf die exakten physischen Koordinaten jedes Geräts gewährt, was es ihnen ermöglichte, die wahre Distanz zwischen Nachbarn zu messen. In der realen Welt kann ein Gerät weder seinen eigenen exakten Standort noch den exakten Standort anderer kennen; es kann die Distanz nur anhand der Stärke des Funksignals schätzen. Als die Forscher diesen „Abkürzungsweg“ entfernten und die Detektoren zwangen, sich nur auf beobachtbare Informationen zu verlassen, brach die Leistung für den Wormhole-Angriff zusammen. Die Detektoren konnten nicht mehr zwischen einem normalen Gerät und einem Wormhole-Endpunkt unterscheiden.
Um dies zu lösen, fanden die Forscher eine andere Art von Hinweis, der keine Kenntnis darüber erfordert, wo sich die Geräte befinden. Sie bemerkten, dass bei einem Wormhole-Angriff zwei Geräte als Tunnel-Endpunkte fungieren und im Netzwerk-Routing-Table als Nachbarn erscheinen, obwohl sie sich gegenseitig noch nie deren Funksignale gehört haben. In einem normalen Netzwerk führt ein Gerät einen Nachbarn nur dann in seiner Liste auf, wenn es erfolgreich eine Nachricht von ihm empfangen hat. Die Forscher entwickelten eine einfache Regel: Wenn ein Gerät einen Nachbarn in seiner Liste sieht, von dem es noch nie etwas gehört hat, handelt es sich um ein Wormhole. Diese einzige Beobachtung, die auf einer grundlegenden Regel dessen basiert, wie das Netzwerk eigentlich funktionieren sollte, trennte die Wormhole-Angreifer mit perfekter Genauigkeit von allen anderen Geräten in jedem Test.
Das Paper kommt zu dem Schluss, dass die aktuelle Art der Evaluierung von Sicherheitssystemen irreführend ist. Ein System, das bei bekannten Angriffen hohe Punktzahlen erzielt, kann gegen neue Angriffe nutzlos sein. Die Studie zeigt, dass die Wahl der Art und Weise, wie ein System seine Konfidenz ausdrückt, wichtiger ist als die Komplexität des Modells selbst. Eine einfache Überprüfung einer gebrochenen Netzwerkprotokoll-Regel erwies sich als effektiver als ein komplexes Lernmodell für den Wormhole-Angriff, während ein anderer Typ von Modell nötig war, um den Flooding-Angriff zu erfassen. Die Forscher argumentieren, dass die Sicherheitstests über das bloße Prüfen dessen hinausgehen müssen, ob ein System die alten Tricks kennt. Es muss auch testen, wie das System reagiert, wenn es auf eine völlig neue Art von Unannehmlichkeiten stößt, um sicherzustellen, dass die digitalen Wachhunde tatsächlich bellen können, wenn sie etwas sehen, das sie noch nie zuvor gesehen haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.