A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

In den verborgenen Schichten der modernen Welt kommunizieren Milliarden von intelligenten Geräten – von Fabriksensoren bis hin zu Hausthermostaten – ständig miteinander. Dieses riesige Netzwerk, bekannt als das Internet der Dinge, ist das Nervensystem unserer digitalen Infrastruktur. Doch wie jedes Nervensystem ist auch dieses anfällig für Störungen. Hacker können subtile, berechnete Signale senden, die darauf ausgelegt sind, die Sicherheitssoftware, die diese Geräte überwacht, zu täuschen, sodass ein gefährlicher Angriff wie harmloses Hintergrundrauschen aussieht. Jahrelang haben sich Sicherheitsexperten auf künstliche Intelligenz verlassen, um diese Eindringlinge aufzuspüren. Es ist jedoch ein neues Problem entstanden: Wenn diese KI-Systeme eine Bedrohung melden, liefern sie oft eine Erklärung dafür, warum sie diese Entscheidung getroffen haben. Die entscheidende Frage ist, ob diese Erklärung ehrlich bleibt, wenn die KI aktiv getäuscht wird. Wenn ein Hacker das System dazu bringen kann, einen Angriff zu ignorieren, wird die Erklärung des Systems dann auch zur Lüge oder weist sie immer noch auf die Wahrheit hin?

Ein Team von Forschern der Daffodil International University machte sich daran, die Ehrlichkeit und Zuverlässigkeit dieser KI-Erklärungen unter Beschuss zu testen. Sie konzentrierten sich auf zwei populäre Methoden, die zur Erklärung von KI-Entscheidungen verwendet werden, bekannt als SHAP und LIME. Diese Werkzeuge fungieren wie ein Scheinwerfer, der hervorhebt, welche Teile eines Netzwerksignals – wie etwa die Größe eines Datenpakets oder die Dauer einer Verbindung – dazu führten, dass die KI Alarm schlug. Die Forscher wollten wissen, ob diese Scheinwerfer stabil und genau bleiben, wenn die Eingangsdaten durch einen Hacker subtil verändert werden, oder ob die Erklärungen schwanken und in die falsche Richtung zeigen würden. Um eine wirklich zuverlässige Antwort zu erhalten, vermieden sie den häufigen Fehler, nur eine Version eines KI-Modells zu testen. Stattdessen trainierten sie zwanzig verschiedene Versionen desselben Sicherheitssystems, von denen jede mit einem leicht unterschiedlichen zufälligen Setup begann, um sicherzustellen, dass ihre Ergebnisse nicht nur ein glücklicher Zufall einer spezifischen Trainingssitzung waren.

Die Forscher unterzogen diese Systeme einer strengen Testreihe unter Verwendung von Realdaten aus zwei großen Sammlungen von Netzwerkverkehr. Sie simulierten drei Arten von Angriffen: einen breiten, unbeschränkten Angriff, der Daten auf eine Weise verändert, wie sie in einem echten Netzwerk niemals produziert werden könnten; einen realistischeren Angriff, der nur Zahlen ändert, die der Angreifer kontrollieren kann; und einen hochgradig beschränkten Angriff, der die physikalischen Regeln respektiert, nach denen Datenpakete aufgebaut sind. Sie fanden heraus, dass die unbeschränkten Angriffe, die oft unmögliche Datenwerte erzeugen, wie etwa ein Paket mit einer Bruchteilzahl von Bytes, größtenteils ein Fehlalarm waren. Als die Forscher diese unmöglichen Datensätze dazu zwangen, wie echte, gültige Daten auszusehen, sank die Erfolgsrate der Angriffe gegen die neuronalen Netzmodelle drastisch. Die baumbasierten Modelle hingegen, die anders funktionieren, waren jedoch anfälliger für diese echt aussehenden Tricks.

Die bemerkenswerteste Entdeckung betraf die Erklärungen selbst. Als die KI-Modelle angegriffen wurden, lieferte die SHAP-Methode weiterhin treue und stabile Erklärungen und spiegelte konsistent das Verhalten des Modells wider, selbst wenn sich die Entscheidung änderte. Im Gegensatz dazu erwies sich die LIME-Methode als weitaus weniger zuverlässig. Unter Angriff veränderten sich die Erklärungen von LIME oft so stark, wie es auch bei einem normalen Betrieb des Systems der Fall war, was darauf hindeutet, dass ihre Veränderungen eher zufälliges Rauschen als ein wahres Abbild des Angriffs waren. Tatsächlich übertraf SHAP in jedem einzelnen Vergleich über zwanzig verschiedene Trainingssitzungen hinweg LIME in Bezug auf Genauigkeit und Stabilität. Die Forscher fanden auch heraus, dass die Wahl des „Alarm-Schwellenwerts“ eines Sicherheitssystems – der Punkt, an dem es entscheidet, den Alarm auszulösen – wichtiger ist als das Modell selbst. Ein System, das auf hohe Sensibilität getrimmt ist, mag fast jeden Angriff erfassen, erzeugt aber so viele Fehlalarme, dass Sicherheitsteams überfordert werden, während eine strengere Einstellung zwar Angriffe übersehen kann, aber das Rauschen gering hält.

Vielleicht war die ernüchterndste Erkenntnis, dass kein einzelnes Sicherheitssystem unverwundbar ist. Bei einem der Datensätze konnten selbst die fortschrittlichsten neuronalen Netze fast vollständig von einem Hacker getäuscht werden, der einfach zusätzliche Datenfüllung (Padding) zu einem Paket hinzufügt – eine Technik, die nur sehr wenig kostet, aber die Verteidigung vollständig umgeht, wobei die Modelle höchstens 3 % solcher Angriffe erkennen. Die baumbasierten Modelle waren robuster, aber ein kluger, gezielter Angriff, der speziell auf deren Struktur ausgelegt ist, konnte sie dennoch in einem signifikanten Teil der Fälle umgehen. Die Studie kommt zu dem Schluss, dass wir zwar KI-Systeme bauen können, die ihre eigene Logik erklären können, diese Erklärungen jedoch nur so vertrauenswürdig sind wie die Fähigkeit des Systems, Manipulationen zu widerstehen. Die Forschung bietet einen klaren Fahrplan für die zukünftige Testung dieser Systeme und betont, dass wir über einfache Genauigkeitswerte hinausblicken und untersuchen müssen, wie sich Erklärungen unter echtem Druck behaupten. Die Werkzeuge, die wir zur Untersuchung unserer digitalen Abwehr nutzen, müssen so belastbar sein wie die Abwehr selbst.