Bridging Explanation and Operations: A Systematic Review and Taxonomy of XAI-Enabled Cybersecurity Detection

In der modernen Welt der digitalen Verteidigung verlassen sich Sicherheitsteams nicht mehr ausschließlich auf eine statische Liste bekannter schlechter Verhaltensweisen, um Angreifer zu fassen. Stattdessen haben sie sich der künstlichen Intelligenz zugewandt – Systemen, die aus riesigen Mengen an Netzwerkverkehr lernen, um Muster zu erkennen, die auf eine Sicherheitsverletzung hindeuten. Diese Systeme sind unglaublich gut darin, Bedrohungen zu finden, und identifizieren oft komplexe Angriffe, die menschlichen Experten entgehen könnten. Diese Leistungsfähigkeit geht jedoch mit einem Preis einher: Die fortschrittlichsten Lernsysteme operieren wie Black Boxes. Sie können einem Sicherheitsanalysten mitteilen, dass ein Ereignis gefährlich ist, aber sie können nicht ohne Weiteres erklären, warum. In einem Bereich, in dem ein Fehlalarm kostbare Zeit verschwendet und eine übersehene Bedrohung eine Katastrophe auslösen kann, ist das Wissen um den Grund hinter einer Entscheidung ebenso wichtig wie die Entscheidung selbst. Dieses Bedürfnis nach Klarheit hat ein Feld namens erklärbare künstliche Intelligenz (Explainable AI) hervorgebracht, das darauf abzielt, die Black Box zu öffnen und die Logik hinter den Entscheidungen der Maschine aufzuzeigen.

Ein Team von Forschern aus Universitäten in Zypern, Norwegen und Griechenland hat sich kürzlich zum Ziel gesetzt, den aktuellen Stand dieses Feldes speziell für die Cybersicherheit zu kartieren. Sie führten eine umfassende, systematische Überprüfung hunderter Studien durch, die zwischen 2020 und 2026 veröffentlicht wurden, um zu untersuchen, wie diese Erklärungs-Tools eingesetzt werden, um Netzwerke, Geräte und industrielle Systeme zu schützen. Ihre Arbeit mit dem Titel „Bridging Explanation and Operations“ listet nicht nur neue Techniken auf; sie analysiert, wie diese Werkzeuge tatsächlich gebaut, getestet und in der realen Welt eingesetzt werden. Die Forscher fanden heraus, dass trotz des signifikanten technologischen Fortschritts eine kritische Lücke besteht zwischen der Fähigkeit, eine Erklärung zu generieren, und der Fähigkeit, ihr genug zu vertrauen, um in einem Live-Sicherheitszentrum danach zu handeln.

Die Forscher untersuchten Studien, die ein breites Spektrum digitaler Schlachtfelder abdecken, von Intrusion-Detection-Systemen, die Unternehmensnetzwerke bewachen, bis hin zu Sensoren, die intelligente Fabriken und Geräte im Internet der Dinge schützen. Sie organisierten ihre Ergebnisse in einem klaren Rahmenwerk, indem sie vier Hauptbereiche betrachteten: die spezifische Art des gelösten Sicherheitsproblems, die verwendete Lernarchitektur, die gewählte Methode zur Erklärung der Entscheidung und die Art und Weise, wie die Ergebnisse evaluiert wurden. Was zum Vorschein kam, war eine Landschaft, die von einem spezifischen Ansatz dominiert wird. Die meisten Forscher nehmen ein hochpräzises, komplexes maschinelles Lernmodell und fügen nach dessen Abschluss ein separates Werkzeug an, um dessen Entscheidungen zu erklären. Dies ist als Post-hoc-Methode bekannt, bei der die Erklärung wie eine Schicht Farbe hinzugefügt wird, nachdem das Haus bereits gebaut wurde. Die gängigsten Werkzeuge für diese Aufgabe sind zwei spezifische Techniken, die berechnen, welche Datenpunkte am wichtigsten für die endgültige Entscheidung waren. Während dieser Ansatz eine hohe Genauigkeit ermöglicht, merkten die Forscher an, dass er die Erklärung oft eher als einen Nachtrag denn als einen integralen Bestandteil des Systemdesigns behandelt.

Die Untersuchung hob auch ein erhebliches Ungleichgewicht bei der Testung dieser Systeme hervor. In der überwiegenden Mehrheit der analysierten Studien konzentrierten sich die Forscher fast ausschließlich darauf, wie gut das System Angriffe erkennt, indem sie Standardwerte wie Genauigkeit und Fehlerraten verwendeten. Nur sehr wenige Studien gingen darüber hinaus, die Qualität der Erklärungen selbst zu testen. Die Forscher wiesen darauf hin, dass eine Erklärung zwar überzeugend aussehen kann, aber fundamental falsch, instabil oder leicht von einem geschickten Angreifer zu täuschen sein kann. Sie fanden heraus, dass Eigenschaften wie die Stabilität einer Erklärung – ob sie für ähnliche Angriffe die gleiche Begründung liefert – und ihre Widerstandsfähigkeit gegen Manipulation selten gemessen wurden. In der Hochrisikoumgebung der Cybersicherheit, in der Gegner aktiv versuchen, Erkennungssysteme zu täuschen, ist eine Erklärung, die manipuliert werden kann, eine gefährliche Haftung. Das Paper legt nahe, dass der Fokus des Feldes derzeit zu sehr darauf liegt, den Beweis zu erbringen, dass der Detektor funktioniert, und zu wenig darauf, dass die Erklärung vertrauenswürdig ist.

Ein weiterer wichtiger Befund betraf den praktischen Einsatz dieser Werkzeuge durch menschliche Sicherheitsanalysten. Die Überprüfung zeigte, dass viele Arbeiten zwar farbenfrohe Diagramme und Grafiken produzieren, um aufzuzeigen, warum ein Alarm ausgelöst wurde, aber nur sehr wenige tatsächlich testeten, ob diese Visualisierungen einem menschlichen Analysten halfen, eine bessere oder schnellere Entscheidung zu treffen. Die Forscher beobachteten, dass Analysten in realen Sicherheitsoperationszentren von Alarmen überflutet werden und schnelle Urteile fällen müssen. Eine Erklärung, die technisch korrekt, aber zu komplex oder zu langsam zu verarbeiten ist, erhöht die Belastung, anstatt sie zu lindern. Die Studie stellte fest, dass die aktuelle Forschung oft versäumt, die kognitive Belastung des menschlichen Nutzers oder die Zeit zu berücksichtigen, die für die Generierung der Erklärung benötigt wird, was entscheidend sein kann, wenn sich eine Bedrohung in Echtzeit entfaltet.

Die Autoren merkten auch an, dass sich das Feld stark auf einen kleinen Satz von Standard-Datensätzen stützt, um diese Systeme zu testen. Während diese gemeinsam genutzten Datensätze es Forschern ermöglichen, ihre Ergebnisse zu vergleichen, deutet die Überprüfung darauf hin, dass diese Praxis ein falsches Gefühl von Sicherheit erzeugen kann. Systeme, die auf diesen spezifischen, bekannten Datensätzen perfekt abschneiden, kämpfen oft mit der unordentlichen, unvorhersehbaren Realität eines Live-Netzwerks. Die Forscher argumentierten, dass diese Werkzeuge erst dann wirklich nützlich sind, wenn sie unter realistischen Bedingungen getestet werden, einschließlich Szenarien, in denen die Daten unvollständig sind oder sich die Umgebung ständig verändert. Sie forderten zudem mehr Forschung zu Systemen, bei denen die Fähigkeit zur Erklärung von Beginn an in das Modell eingebaut ist, anstatt nachträglich hinzugefügt zu werden, da dies zu zuverlässigeren und robusteren Sicherheitstools führen könnte.

Letztendlich dient diese umfassende Überprüfung als Wegweiser für die Zukunft der digitalen Verteidigung. Sie bestätigt, dass wir zwar große Fortschritte darin gemacht haben, Maschinen beizubringen, Bedrohungen zu finden, aber wir das Problem noch nicht vollständig gelöst haben, ihnen beizubringen, sich so zu erklären, dass Menschen ihnen vertrauen und sie effektiv nutzen können. Die Forscher kommen zu dem Schluss, dass der nächste Schritt nicht nur darin besteht, intelligentere Detektoren zu bauen, sondern Systeme zu entwickeln, in denen die Erklärung so sicher, stabil und zuverlässig ist wie die Erkennung selbst. Indem der Fokus von der bloßen Generierung von Erklärungen hin zur rigorosen Validierung gegen reale Bedrohungen und menschliche Bedürfnisse verschoben wird, kann das Feld den Weg in eine Zukunft ebnen, in der künstliche Intelligenz ein wahrhaft transparenter und verlässlicher Partner beim Schutz unserer digitalen Welt wird.