Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
Diese Arbeit präsentiert eine explorative Bewertung von GenAI-bewussten Bedrohungsmodellierungsmethoden in einem KMU-Umfeld und zeigt auf, dass bestehende Techniken zwar unterschiedliche Bedrohungen identifizieren, jedoch derzeit eine unzureichende Unterstützung für GenAI-spezifische Risiken im Zusammenhang mit Software-Lieferketten und menschenzentrierter Sicherheit aufweisen, begleitet von erheblichen Herausforderungen bei der Benutzerfreundlichkeit und Workflow-Integration.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen eine massive, hochtechnologische Burg. Bevor Sie auch nur einen einzigen Stein legen, benötigen Sie ein „Bedrohungsmodell“. Dies ist wie eine spezielle Art von Schatzkarte, auf der statt des Goldes alle Wege markiert sind, auf denen ein Schurke hineinschleichen, eine Mauer durchbrechen oder die Wachen austricksen könnte. Jahrzehntelang haben Sicherheitsexperten eine Standard-Checkliste namens STRIDE verwendet, um solche Karten zu zeichnen. Es ist wie eine Meisterliste gängiger Einbrüche: Jemand, der sich als Wächter ausgibt (Spoofing), ein Fenster einschlägt (Tampering) oder die Schlüssel stiehlt (Information Disclosure). Das funktioniert hervorragend für traditionelle Software, die einer starren, vorhersehbaren Maschine gleicht.
Doch jetzt bauen wir eine neue Art von Burg: eine, die von Generativer KI (GenAI) angetrieben wird. Dies ist keine starre Maschine; es ist eher wie ein brillanter, chaotischer und manchmal halluzinierender Zauberer, der in Ihren Mauern lebt. Dieser Zauberer kann Code schreiben, Fragen beantworten und Kunst erschaffen, aber er kann auch durch ein geschicktes Flüstern (einen „Prompt Injection“) überlistet oder mit schlechten Zutaten gefüttert werden, die ihn giftiges Zeug ausspucken lassen. Die große Frage ist: Können unsere alten, starren Schatzkarten (die STRIDE-Checkliste) die hinterlistigen Wege finden, um diesen neuen Zauberer zu täuschen? Wenn wir versuchen, eine Karte, die für eine Steinfestung entworfen wurde, zu verwenden, um einen Spion in einer magischen Bibliothek zu finden, werden wir dann die wahren Gefahren übersehen? Dieses Paper taucht genau in dieses Problem ein und fragt, ob unsere aktuellen Sicherheitstools bereit für das Zeitalter der KI-Zauberer sind.
Die Geschichte des Papers: Alte Karten testen bei neuen Zauberern
Die Autoren dieses Papers, ein Team aus Sicherheitsforschern und Praktikern aus der Industrie, beschlossen, diese Frage auf die Probe zu stellen. Sie saßen nicht einfach in einem Labor und raten; sie gingen direkt in die „Schützengräben“ eines realen Unternehmens (einem kleinen und mittleren Unternehmen, kurz KMU), das ein System auf Basis von KI entwickelte, um Kunden-E-Mails zu verarbeiten und Geschäftsberichte zu erstellen. Sie wollten sehen, wie gut drei verschiedene Methoden des „Bedrohungsmodellierung“ bei diesem KI-gestützten System funktionieren würden.
Um dies zu tun, führten sie zunächst einen schnellen Scan der neuesten Forschung durch, um die besten neuen Methoden zu finden, die speziell für KI entwickelt wurden. Sie wählten drei Kontender:
- M1 (AIaaS Framework): Eine Methode, die das System als eine Menge von Assets (Daten, Modelle, Prozesse) betrachtet und fragt: „Wie könnte jemand diese manipulieren?“
- M2 (ADMIn Framework): Eine Methode, die sich auf drei Hauptangriffsflächen konzentriert: die Daten, das Modell und die Inputs.
- M3 (ThreatFinderAI): Eine schicke, tool-gestützte Methode, die eine spezielle Sprache verwendet, um die KI-Teile des Systems zu zeichnen, und mit einer riesigen Datenbank bekannter KI-Angriffe verbunden ist, um Bedrohungen automatisch zu finden.
Sie wandten alle drei Methoden auf das System des Unternehmens an, das ein Large Language Model (LLM) nutzte, um E-Mails zu lesen und Berichte zu schreiben. Dann prüften sie ihre Ergebnisse gegen eine berühmte „Top 10“-Liste von KI-Risiken (die OWASP Top 10 für LLMs), um zu sehen, welche Methode die wichtigsten Gefahren entdeckte. Schließlich fragten sie die eigentlichen Entwickler des Unternehmens, was sie über die Nutzung dieser Methoden dachten.
Was sie fanden: Das Gute, das Schlechte und das Fehlende
Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „wir müssen besser werden“.
Die guten Nachrichten:
Alle drei Methoden waren ziemlich gut darin, die „klassischen“ KI-Tricks aufzuspüren. Sie identifizierten erfolgreich Prompt Injection (wo ein Nutzer den KI dazu bringt, seine Regeln zu ignorieren), Data Poisoning (wo schlechte Daten das Modell korrumpieren) und Sensitive Information Disclosure (wo die KI versehentlich Geheimnisse verrät). Die tool-gestützte Methode, M3, war der klare Gewinner. Sie fand die meisten Bedrohungen, war für die Entwickler am einfachsten zu nutzen und fühlte sich am wenigsten wie eine lästige Pflicht an. Es ist wie ein Metalldetektor, der laut piept, wenn er eine vergrabene Münze findet, im Vergleich zum Graben mit einem Löffel.
Die schlechten Nachrichten (Die Lücken):
Hier hatten die alten Karten Schwierigkeiten. Die Methoden zeigten eine begrenzte Unterstützung beim Aufspüren von Risiken im Zusammenhang mit der Software-Lieferkette (z. hoch, wenn das KI-Modell selbst aus gestohlenen oder defekten Teilen besteht) und Excessive Agency (wenn der KI zu viel Macht gegeben wird, Entscheidungen zu treffen, ohne dass ein Mensch die Arbeit überprüft).
- Lieferkette: Keine der Methoden bot eine spezifische Möglichkeit, Risiken zu modellieren oder zu identifizieren, die von den „Zutaten“ kommen, die die KI verwendet. Wenn das KI-Modell von einer zwielichtigen Website heruntergeladen wurde, fehlten den Methoden die spezifische Syntax oder Checklisten, um dies effektiv zu kennzeichnen.
- Menschzentrierte Risiken: Sie übersahen auch die Gefahr, dass Menschen der KI zu sehr vertrauen. Wenn die KI ein Stück Code schreibt, das perfekt aussieht, aber tatsächlich gefährlich ist, und ein menschlicher Entwickler es einfach ohne Prüfung kopiert, ist das ein riesiges Risiko. Die Methoden hatten keinen guten Weg, um abzubilden, wie dieses „fahrlässige Vertrauen“ das System brechen könnte.
Was die Entwickler sagten:
Die Entwickler, die diese Methoden ausprobierten, stimmten den Daten zu. Sie liebten M3, weil es ein Tool hatte, das die schwere Arbeit erledigte. Sie empfanden die anderen Methoden als zu manuell und zeitaufwendig. Sie wiesen jedoch alle auf eine große Hürde hin: Diese Methoden lassen sich nicht einfach in ihren Arbeitsalltag integrieren. Sie wünschen sich Checklisten, Vorlagen und eine Möglichkeit, die Sicherheitsergebnisse direkt mit ihrer Aufgabenverwaltungssoftware (wie einem „Ticket“-System) zu verknüpfen. Ein Entwickler sagte: „Vorlagen würden es so viel einfacher machen“, während ein anderer anmerkte, dass sie die Risiken der Datenleckage ohne diese Tools nicht von selbst entdeckt hätten.
Das Fazit: Wir brauchen neue Karten für neue Burgen
Das Paper legt nahe, dass unsere aktuellen Werkzeuge zwar ein guter Anfang sind, um die offensichtlichen KI-Tricks zu erfassen, aber für das Gesamtbild nicht ausreichen. Wir sind derzeit blind für die Risiken, die aus der Lieferkette kommen (woher die KI kommt) und für die Risiken, die entstehen, wenn Menschen der KI zu blind vertrauen.
Die Autoren schlagen vor, dass sich die Sicherheitmodellierung in drei Punkten ändern muss:
- Die Lieferkette einbeziehen: Wir brauchen Karten, die nicht nur die Burg zeigen, sondern auch die Straßen, die die Steine heranschaffen, und die Menschen, die sie hergestellt haben.
- Tools und Prompts nutzen: Wir brauchen automatisierte Tools, die uns helfen, diese Karten schnell zu zeichnen, vielleicht sogar unter Einsatz von KI, um die Bedrohungen selbst zu finden.
- Auf die Menschen achten: Wir müssen modellieren, wie Menschen mit der KI interagieren, insbesondere indem wir nach Momenten suchen, in denen ein Mensch nachlässig wird und einer falschen Antwort vertraut, wodurch aus einem kleinen Fehler ein großes Desaster wird.
Kurz gesagt: Das Paper legt nahe, dass wir die alten Karten nicht einfach nur patchen können; wir müssen völlig neue zeichnen, die der Magie, der Lieferkette und der menschlichen Tendenz Rechnung tragen, dem Zauberer ein wenig zu sehr zu vertrauen. Bis dahin könnten unsere KI-Burgen auf dem Papier sicher aussehen, aber sie könnten immer noch geheime Türen haben, an deren Schlösser wir noch gar nicht gedacht haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.