Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning
Dieses Paper führt den Cross-Vendor Sola ISPM Benchmark ein, um die Fähigkeit von Agentic AI zu bewerten, über fragmentierte Multi-Cloud-Identitätssysteme hinweg zu schlussfolgern, und zeigt auf, dass die Bereitstellung eines expliziten relationalen Kontextes die Korrektheit der Antworten signifikant verbessert und die Fehlerraten bei herstellerübergreifenden Sicherheitsanalysen reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein riesiges, modernes Bürogebäude vor, in dem jede Abteilung eine andere Sprache und ein anderes Ablagesystem verwendet. Die Personalabteilung führt die Mitarbeiterakten in einem Buch, das IT-Sicherheitsteam nutzt ein digitales Kassenbuch, das Cloud-Storage-Team verwendet eine separate Karte und das Marketing-Team nutzt eine völlig andere App.
Früher, wenn man wissen wollte: „Wer hat Zugriff auf den Tresor?“, konnte man einfach eine Person fragen. Aber heute ist der „Tresor“ digital, und die Schlüssel sind über all diese verschiedenen Systeme verstreut. Um die Antwort zu finden, muss man die Punkte zwischen dem HR-Buch, dem IT-Kassenbuch und der Cloud-Karte verbinden.
Dieses Paper stellt eine neue Methode vor, um zu testen, ob ein KI-Detektiv klug genug ist, um solche Rätsel zu lösen.
Das Problem: Die „Lost in Translation“-Lücke
Die Autoren nennen dies die „Korrelationslücke“ (Correlation Gap).
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen Verdächtigen zu finden. Sie haben ein Foto des Gesichts des Verdächtigen (seinen Namen im HR-System) und eine Beschreibung seines Autos (seine ID im Cloud-System). Aber die Polizeidatenbank weiß nicht, dass „John Doe“ im HR-Buch dieselbe Person ist wie „J. Doe“ im Autoregister.
Aktuelle KI-Modelle sind wie Detektive, die sehr gut darin sind, ein einzelnes Buch zu lesen, aber schlecht darin, Hinweise über verschiedene Sprachen hinweg zu verknüpfen. Sie erraten vielleicht die Antwort, aber sie gehen oft verloren, weil sie nicht verstehen, wie die Systeme miteinander kommunizieren.
Die Lösung: Der „Sola Benchmark“
Die Forscher haben einen Trainingsplatz (einen Benchmark) gebaut, um KI-Agenten speziell an diesem Problem zu testen.
- Das Setup: Sie schufen eine realistische, chaotische Umgebung mit 8 verschiedenen realen Plattformen (wie AWS, Google, Microsoft und HR-Software).
- Der Test: Sie gaben der KI 50 komplexe Fragen, wie zum Beispiel: „Finden Sie alle Mitarbeiter, die letzten Monat entlassen wurden, aber immer noch Zugriff auf unsere Cloud-Server haben.“
- Die Herausforderung: Um dies zu beantworten, muss die KI:
- Die HR-Liste prüfen, um die entlassenen Personen zu finden.
- Diese Liste in die Sprache des Identity Providers (wie Okta) übersetzen.
- Dies mit dem Cloud-Anbieter (wie AWS) abgleichen, um zu sehen, wer noch die Schlüssel hat.
- All diese Punkte verbinden, ohne verwirrt zu werden.
Das Experiment: Dem Detektiv eine Karte geben
Die Forscher testeten die KI unter fünf verschiedenen Bedingungen, um zu sehen, was ihr am meisten hilft:
- Kein Kontext: Der Detektiv wird mit verbundenen Augen in das Gebäude geworfen. Er muss raten und an jede Tür klopfen.
- Nur Schema: Der Detektiv erhält eine Liste der Zimmernummern und deren Inhalt, aber keinen Plan, wie die Räume miteinander verbunden sind.
- Schema + Graph: Der Detektiv erhält die Zimmerliste plus eine Karte, die genau zeigt, welche Türen zu welchen führen (z. B. „Tür A im HR-Gebäude führt direkt zu Tür B im Cloud-Gebäude“).
- Schema + Beispiele: Der Detektiv erhält die Zimmerliste und einige Beispiele dafür, wie andere Detektive ähnliche Rätsel gelöst haben.
- Voller Kontext: Der Detektiv erhält die Zimmerliste, die Karte, die Beispiele und ein Handbuch.
Die Ergebnisse: Die Karte macht den entscheidenden Unterschied
Die Erkenntnisse waren klar und überraschend:
- Blindes Raten scheitert: Wenn die KI keine Hilfe hatte (Kein Kontext), hatte sie Schwierigkeiten. Sie machte viele Fehler und musste sehr viele Fragen stellen, um Dinge herauszufinden.
- Der „Graph“ ist die magische Zutat: Der größte Sprung in der Leistung erfolgte, als der KI der Security Graph (die Karte, die zeigt, wie die Systeme verbunden sind) gegeben wurde.
- Genauigkeits-Boost: Mit der vollständigen Karte und den Beispielen stieg die Fähigkeit der KI, die richtige Antwort zu finden, um etwa 34 %.
- Effizienz-Boost: Die KI hörte auf zu raten und unnötige Fragen zu stellen. Sie reduzierte die Anzahl der benötigten „Ausflüge“ um etwa 70 %.
- Klug, aber verloren: Das Paper fand heraus, dass die KI-Modelle eigentlich recht klug sind. Selbst ohne Hilfe konnten sie oft die allgemeine Idee der Antwort erfassen (z. B. „Ja, es besteht ein Risiko“). Aber ohne Hilfe konnten sie nicht die spezifischen Beweise finden, um es zu beweisen (z. B. „Hier sind genau die 12 Personen, die gefährdet sind“).
Das Fazit
Das Paper kommt zu dem Schluss: KI ist in Bezug auf Sicherheitsanalysen nicht unbedingt „dumm“, sie ist nur „blind“ ohne den richtigen Kontext.
Denken Sie an einen Autofahrer, dem ein GPS gegeben wird. Der Fahrer (die KI) weiß, wie man fährt und wohin man will, aber ohne das GPS (die strukturierte Karte, wie die Systeme verbunden sind), wird er sich verlaufen, falsche Abzweigungen nehmen und Zeit verschwenden. Sobald man ihm das GPS gibt, fährt er perfekt, kommt schneller an und weiß genau, welche Straßen er nehmen muss.
Die Autoren haben diesen Benchmark entwickelt, um zu beweisen, dass wir für die Nützlichkeit von KI in der realen Sicherheit nicht nur Fragen stellen dürfen, sondern ihr die relationale Karte geben müssen, die alle verschiedenen Teile der digitalen Welt miteinander verbindet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.