OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection
Die Arbeit stellt OrgForge-IT vor, ein verifizierbares synthetisches Benchmark-System für die Erkennung von Insider-Bedrohungen durch LLMs, das durch eine deterministische Simulationssprache konsistente Ground-Truth-Daten garantiert und neue Erkenntnisse über die Diskrepanz zwischen Triagierung und Verdict-Genauigkeit sowie die Notwendigkeit spezifischer Pipelines liefert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Sicherheitschef eines riesigen Bürogebäudes. Tausende von Mitarbeitern gehen jeden Tag ein und aus, nutzen Computer, senden E-Mails und chatten im Flur. Ihre Aufgabe ist es, einen von ihnen zu finden, der heimlich Daten stiehlt oder aus Rache schadet. Das Problem? Die meisten Mitarbeiter sind unschuldig. Von 100 Ereignissen sind 96 harmlos (wie jemand, der spät arbeitet, weil er ein Projekt fertigstellt) und nur 4 sind verdächtig.
Das ist das Problem, das OrgForge-IT lösen soll.
Hier ist die Erklärung der Forschung in einfachen Worten, mit ein paar Bildern aus dem echten Leben:
1. Das alte Problem: Der "Wackelige" Beweis
Bisher gab es nur eine große Datenbank (die "CERT-Datenbank"), um Sicherheits-Software zu testen. Aber diese Datenbank war wie ein Haus aus Karten: Sie wurde von Computern erstellt, die sich nicht an feste Regeln hielten.
- Das Problem: Ein Computer sagte vielleicht: "Mitarbeiter A hat um 3 Uhr morgens eine Datei heruntergeladen", aber ein anderer Teil der Datenbank sagte: "Mitarbeiter A war um 3 Uhr im Urlaub."
- Die Folge: Wenn Sie eine KI darauf testen, kann sie verwirrt werden. Ist es ein Dieb oder ein Fehler im System? Man konnte sich nicht sicher sein.
2. Die neue Lösung: OrgForge-IT (Der "perfekte" Simulator)
Der Autor, Jeffrey Flynt, hat etwas Neues gebaut: OrgForge-IT.
Stellen Sie sich das wie einen perfekten Filmset vor.
- Der Regisseur (Der Computer-Engine): Er entscheidet genau, was passiert. Er weiß: "Um 14:00 Uhr geht Mitarbeiter X zur Kaffeemaschine. Um 14:05 Uhr loggt sich Y ein." Das ist die Wahrheit.
- Die Schauspieler (Die KI-Modelle): Sie schreiben nur die Dialoge und beschreiben die Szenen (z. B. den genauen Wortlaut einer E-Mail).
- Der Clou: Da der Regisseur alles kontrolliert, kann es keine Widersprüche geben. Wenn der Regisseur sagt, es regnet, dann ist es auch im "Film" (den Daten) regnerisch. Das macht den Test fälschungssicher.
3. Die vier Fallen (Die Prüfungsfragen)
Der Test ist nicht einfach. Er hat vier spezielle Szenarien entworfen, die alte Sicherheits-Systeme (und viele KIs) in die Irre führen sollen:
- Der "Geist-Login" (Ghost Login): Jemand loggt sich ein, aber passiert danach nichts. Keine E-Mail, kein Chat.
- Die Falle: Die KI muss erkennen, dass das Nichtstun verdächtig ist. "Warum ist er hier, wenn er nichts tut?"
- Der "Vishing"-Trick: Ein Angreifer ruft ein Opfer an, stiehlt dessen Passwort und loggt sich dann unter dem Namen des Opfers ein.
- Die Falle: Die KI muss erkennen: "Der Login sieht aus wie das Opfer, aber der Anruf kam vom Angreifer." Sie muss das Opfer entlasten, nicht verurteilen.
- Der "Dreiphasen-Diebstahl": Ein Dieb stiehlt Daten über drei Tage verteilt (1. Kopieren, 2. Packen, 3. Wegschicken).
- Die Falle: Wenn die KI nur auf einen Tag schaut, sieht sie nur harmloses Kopieren. Sie muss die Tage verbinden wie Puzzleteile.
- Der "Vertrauensaufbau": Ein Angreifer schickt erst eine harmlose, freundliche E-Mail und greift erst Tage später an.
- Die Falle: Die KI muss sich an die erste E-Mail erinnern, wenn der Angriff kommt.
4. Das Ergebnis: Wer ist der beste Detektiv?
Der Autor hat 10 verschiedene KI-Modelle getestet. Das Ergebnis war überraschend:
- Die "Triage"-Phase (Das Ersteinstufen): Fast alle KIs waren gut darin, irgendeinen Verdächtigen zu finden. Sie schrien alle "Achtung!" bei den gleichen Leuten.
- Die "Urteil"-Phase (Das Endurteil): Hier trennte sich die Spreu vom Weizen.
- Die Gewinner (Tier A): Zwei KIs (Devstral und Opus) waren die wahren Detektive. Sie sagten: "Aha, dieser Login sieht verdächtig aus, aber der Mitarbeiter hat heute auch ganz normal gearbeitet. Das ist ein Dieb, der sich als er ausgegeben hat. Der Mitarbeiter ist unschuldig!"
- Die Verlierer (Tier B): Die anderen KIs sagten: "Der Login ist verdächtig, also ist der Mitarbeiter schuldig." Sie verurteilten das Opfer fälschlicherweise.
5. Die wichtigste Erkenntnis: "Rauschen" ist der Feind
Das Papier zeigt etwas Witziges: Zwei KIs konnten beide den Dieb finden (gleiche Trefferquote). Aber:
- KI A rief nur 3 unschuldige Mitarbeiter zur Polizei.
- KI B rief 41 unschuldige Mitarbeiter zur Polizei!
Das ist wie ein Metalldetektor am Flughafen. Wenn er bei jedem Schuh piept, ist er zwar "sensibel", aber nutzlos, weil er niemanden durchlässt. OrgForge-IT zeigt, dass eine gute KI nicht nur den Dieb finden muss, sondern auch wenige falsche Alarme machen muss.
Zusammenfassung in einem Satz
OrgForge-IT ist ein perfekter, lügenfreier Test, der zeigt, dass die besten KIs für Sicherheitsaufgaben nicht nur "schreien" müssen, wenn etwas passiert, sondern klug genug sein müssen, um zu verstehen, wer wirklich schuld ist und wer nur ein Opfer ist – und das, ohne hunderte unschuldige Kollegen zu belästigen.
Es ist der erste Schritt, um sicherzustellen, dass KI in Sicherheitszentren nicht nur "dumme Alarme" macht, sondern echte Ermittler wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.