Honeyval: A Comprehensive Evaluation Framework for LLM-powered HTTP Honeypots
Dieser Beitrag stellt Honeyval vor, ein umfassendes Evaluierungsframework für von LLMs betriebene HTTP-Honeypots, das den Mangel an skalierbaren und reproduzierbaren Tests durch den Einsatz von KI-Hacking-Agenten und diversen Backend-Anwendungen adressiert und schließlich nachweist, dass LLM-basierte Honeypots im Vergleich zu regelbasierten Baselines signifikant längere Angreiferinteraktionen und geringere Erkennungsraten bei gleichzeitiger Kosteneffizienz bieten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine Burgwache, die versucht, einen Dieb zu fangen. In alten Zeiten, um einen Dieb zu fangen, richteten Sie einen gefälschten Schatzraum (einen Honigtopf) ein, der genau wie der echte aussah. Aber es gab einen Haken: Um den gefälschten Raum überzeugend zu machen, mussten Sie echtes Gold und echte Schlösser hineinlegen. Wenn der Dieb klug genug war, einzubrechen, könnte er Ihr echtes Gold stehlen oder Ihre Burg verletzen.
Vor kurzem begannen Sicherheitsexperten, KI (Large Language Models) einzusetzen, um diese gefälschten Räume zu betreiben. Anstelle von echtem Gold simuliert die KI einfach, Gold zu haben. Sie kann mit dem Dieb sprechen, Fragen beantworten und sich wie ein echtes System verhalten, aber da es sich nur um einen Chatbot handelt, kann der Dieb tatsächlich nichts stehlen oder Ihre Burg verletzen. Das ist viel sicherer.
Allerdings gab es ein großes Problem: Wie wissen Sie, ob die KI einen guten Job macht?
Bevor diese Arbeit veröffentlicht wurde, testeten Menschen diese KI-Wachen auf drei unordentliche Arten:
- Der „Skript"-Test: Sie stellten der KI immer wieder dieselben 10 Fragen und prüften, ob die Antworten richtig aussahen. (Aber echte Diebe stellen nicht dieselben 10 Fragen).
- Der „Mensch"-Test: Sie stellten Menschen ein, die versuchten, einzubrechen. (Das ist langsam, teuer und schwer zu wiederholen).
- Der „Realwelt"-Test: Sie stellten die KI-Wache ins Internet und warteten. (Das ist unvorhersehbar; Sie warten vielleicht Monate, bis ein Dieb auftaucht, oder der Dieb geht sofort wieder).
Hier kommt „Honeyval": Der Trainingsplatz für KI-Wachen
Die Autoren dieser Arbeit entwickelten ein neues, umfassendes Testframework namens Honeyval. Stellen Sie es sich als High-Tech-Videospielsimulator für Cybersicherheit vor.
So funktioniert Honeyval, unter Verwendung einfacher Analogien:
1. Die 16 verschiedenen „Fälschungen" (Die Umgebung)
Anstatt die KI-Wache nur an einem gefälschten Raum zu testen, gibt Honeyval ihr 16 verschiedene gefälschte Szenarien, an denen sie üben kann. Diese basieren auf realen Webanwendungen (wie einem Warenkorb, einem Forum oder einem Anmeldesystem). Die KI-Wache muss diese spezifischen Systeme perfekt simulieren.
2. Der „Roboter-Dieb" (Der Angreifer)
Anstatt auf einen menschlichen Dieb zu warten oder einen Menschen zu bitten, es zu testen, verwendet Honeyval KI-Hacking-Agenten. Das sind andere KIs, die speziell so programmiert sind, dass sie versuchen, in die gefälschten Systeme einzubrechen.
- Das Hauptspiel: Der Roboter-Dieb versucht, die KI-Wache zu hacken.
- Die Anzeigetafel: Das System misst, wie lange der Dieb engagiert bleibt (hat die KI-Wache ihn beschäftigt?), wie viel es kostet, die Simulation zu betreiben, und ob der Dieb merkte: „Hey, das ist eine Fälschung!"
3. Die „Kontrolltests" (Der Realitätscheck)
Um sicherzustellen, dass der Test fair ist, führt Honeyval zwei zusätzliche Prüfungen durch:
- Dieb-Check: Der Roboter-Dieb versucht, echte (aber anfällige) Versionen derselben Apps zu hacken. Wenn der Dieb nicht in das Echte eindringen kann, sollte er auch nicht in die Fälschung eindringen können. Das beweist, dass der Dieb wirklich gut im Hacken ist.
- Wache-Check: Die KI-Wache wird von einem „netten Benutzer" (einem funktionalen Testsuite) getestet, um sicherzustellen, dass sie tatsächlich weiß, wie sie sich wie das echte System verhält. Wenn die Wache nicht einmal eine einfache Frage richtig beantworten kann, ist sie keine gute Fälschung.
Was haben sie herausgefunden?
Die Forscher testeten verschiedene KI-Modelle, um herauszufinden, welche die besten „gefälschten Wachen" ergeben. Hier sind ihre wichtigsten Entdeckungen:
- KI-Wachen sind besser im „Schauspiel": Im Vergleich zu altmodischen gefälschten Wachen, die nur einfachen Regeln folgen (wie ein Roboter, der auf alles „Zugriff verweigert" sagt), hielten die KI-gestützten Wachen die Roboter-Diebe viel länger beschäftigt. Im Durchschnitt hielten die KI-Wachen die Diebe bei etwa 83 Anfragen am Sprechen, während die alten regelbasierten Wachen nur etwa 31 Anfragen durchhielten. Das gibt Verteidigern mehr Zeit, die Taktiken des Diebes zu studieren.
- Sie sind schwer zu erkennen: Die Roboter-Diebe konnten oft nicht erkennen, dass die KI-Wache eine Fälschung war. In den meisten Fällen dachten die Diebe, sie hackten ein echtes System. Die alten regelbasierten Wachen wurden fast sofort erkannt.
- Kosteneffizienz: Obwohl der Betrieb einer KI Geld kostet, waren die KI-Wachen im Allgemeinen günstiger zu betreiben als die Kosten für die Roboter-Diebe, die versuchten, einzubrechen. Es ist ein gutes Geschäft für den Verteidiger.
- Das „Geschwindigkeits"-Problem: Die größte Schwäche war, dass die KI-Wachen etwas langsam waren. Es dauerte ein paar Sekunden, bis sie eine Antwort überlegten. Die Roboter-Diebe bemerkten diese Verzögerung manchmal und merkten: „Warte, echte Server brauchen keine 3 Sekunden, um zu antworten; das muss eine Fälschung sein!"
- Geistesspiele spielen: Die Forscher versuchten, der KI-Wache spezielle Anweisungen zu geben.
- Wenn sie der Wache sagten, den Dieb zu „überzeugen, dass die App sicher ist", blieben die Diebe länger (in dem Glauben, sie seien einem Sieg nahe), wurden aber auch schneller misstrauisch.
- Wenn sie der Wache sagten, sie solle versuchen, die KI des Diebes zu „täuschen", ging das oft nach hinten los und ließ die Wache schneller erwischt werden.
Das Fazit
Diese Arbeit behauptet nicht, dass KI-Wachen perfekt oder bereit sind, alle menschlichen Sicherheitsteams zu ersetzen. Stattdessen bietet sie das erste zuverlässige Lineal, um zu messen, wie gut diese KI-Wachen sind.
Sie fanden heraus, dass KI-gestützte Honigtöpfe ein vielversprechendes Werkzeug sind. Sie sind sicherer als echte Systeme (da nichts Echtes gefährdet ist), sie sind für Angreifer schwerer zu erkennen, und sie halten Angreifer länger beschäftigt als einfache, dumme gefälschte Systeme. Um sie jedoch noch besser zu machen, müssen wir sie schneller machen und sie klüger darin werden, ihre „KI-Natur" zu verstecken.
Die Autoren haben ihr Testframework, Honeyval, für jedermann verfügbar gemacht, damit andere Forscher in Zukunft bessere KI-Wachen entwickeln können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.