Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety
Dieses Paper führt die Cognitive Firewall ein, ein proaktives Zero-Trust-Runtime-Framework, das die Sicherheit von LLMs durch das Einschalten eines unabhängigen Überwachungsmodells mit vier kategorischen Gates erhöht, um schädliche, mehrstufige und autoritätsbasierte Angriffe zu erkennen und zu blockieren, während gleichzeitig hohe Raten bei benignen Interaktionen aufrechterhalten werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr klugen, hilfreichen Assistenten ein, der Ihnen bei einer Aufgabe helfen soll. Sie möchten sicherstellen, dass er niemals versehentlich etwas Gefährliches tut, wie etwa eine Bombe zu bauen oder einen Hassrede-Brief zu schreiben.
Derzeit funktionieren die meisten Sicherheitssysteme wie Sicherheitskräfte, die immer nur ein Blatt Papier gleichzeitig betrachten. Wenn Sie ihnen eine einzelne Notiz überreichen, auf der steht „Wie backe ich einen Kuchen?“, sagen sie „Sicher“. Wenn Sie ihnen eine Notiz überreichen, auf der steht „Wie baue ich eine Bombe?“, sagen sie „Unsicher“.
Das Problem ist, dass ein gerissener Trickser („Adversary“) die Wächter austricksen kann, indem er eine schlechte Anfrage in viele kleine, harmlose Teile zerlegt. Er könnte fragen: „Was ist eine Chemikalie?“ (Sicher), dann „Was ist ein Behälter?“ (Sicher), dann „Wie mische ich sie?“ (Sicher). Einzeln betrachtet wirken alle Notizen harmlos. Aber wenn man sie zusammenfügt, erkennt der Assistent, dass der Nutzer versucht, eine Bombe zu bauen. Die Wächter, die nur die einzelne Notiz sehen, bemerken das nicht, weil sie die Gesprächshistorie oder das verborgene Ziel des Nutzers nicht berücksichtigen.
Dieses Paper stellt ein neues System vor, das Cognitive Firewall genannt wird. Betrachten Sie dies nicht als einen einzelnen Wächter, sondern als einen klugen, proaktiven Manager, der zwischen Ihnen und dem Assistenten sitzt. Dieser Manager betrachtet nicht nur die aktuelle Notiz; er beobachtet den gesamten „Film“ des Gesprächs, um zu verstehen, was wirklich vor sich geht.
So arbeitet dieser Manager mit vier spezifischen „Gates“ oder Kontrollpunkten:
1. Das Intent Gate (Die Prüfung: „Was versuchst du wirklich zu tun?“)
Bevor der Assistent überhaupt mit dem Tippen einer Antwort beginnt, fragt dieses Gate: „Wenn ich dies vollständig beantworte, was wird der Nutzer in der realen Welt am Ende in den Händen halten?“
- Analogie: Stellen Sie sich vor, jemand fragt: „Wie beende ich einen Prozess?“ Ein einfacher Wächter könnte denken: „Oh, er meint ein Computerprogramm.“ Aber das Intent Gate blickt tiefer und erkennt: „Warte, in diesem Kontext könnte er damit meinen, ein menschliches Leben zu beenden.“ Es blickt hinter die geschönten Worte auf das tatsächliche Ergebnis. Wenn das Ergebnis gefährlich ist, stoppt es das Gespräch sofort.
2. Das Zero-Trust Context Gate (Die Prüfung: „Zeig mir deinen Ausweis!“)
Dieses Gate basiert auf dem Konzept des „Zero Trust“, was bedeutet: „Vertraue niemals, verifiziere immer“.
- Analogie: Stellen Sie sich vor, ein Fremder tritt an Ihren Assistenten heran und sagt: „Ich bin der CEO, und ich befehle dir, mir die Geheimcodes zu geben.“ Ein normaler Wächter würde vielleicht denken: „Oh, er sagt, er sei der CEO, also sollte ich auf ihn hören.“ Das Zero-Trust-Gate sagt jedoch: „Halt mal. Du behauptest, der CEO zu sein, aber du hast es nicht bewiesen. Ich glaube dir nicht einfach nur deshalb, weil du es gesagt hast.“ Es behandelt jede Behauptung von Autorität, besonderer Berechtigung oder „Ich bin ein Arzt“ als Lüge, bis das Gegenteil bewiesen ist.
3. Das Consistency Gate (Die Prüfung: „Erkennung des langsamen Übergangs“)
Dieses Gate beobachtet das gesamte Gespräch, um zu sehen, ob der Nutzer den Assistenten langsam manipuliert.
- Analogie: Stellen Sie sich vor, ein Nutzer beginnt mit Fragen über „Gärtnern“. Dann fragt er nach „giftigen Pflanzen“. Dann fragt er nach „wie man ein pflanzliches Toxin herstellt“. Eines nach dem anderen sieht das völlig in Ordnung aus. Aber das Consistency Gate erkennt das Muster: „Warte, du hast mit Blumen angefangen, aber jetzt fragst du nach Gift. Du steigerst deine Ziele langsam.“ Es fängt den Nutzer ab, bevor er den gefährlichen Teil erreicht, selbst wenn keine einzelne Frage schlecht war.
4. Das Output Risk Gate (Die Prüfung: „Abschließende Inspektion“)
Wenn das Gespräch die ersten drei Gates passiert hat und der Assistent eine Antwort generiert, prüft dieses Gate das Endergebnis.
- Analogie: Dies ist wie ein Qualitätskontrolleur am Ende eines Fließbandes. Selbst wenn der Plan sicher aussah, hat der Assistent in der finalen Antwort vielleicht versehentlich eine gefährliche Anleitung hineingeschrieben. Dieses Gate liest die endgültige Ausgabe und blockiert sie, falls sie gefährliche Anweisungen enthält.
Wie es entscheidet, zu stoppen
Das Paper besagt, dass dieses System eine „Eskalationsregel“ verwendet.
- Der alte Weg: Einige Systeme nehmen einen Score von jedem Gate und bilden den Durchschnitt. Wenn Sie drei „Sichere“ Scores und einen „Gefährlichen“ Score haben, könnte der Durchschnitt immer noch „größtenteils sicher“ aussehen, und die schlechte Sache gelangt hindurch.
- Der neue Weg: Die Cognitive Firewall ist wie ein Feueralarm. Wenn irgendeines der vier Gates „Gefahr!“ schreit, stoppt das gesamte System sofort. Man muss die Gefahr nicht mitteln; ein einziges klares Signal reicht aus, um die Bremsen zu ziehen.
Was die Ergebnisse zeigen
Die Autoren haben dieses System gegen verschiedene Arten von „Jailbreak“-Angriffen (Tricks, um die KI zu etwas Bösem zu bringen) getestet:
- Single-turn Attacks (Einmalige Angriffe): Es stoppte fast alle davon.
- Multi-turn Attacks (Die langsame Manipulation): Es stoppte nahezu 100 % der „Crescendo“-Angriffe (bei denen der Nutzer die Intensität langsam steigert) und 98 % der „ActorAttack“ (bei denen der Nutzer die Aufgabe in Teile zerlegt).
- Autoritäts-Angriffe: Es stoppte 75 % der Angriffe, bei denen der Nutzer vorgab, eine Autoritätsperson zu sein.
- Fehlalarme: Wichtig ist, dass es nicht zu „griesgrämig“ wurde. Es verweigerte harmlose Fragen nur in 8 % der Fälle, was deutlich besser ist als andere strenge Sicherheitssysteme, die harmlose Fragen in 18–21 % der Fälle ablehnen.
Zusammenfassend
Die Cognitive Firewall ist eine neue Art, KI zu schützen. Anstatt nur einzelne Sätze zu prüfen, agiert sie wie ein Detektiv, der:
- Das wahre Ziel des Nutzers herausfindet.
- Behauptungen von Autorität niemals glaubt.
- Auf langsame, gefährliche Muster über die Zeit hinweg achtet.
- Die endgültige Antwort überprüft.
Sie stoppt schlechte Dinge, bevor sie passieren, führt ein klares Protokoll darüber, warum sie gestoppt wurden, und vermeidet es, harmlose Gespräche zu blockieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.