What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
Diese Arbeit zeigt auf, dass aktuelle Compliance-Detektoren unter „Regelblindheit“ leiden, indem sie sich nicht wahrhaft auf die festgelegten regulatorischen Regeln verlassen, sondern auf Oberflächenmerkmale, und demonstriert, dass selbst der vorgeschlagene trainingsfreie Internal Compliance Score (ICS) gegenüber trivialen Baselines und adaptiven Angriffen nicht robust ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Welt fungieren große Sprachmodelle als leistungsstarke Motoren zur Generierung von Texten, vom Entwerfen von E-Mails bis hin zum Beantworten komplexer Fragen. Wenn diese Werkzeuge jedoch in regulierten Bereichen wie dem Finanzwesen, dem Gesundheitswesen oder dem Recht eingesetzt werden, müssen sie strengen schriftlichen Regeln folgen. Eine Bank könnte beispielsweise eine Richtlinie haben, dass personenbezogene Daten innerhalb von neunzig Tagen gelöscht werden müssen. Um sicherzustellen, dass die KI dies befolgt, setzen Unternehmen oft „Guard-Modelle“ ein – spezialisierte Klassifikatoren, die darauf trainiert sind, den Output der KI zu scannen und etwaige Verstöße zu melden. Die Hoffnung ist, dass diese Wächter die bereitgestellte spezifische Regel lesen und prüfen, ob die Antwort der KI mit ihr übereinstimmt. Wenn der Wächter korrekt arbeitet, sollte er einen Verstoß nur dann melden, wenn die spezifische Regel gebrochen wird, und nicht bloß, weil das Thema riskant klingt.
Ein Team von Forschern der Lexsi Labs setzte sich zum Ziel zu testen, ob diese Compliance-Monitore tatsächlich die Regeln verstehen, die sie eigentlich durchsetzen sollen. Sie untersuchten ein Phänomen, das sie „Regelblindheit“ (rule blindness) nennen. Dies tritt auf, wenn ein Detektor das gleiche Urteil fällt, unabhängig von der Regel, die er eigentlich überprüfen soll. Stellen Sie sich einen Sicherheitswachmann in einem Museum vor, der jeden Besucher stoppt, der eine rote Tasche trägt, nicht weil rote Taschen verboten sind, sondern weil der Wachmann gelernt hat, die Farbe Rot schlichtweg mit Gefahr zu assoziieren. Wenn das Museum die Regel ändert und nun blaue Taschen verbietet, würde ein regelblinder Wachmann immer noch die roten Taschen stoppen und die blauen ignorieren – er würde die neue Anweisung völlig verfehlen. Die Forscher wollten wissen, ob die digitalen Wächter, die unsere Daten schützen, unter demselben Problem leiden.
Das Team begann damit, eine Vielzahl existierender Guard-Modelle und Aktivierungs-Sonden (activation probes) zu testen – Werkzeuge, die in das interne Wirkungsgefüge der KI blicken, um deren Absichten zu erahnen. Sie verwendeten eine Methode des kontrafaktischen Testens, bei der die Eingabe auf spezifische Weise verändert wird, um zu sehen, wie das System reagiert. In ihren Experimenten nahmen sie ein Szenario, in dem Daten für vierhundert Tage aufbewahrt wurden, was eine neuntägige Regel eindeutig verletzt. Dann ersetzten sie diese neunzig-Tage-Regel durch eine völlig andere, unzusammenhängende Regel oder entfernten die Regel sogar ganz. Überraschenderweise meldeten die Guard-Modelle den Verstoß genauso häufig und mit derselben Konfidenz, selbst wenn die maßgebliche Regel nicht mehr vorhanden oder geändert war. Die Detektoren verfolgten das Szenario – die Tatsache, dass Daten zu lange aufbewahrt wurden – anstatt der spezifischen Regel, die den Verstoß ausmacht. Dieses Versagen war nicht auf einen Modelltyp beschränkt; es trat sowohl bei festen Sicherheitsklassifikatoren auf, die die Regel überhaupt nicht sehen, als auch bei hochentwickelten „policy-conditioned“ Guards auf, die explizit darauf ausgelegt sind, benutzerdefinierte Regeln zu lesen und zu befolgen. Ein solcher Guard zitierte korrekt zu neunundneunzig bis fünfundneunzig Prozent die Position der Regel im Text, doch sein endgültiges Urteil änderte sich kaum, als die Regel durch eine permissive Regel ersetzt wurde, die das Verhalten zuließ.
Um zu verstehen, was diese Systeme tatsächlich lasen, entwickelten die Forscher einen neuen, zweckgebundenen Benchmark. Sie erstellten einen Test, bei dem die Antwort vollständig von der Interaktion zwischen einer spezifischen Regel und einem spezifischen Szenario abhängt, sodass weder der Text der Regel noch der Text des Szenarios allein das Ergebnis vorhersagen kann. Zum Beispiel könnte eine Regel besagen, dass eine Bank Konten unter tausend Dollar vereinfacht prüfen darf, während eine andere Regel das Limit auf fünftausend Dollar setzt. Wenn ein Szenario ein Konto mit zweitausend Dollar beschreibt, hängt das Urteil vollständig davon ab, welche Regel gerade aktiv ist. Als sie ihre Tests auf diesem unkonfundierten Benchmark durchführten, schnitt jeder getestete effiziente Detektor nicht besser ab als durch Zufall. Das einzige System, das erfolgreich war, war ein großes Sprachmodell, dem erlaubt wurde, Schritt für Schritt zu argumentieren (reason step-by-step) und das Problem vor der Antwort zu zerlegen. Dies deutzeugte darauf hin, dass die schnellen, automatisierten Detektoren die Regel nicht mit dem Szenario verknüpften, sondern lediglich ein breites Signal für einen „Verstoß“ basierend auf den Oberflächenmerkmalen des Textes erkannten.
Die Forscher führten daraufhin ein neues, trainingsfreies Werkzeug namens „Internal Compliance Score“ ein. Diese Methode liest die internen Aktivierungssignale der KI direkt aus und benötigt lediglich zehn Paare von Beispielen zur Kalibrierung. Sie ist extrem kostengünstig und schnell, da sie kein Retraining und keine zusätzlichen Verarbeitungsschritte erfordert. Sie fanden heraus, dass dieses Werkzeug exzellent darin ist, Kandidatenantworten zu ranken, was hilft, die konformste Antwort aus einer Liste von Optionen auszuwählen. In Tests verbesserte es die Erfolgsquote bei Aufgaben zur Befolgung von Anweisungen um fünf Prozentpunkte. Doch dieselbe Regelblindheit, die die anderen Guards plagte, betraf auch diesen neuen Score. Wenn die Regel gelöscht oder geändert wurde, blieb der Score unverändert. Das Werkzeug maß effektiv ein allgemeines Gefühl von Risiko statt einer spezifischen Einhaltung der geschriebenen Regel. Darüber hinaus entdeckten die Forscher, dass dieser Vorteil fragil war; ein geschickter, adaptiver Angriff konnte das System leicht täuschen, indem er nur wenige spezifische Wörter am Ende einer Antwort hinzufügte, was den Score auf das Niveau des Zufalls absinken ließ.
Die Studie offenbarte auch ein tiefer liegendes Problem bei der Messung von Compliance. Die Forscher prüften sieben öffentliche Benchmarks, die zur Testung dieser Systeme verwendet werden, und stellten fest, dass vier von ihnen „lexikalisch degeneriert“ waren. Das bedeutet, dass die Labels dafür, ob eine Antwort konform war oder nicht, in den Text selbst eingebettet waren, oft durch die Art und Weise, wie das Szenario geschrieben oder das Urteil narrativ gestaltet wurde. Ein einfaches Computerprogramm, das lediglich Wörter zählt, ohne Regeln zu verstehen, könnte diese Benchmarks mit hoher Genauigkeit lösen. Dies impliziert, dass viele frühere Behauptungen über die Fähigkeit eines Modells, Regeln zu befolgen, in Wirklichkeit nur Behauptungen über seine Fähigkeit waren, spezifische Wörter oder Satzstrukturen zu erkennen. Die Forscher kamen zu dem Schluss, dass diese Detektoren zwar nützlich sind, um Antworten zu sortieren und zu ranken, man sich jedoch nicht auf sie verlassen kann, um rechtliche oder auditbasierte Entscheidungen auf Grundlage spezifischer Regeln zu treffen. Sie vermitteln den Anschein einer regelspezifischen Sicherheit, sind aber in Wirklichkeit blind für die Regeln, die sie eigentlich durchsetzen sollen. Das Paper endet mit der Veröffentlichung der Werkzeuge und Protokolle, die für diese Tests verwendet wurden, um anderen zu ermöglichen, zukünftige Systeme vor dem Einsatz in der realen Welt auf dieselbe Blindheit zu prüfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.