On the Limits of Support-Preserving Alignment and Bounded Filtering

Stellen Sie sich vor, Sie versuchen, einem superintelligenten, unglaublich kreativen Roboter beizubringen, ein guter Bürger zu sein. Sie wollen ihn nicht lobotomieren oder sein Gedächtnis darüber löschen, wie die Welt funktioniert; Sie wollen lediglich seine Persönlichkeit so beeinflussen, dass es weniger wahrscheinlich ist, dass er etwas Gemeines oder Gefährliches sagt. Dies ist die Welt der Large Language Models (LLMs), der KI-Gehirne hinter vielen der Chatbots, die wir heute verwenden. Wissenschaftler haben eine Methode namens Alignment entwickelt, die wie das Geben eines neuen Satzes von Präferenzen an den Roboter ist. Anstatt ihm die Fähigkeit zu nehmen, über gefährliche Themen zu sprechen, lernt der Roboter, dass diese Themen „weniger unterhaltsam“ sind, um darüber zu sprechen, sodass er meistens die sichereren Antworten wählt.

Es gibt jedoch einen Haken. Selbst wenn der Roboter es bevorzugt, sicher zu sein, weiß er immer noch, wie man gefährlich ist. Um sicherzustellen, dass er nicht ausrutscht, setzen wir einen „Sicherheitsfilter“ vor ihn – einen Türsteher am Clubeingang. Dieser Türsteher ist schnell und kostengünstig im Betrieb, aber er kann nicht so tiefgründig und langsam denken wie der Roboter selbst. Die große Frage für Wissenschaftler ist: Wenn wir das Gehirn des Roboters exakt gleich lassen (nur ein wenig beeinflusst) und uns auf einen schnellen, begrenzten Türsteher verlassen, der das Schlimme abfängt, können wir den Roboter jemals zu 100 % sicher machen? Oder gibt es ein winziges, unsichtbares Leck, das wir einfach nicht stopfen können?

---

Das große KI-Sicherheitsleck: Warum „gut genug“ vielleicht nicht gut genug ist

In dieser Arbeit untersuchten die Forscher Aryan Dutt, Rui Mao und Anupam Chattopadhyay von der Nanyang Technological University die Grenzen dieses Sicherheitsaufbaus. Sie wollten wissen, ob es eine „Schadensuntergrenze“ (harm floor) gibt – einen Punkt, an dem man, egal wie sehr man sich bemüht, die Rate der schlechten Antworten nicht auf Null senken kann.

Betrachten Sie das KI-Modell als eine riesige Bibliothek, die jede jemals geschriebene Geschichte enthält, einschließlich einiger sehr gefährlicher. Alignment ist wie das Anbringen eines „Nicht lesen“-Aufklebers auf die gefährlichen Bücher. Der Bibliothekar (die KI) besitzt die Bücher immer noch, aber ihm wurde gesagt, zuerst die sicheren Bücher auszuwählen. Der Sicherheitsfilter ist ein Sicherheitswachmann, der die Bücher überprüft, die der Bibliothekar auswählt, bevor Sie sie erhalten. Das Problem ist, dass der Sicherheitswachmann dafür bezahlt wird, schnell zu sein; er kann nur einen Blick auf ein paar Seiten werfen oder ein paar schnelle Fragen stellen. Er kann nicht das ganze Buch langsam lesen, um eine versteckte Falle zu finden.

Die Forscher fragten: Wenn der Bibliothekar immer noch die gefährlichen Bücher besitzt (weil wir sie nicht gelöscht, sondern nur weniger wahrscheinlich werden ließen, dass sie ausgewählt werden), und der Wachmann zu schnell ist, um jedes einzelne Trick zu entdecken – können wir dann jemals verhindern, dass alle schlechten Bücher durchkommen?

Das Experiment: Den Türsteher an die Grenze treiben

Um dies herauszufinden, stellte das Team ein massives Experiment auf. Sie nahmen mehrere der klügsten verfügbaren KI-Modelle (einschließlich berühmter Modelle wie LLaMA und Nemotron) und hüllten sie in verschiedene Arten von „Sicherheitswachmännern“.

Sie testeten drei Arten von Wachmännern:

1. Der Black-Box-Wachmann: Dieser Wachmann sucht nur nach bestimmten „schlechten Wriorden“ oder einfachen Mustern. Er ist schnell, aber ein wenig dumm.
2. Der White-Box-Wachmann: Dieser Wachmann ist etwas intelligenter; er schaut zusätzlich zur Überprüfung auf schlechte Wörter auch auf die Länge der Antwort und darauf, wie sicher sich die KI scheint.
3. Der statistische Abfrage-Wachmann: Dieser Wachmann ist wie ein Detektiv, der der KI dieselbe Frage viele Male stellt, um ein Gefühl für den „Vibe“ zu bekommen, bevor er eine Entscheidung trifft.

Anschließend fütterten sie diese KI-Modelle mit kniffligen Fragen, die darauf ausgelegt waren, sie dazu zu bringen, gefährliche Ratschläge zu geben, wie etwa, wie man einen Computer hackt oder eine Waffe baut. Dies taten sie, während sie das „Budget“ für die Wachmänner erhöhten – im Grunde erlaubten sie den Wachmännern, mehr Fragen zu stellen oder mehr Optionen zu prüfen, bevor sie mit „Ja“ oder „Nein“ antworteten.

Die Entdeckung: Die Wand, die nicht bricht

Die Ergebnisse waren überraschend und ein wenig besorgniserregend.

Als die Forscher den Wachmännern mehr Zeit und mehr Fragen gaben (indem sie das Budget von 1 auf 64 Prüfungen erhöhten), ging die Anzahl der gefährlichen Antworten tatsächlich zurück. Die Wachmänner wurden besser darin, das offensichtlich Schlechte zu fangen. Aber hier ist der entscheidende Punkt: Die Rate der schlechten Antworten erreichte niemals Null.

Egal wie sehr sie das Budget erhöhten, oder wie intelligent der Wachmann war, oder wie gut die KI ausgerichtet (aligned) war – die gefährlichen Antworten hörten auf zu sinken und erreichten eine flache Linie. Es war wie der Versuch, eine Badewanne mit einem winzigen Becher zu entleeren; irgendwann kann man die letzten Tropfen einfach nicht herausbekommen, weil der Becher zu klein ist, um das Wasser aufzufangen, das in die Ecken spritzt.

Die Forscher fanden diese „Schadensuntergrenze“ in jedem der getesteten Modelle, von den kleineren bis hin zu den massiven, superintelligenten Modellen. Selbst die am besten ausgerichteten Modelle, die normalerweise die Antwort auf schlechte Fragen verweigern, unterliefen gelegentlich Fehler, wenn die Fragen knifflig genug waren.

Warum passiert das?

Das Paper legt nahe, dass dies aufgrund einer Diskrepanz in der „Denktiefe“ geschieht. Das KI-Modell ist wie ein tiefgründiger Denker, der komplexe, mehrstufige Szenarien sich vorstellen kann. Der Sicherheitsfilter hingegen ist gezwungen, oberflächlich und schnell zu sein, um mit dem Echtzeit-Chat Schritt zu halten.

Stellen Sie sich ein Versteckspiel vor. Die KI (der Versteckspieler) darf Stunden lang nachdenken, um den perfekten Versteckort zu finden. Der Filter (der Sucher) darf nur 5 Sekunden suchen. Selbst wenn der Versteckspieler versucht, brav zu sein, wird es immer ein paar Stellen geben, die so clever versteckt sind, dass der 5-Sekunden-Sucher sie übersieht. Weil die KI immer noch weiß, wie man sich in diesen Stellen versteckt (die „Unterstützung“ bzw. der „Support“ des gefährlichen Verhaltens ist immer noch vorhanden), und der Sucher nicht lange genug schauen kann, um sie alle zu finden, schlüpfen immer einige schlechte Antworten durch.

Was dies für die Zukunft bedeutet

Die Autoren sagen vorsichtig, dass dies nicht bedeutet, dass KI hoffnungslos ist oder dass wir aufgeben sollten. Es bedeutet nur, dass die derzeitige Vorgehensweise – die Präferenzen der KI anzupassen und einen schnellen Filter obenauf zu setzen – eine harte Grenze hat. Man kann die KI immer sicherer machen, aber man erreicht mit dieser spezifischen Methode vielleicht nie „perfekte Sicherheit“.

Es deutet darauf an, dass wir, um das Problem wirklich zu lösen, vielleicht das Gehirn der KI selbst ändern müssen, nicht nur ihre Präferenzen oder einen besseren Türsteher hinzufügen dürfen. Wir müssen die KI vielleicht dazu bringen, bestimmte gefährliche Dinge nicht zu wissen, anstatt nur darauf zu hoffen, dass sie sich entscheidet, sie nicht zu sagen. Bis wir das herausfinden, wird es immer ein winziges, hartnäckiges Leck an Risiko geben, das wir mit Filtern allein nicht stopfen können.