Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter gebaut, der Geschichten schreiben, mathematische Probleme lösen und über alles Mögliche chatten kann. Aber es gibt einen Haken: Sie müssen sicherstellen, dass er nicht versehentlich jemandem hilft, eine Bombe zu bauen oder einen böswilligen Brief zu schreiben. Das ist die Welt der Large Language Models (LLMs), der KI-Gehirne hinter vielen der Chatbots, die wir heute nutzen. Um sie sicher zu machen, „alignen“ Ingenieure sie, indem sie ihnen beibringen, auf gefährliche Anfragen mit „Nein“ zu antworten. Lange Zeit glaubten Wissenschaftler, dass diese „Sicherheit“ wie ein weicher, unsichtbarer Nebel sei, der gleichmäßig über das gesamte Gehirn des Roboters verteilt ist. Wenn man irgendeinen Teil des Gehirns verändern würde, würde sich die Sicherheit vielleicht ein wenig bewegen, aber sie bliebe im Wesentlichen gleich. Doch in der realen Welt sind diese Sicherheitsbarrieren überraschend zerbrechlich. Ein geschickter Trick oder eine kleine Änderung kann dazu führen, dass der Roboter seine Regeln völlig vergisst. Dies wirft ein großes, spannendes Rätsel auf: Wo genau ist der „Nein“-Knopf im Gehirn des Roboters versteckt? Ist er überall verstreut oder ist er in einer ganz bestimmten, winzigen Ecke untergebracht?

Ein Team von Forschern beschloss, Detektiv zu spielen, um dieses Rätsel zu lösen. Anstatt nur zu raten, probierten sie ein wildes Experiment aus: die Gewichtstransplantation. Stellen Sie sich zwei identische Roboter vor. Einer ist der „Gute Roboter“ (sicherheitsorientiert/aligned) und der andere ist der „Nicht-ausgerichtete Roboter“ (die ursprüngliche, nicht ausgerichtete Version). Die Forscher begannen, Teile des Gehirns des Guten Roboters Stück für Stück in den Nicht-ausgerichteten Roboter einzusetzen, um zu sehen, welche Teile tatsächlich die „Ablehnungskraft“ besaßen. Sie tauschten nicht ganze Gehirne aus, sondern spezifische Arten von Verbindungen, wie etwa die Teile, die sich auf Wörter konzentrieren (Attention-Gewichte), im Gegensatz zu den Teilen, die Informationen verarbeiten und denken (MLP-Schichten).

Hier ist, was sie fanden, und es ist ein bisschen so, als würde man entdecken, dass das „Nein“ des Roboters kein ganzes Team von Wächtern ist, sondern eine sehr spezifische, winzige Einheit von Spezialisten:

1. Die „Denk“-Teile leisten die Schwerstarbeit
Die Forscher erwarteten, dass die Teile des Gehirns, die sich auf den Kontext konzentrieren (die sogenannten Attention-Gewichte), die Hauptsicherheitswächter sein könnten. Aber sie lagen falsch! Als sie nur die „denkenden“ Teile (die sogenannten MLP-Gewichte) des Guten Roboters in den Nicht-ausgerichteten Roboter einsetzten, begann der Nicht-ausgerichtete Roboter plötzlich, gefährliche Anfragen mindestens 2,7-mal häufiger abzulehnen als beim Austausch der „fokussierenden“ Teile. Es stellt sich heraus, dass das Sicherheits-„Nein“ hauptsächlich in den MLP-Schichten kodiert ist, also in den Teilen des Netzwerks, die Informationen tatsächlich verarbeiten und transformieren.

2. Die „Mitte“ ist die magische Zone
Aber es ist nicht einfach irgendein Denk-Teil. Die Forscher entdeckten, dass das Sicherheitssignal in einem sehr spezifischen mittleren Abschnitt des Gehirns konzentriert ist. In den Modellen, die sie testeten, wurde die stärkste „Ablehnungskraft“ in Block 3 gefunden, was den Schichten 8 bis 11 entspricht. Wenn man das Gehirn des Roboters als ein 28-stöckiges Gebäude betrachtet, leben die Sicherheitswächter hauptsächlich in den 8. bis 11. Etagen. Als sie nur diese spezifischen Stockwerke austauschten, wurde der Roboter viel besser darin, „Nein“ zu sagen.

3. Mehr ist nicht immer besser (Der „Goldlöckchen“-Effekt)
Hier kommt die Wendung, die die Geschichte noch interessanter macht. Die Forscher dachten, wenn ein Block Sicherheit gut sei, dann wäre das Austauschen aller Sicherheitsblöcke perfekt. Aber das war es nicht! In vielen Fällen führte das Hinzufügen von mehr ausgerichteten Blöcken dazu, dass der Roboter schlechter darin wurde, schlechte Anfragen abzulehnen. Es ist wie bei einem Team von Sicherheitsw guards: Wenn man zu viele mitbringt, fangen sie vielleicht an, sich gegenseitig zu behindern oder zu streiten, und die Sicherheit sinkt. Die Forscher fanden heraus, dass eine selektive Mischung aus nur sechs Blöcken oft besser funktionierte als der Austausch des gesamten Sicherheitssystems. Manchmal führte das Hinzufügen eines siebten Blocks sogar dazu, dass die Fähigkeit des Roboters, „Nein“ zu sagen, sank.

4. Die „Über-Ablehnungs“-Falle
Es gibt noch einen Haken. Dieselben Teile, die den Roboter dazu bringen, bei schlechten Anfragen „Nein“ zu sagen, bringen ihn auch dazu, bei harmlosen Anfragen „Nein“ zu sagen. Dies wird als Über-Ablehnung (Over-refusal) bezeichnet. Als die Forscher die MLP-Gewichte austauschten, wurde der Roboter zwar großartig darin, Bösewichte zu stoppen, aber er begann auch, harmlose Fragen wie „Wie ist das Wetter?“ oder „Erzähl mir einen Witz“ abzulehnen. Dies deutet darauf hin, dass der Sicherheitsmechanismus ein etwas stumpfes Instrument ist; es ist schwer, das „Stoppe schlechte Dinge“-Signal vom „Stoppe alles“-Signal allein durch das Austauschen von Teilen zu trennen.

Warum ist das wichtig?
Diese Entdeckung legt nahe, dass Sicherheit in der KI kein riesiger, unzerbrechlicher Schild ist, der über das gesamte Netzwerk verteilt ist. Stattdessen ist sie ein lokalisiertes und zerbrechliches Merkmal, das in einigen spezifischen Schichten konzentriert ist. Dies erklärt, warum die KI-Sicherheit so brüchig sein kann: Wenn man versehentlich diese spezifischen Schichten (Schichten 8–11) verändert oder entfernt, kann das gesamte Sicherheitssystem zusammenbrechen. Es bedeutet auch, dass wir, wenn wir die KI-Sicherheit in Zukunft verbessern wollen, nicht den ganzen Roboter neu trainieren müssen. Wir müssen vielleicht nur diese spezifischen „mittleren“ Schichten sorgfältig abstimmen oder schützen.

Die Forscher haben kein magisches Heilmittel gefunden, das alle Sicherheitsprobleme löst. Sie haben herausgefunden, dass Sicherheit interaktionssensitiv ist, was bedeutet, dass die Teile des Gehirns auf komplexe Weise zusammenarbeiten und man nicht einfach mehr Sicherheits-Teile hineinkippen kann und ein besseres Ergebnis erwartet. Aber indem sie genau bestimmt haben, wo das „Nein“ lebt, haben sie uns eine Karte gegeben, um zu verstehen, warum KI manchmal versagt und wie wir in Zukunft bessere, robustere Sicherheitssysteme bauen können. Es ist eine Erinnerung daran, dass selbst in der riesigen, komplexen Welt der KI die wichtigsten Dinge oft in der Mitte passieren.