Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons

Wenn wir ein großes Sprachmodell bitten, eine schädliche Anfrage abzulehnen, verlangen wir von ihm einen komplexen Akt der Selbstbeherrschung. Diese Modelle werden mit riesigen Mengen menschlicher Texte trainiert, um das nächste Wort in einem Satz vorherzusagen, aber sie durchlaufen auch eine spezielle Trainingsphase, um zu lernen, was sie nicht sagen sollen. Forscher auf dem Gebiet der mechanistischen Interpretierbarkeit behandeln diese Modelle wie komplizierte Maschinen, die man auseinandernehmen kann, um zu sehen, wie sie funktionieren. Sie glauben, dass spezifische Teile der internen Struktur des Modells als Torwächter fungieren, die entscheiden, ob eine Frage beantwortet oder abgelehnt wird. Um diese Torwächter zu finden, verwenden Wissenschaftler oft eine Methode namens Ablation. Dabei wird ein kleiner Teil des Modells vorübergehend deaktiviert, wie etwa eine einzelne Verarbeitungsschicht oder ein spezifisches Neuron, und man beobachtet dann, ob das Modell plötzlich schädliche Antworten produziert, die es zuvor nicht getan hätte. Wenn das Modell die Verweigerung nach der Deaktivierung eines Teils nicht mehr schafft, wird dieser Teil als entscheidend für die Sicherheit eingestuft. Das Ziel ist es, die genaue Mechanik der Verweigerung zu kartieren, damit wir verstehen und vielleicht verbessern können, wie diese Systeme sicher bleiben.

Eine aktuelle Studie von Yangyi Zhang an der Georgetown University untersucht einen spezifischen Fall dieser Forschung und stellt fest, dass die daraus gezogenen Schlussfolgerungen auf einer statistischen Illusion beruhen. Die Studie prüft ein archiviertes Experiment, in dem Forscher behaupteten, sechs spezifische Schichten und 205 spezifische Neuronen identifiziert zu haben, die als primäre Sicherheits-Torwächter eines Sprachmodells fungieren. Zhangs Analyse zeigt, dass diese Zahlen nicht die wahre Mechanik des Modells widerspiegeln. Stattdessen sind sie das Ergebnis eines Designfehlers im Experiment selbst, konkret eines Problems, das als Bodeneffekt (floor effect) bekannt ist. In diesem Kontext tritt der Bodeneffekt auf, weil der Test zur Messung der Sicherheit zu klein und zu schwach war, um echte Veränderungen zu detektieren. Das Experiment stützte sich auf eine Batterie von nur vier schädlichen Prompts, um das Modell zu testen. Bevor irgendein Teil des Modells deaktiviert wurde, hatte das Modell bereits drei von vier dieser Prompts nicht abgelehnt. Es war bei der Mehrheit der Testfälle bereits unsicher.

Da das Modell bei drei von vier Prompts bereits versagte, konnte das Deaktivieren eines einzelnen Teils des Modells nicht dazu führen, dass es noch häufiger versagte. Die Anzahl der unsicheren Antworten war unabhängig davon, welche Schicht ausgeschaltet wurde, bei einem Minimum von drei festgefahren. Der einzige Weg, wie eine Schicht als „entscheidend“ markiert werden konnte, bestand darin, dass sie zufällig diejenige war, die den einen verbleibenden sicheren Prompt zum Kippen in Richtung Unsicherheit brachte. Die Studie zeigt, dass die sechs als entscheidend gemeldeten Schichten einfach jene waren, die diesen einen spezifischen Prompt zum Kippen brachten. Die anderen 26 Schichten, die diesen Prompt nicht kippen ließen, wurden als sicher gemeldet, obwohl sie sich fast identisch mit den entscheidenden verhielten. Die Unterscheidung zwischen einer „entscheidenden“ Schicht und einer „sicheren“ Schicht war kein Unterschied darin, wie das Modell arbeitete, sondern ein Unterschied darin, wie die winzige Testbatterie zufällig funktionierte. Der gemeldete Satz von sechs entscheidenden Schichten war keine Entdeckung des Sicherheitsmechanismus des Modells, sondern eine Eigenschaft der vier verwendeten Prompts des Tests.

Die Untersuchung deckte auch ähnliche Probleme mit den Behauptungen bezüglich einzelner Neuronen auf. Im ursprünglichen Bericht wurde angegeben, dass Forscher Hunderttausende von Neuronen gescannt und 205 gefunden hatten, die entscheidend seien, wobei sie einen spezifischen Schwellenwert zur Auswahl verwendeten. Als Zhang jedoch die tatsächlichen Datendateien untersuchte, die in diesem Experiment gespeichert worden waren, stimmten die Zahlen nicht überein. Die gespeicherten Daten enthielten Aufzeichnungen für nur 500 Neuronen, nicht den vollständigen Satz, und die aufgezeichneten Impact-Scores für diese waren weit niedriger als der im Bericht verwendete Schwellenwert. In den gespeicherten Daten existierte kein Schwellenwert, der 205 Neuronen auswählen würde; stat�dessen zeigten die Daten, dass nur ein einziges Neuron den berichteten Schwellenwert überschritt. Die Behauptung von 205 entscheidenden Neuronen wurde durch die tatsächlich gespeicherten Beweise nicht gestützt. Darüber hinaus konnten andere spezifische Messungen, die im ursprünglichen Bericht erwähnt wurden – wie etwa die Geschwindigkeit einer Berechnung oder die Überschneidung zwischen verschiedenen Testmethoden – in keiner der gespeicherten Dateien gefunden werden. Die Zahlen tauchten im Text der Arbeit auf, konnten aber nicht auf die Rohdaten zurückgeführt werden.

Die Studie stellt auch die Behauptung infrage, dass die Bedeutung der Schichten des Modells einem glatten, vorhersehbaren Muster folgt, das mit zunehmender Tiefe im Netzwerk abnimmt. Der ursprüngliche Bericht legte nahe, dass der Einfluss des Deaktivierens der Schichten einer ordentlichen, exponentiellen Kurve folgt, wobei die wichtigste Arbeit in den allerersten Schichten geleistet wird. Die Re-Analyse der gespeicherten Daten zeigt jedoch, dass das tatsächliche Muster viel ungeordneter ist. Der Einfluss der Schichten nimmt nicht glatt ab; stattdessen wird er von einigen spezifischen Schichten dominiert, einschließlich der allerletzten Schicht des Netzwerks, die beim Deaktivieren einen großen Einfluss zeigte. Die Daten stützen nicht die Idee einer sauberen, abnehmenden Kurve. Stattdessen deuten sie auf eine komplexere Realität hin, in der die Sicherheit durch einen spärlich verteilten Satz von Schichten beeinflusst wird, die über das Modell gestreut sind, anstatt durch einen einzelnen, geordneten Zerfall.

Diese Arbeit beweist nicht, dass das Modell keine Sicherheitsmechanismen besitzt oder dass die Dual-Mechanism-Theorie falsch ist. Sie zeigt lediglich auf, dass die spezifischen Beweise, die in dem archivierten Durchlauf präsentiert wurden, unzurereichend sind, um diese Behauptungen zu stützen. Die Ergebnisse unterstreichen eine grundlegende Anforderung für diese Art von Forschung: Die Testbatterie muss groß genug sein und aus genügend Prompts bestehen, die das Modell tatsächlich ablehnt, damit die Deaktivierung eines Teils eine Veränderung des Ergebnisses bewirken kann. Wenn der Ausgangszustand bei den meisten Prompts bereits unsicher ist, kann der Test den Beitrag einzelner Teile nicht messen. Um wirklich zu identifizieren, welche Schichten oder Neuronen für die Sicherheit verantwortlich sind, benötigen Forscher eine viel größere Menge an baseline-sicheren Prompts und sie müssen die gesamte Verteilung der Ergebnisse melden, anstatt nur eine Liste von Schichten anzugeben, die einen willkürlichen Schwellenwert überschritten haben. Die Studie kommt zu dem Schluss, dass Attributionsansprüche nur so stark sind wie die Daten, aus denen sie neu berechnet werden können, und in diesem Fall unterstützten die Daten die gezogenen kühnen Schlussfolgerungen nicht.