Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation
Dieses Paper stellt das Open-Weight Masked Introspection (OWMI)-Framework vor, um zu testen, ob Frontier-Sprachmodelle in der Lage sind, präzise über ihre eigenen internen computergestützten Veränderungen zu berichten, wobei festgestellt wurde, dass die notwendigen Informationen zwar in ihren Aktivierungen vorhanden sind, aktuelle Open-Weight-Modelle jedoch daran scheitern, diesen internen Zustand in zuverlässige verbale Berichte zu übersetzen, wobei sie nicht besser als der Zufall abschneiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz etabliert sich eine ganz bestimmte Art von Vertrauen: die Vorstellung, dass eine Maschine in ihren eigenen Geist hineinsehen und uns sagen kann, was sie denkt. Da diese Systeme immer komplexer werden, haben Entwickler und Sicherheitsforscher begonnen, sich auf eine Praxis namens Selbstberichterstattung zu verlassen. Die Annahme ist, dass, wenn ein Modell seine Argumentation erklärt oder seine eigene Antwort kritisiert, diese Erklärung eine getreue Karte der internen Schritte ist, die es zu diesem Schluss geführt haben. Dieser Glaube bildet das Fundament vieler aktueller Sicherheitsstrategien, wie etwa die Aufforderung an ein System, seine eigene Arbeit auf Fehler zu prüfen oder zu erklären, warum es einen bestimmten Pfad gewählt hat. Wenn ein Modell seinen internen Zustand genau beschreiben kann, könnten wir theoretlich seine eigene Aussage nutzen, um Fehler oder verborgene Gefahren zu entdecken, bevor sie entstehen. Doch diese gesamte Sicherheitsarchitektur ruht auf einer einzigen, unbewiesenen Prämisse: dass die Maschine tatsächlich weiß, was in ihren eigenen Schaltkreisen vorgeht.
Ein Forscher setzte sich zum Ziel, diese Prämisse direkt zu testen, indem er über die Theorie hinausging und ein strenges Experiment mit acht verschiedenen Open-Weight-Sprachmodellen durchführte. Er wollte wissen, ob diese Systeme wirklich introspektiv sein können oder ob sie lediglich raten, wenn sie nach ihren eigenen Operationen gefragt werden. Um dies herauszufinden, entwickelte er ein Framework, das er „Open-Weight Masked Introspection“ nennt. Der Prozess war geradlinig, aber invasiv. Der Forscher nahm eine Standardfrage aus einem Benchmark-Test, ließ das Modell mit seiner Arbeit beginnen und veränderte dann heimlich einen spezifischen Teil seiner internen Berechnung. Er könnte eine einzige Verbindung im Netzwerk manipuliert, den Fokus eines Attention-Mechanismus verschoben oder ein spezifisches Merkmal angepasst haben, das das Modell zum Verständnis von Sprache nutzt. Diese Änderungen waren real, messbar und dem Forscher bekannt, aber für das Modell selbst unsichtbar.
Nachdem er diese internen Anpassungen vorgenommen hatte, stellte der Forscher dem Modell eine einfache Frage: Hat sich etwas an deiner Berechnung geändert? Er führte diesen Test über 78.000 Mal an Modellen unterschiedlicher Größe durch, von kleinen Systemen mit 0,5 Milliarden Parametern bis hin zu größeren mit 15 Milliarden Parametern. Er bezog auch strenge Kontrollmechanismen ein, um sicherzustellen, dass die Modelle nicht nur rraten. Er führte „Schein-Durchläufe“ durch, bei denen gar nichts verändert wurde, und er führte Durchläufe durch, bei denen er zufälliges Rauschen einführte, das die Ausgabe des Modells genauso sehr störte wie die echten Änderungen, jedoch kein spezifisches internes Objekt angriff. Er ließ sogar eine separate, unveränderte Version des Modells nur den finalen Textausgang lesen, um zu sehen, ob ein menschlicher Beobachter den Unterschied allein durch das Lesen der Antwort feststellen könnte.
Die Ergebnisse waren klar und konsistent. Über alle getesteten Modelle hinweg konnte keines von ihnen eine echte interne Änderung von einem Schein-Durchlauf besser unterscheiden als durch bloßes Raten. Wenn der Forscher die Daten aus tausenden Durchläufen zusammenführte, war die Fähigkeit der Modelle, die Änderung zu erkennen, statistisch nicht von einem Münzwurf zu unterscheiden. Sie schnitten nicht besser ab, wenn die Änderung real war, noch schlechter, wenn sie vorgetäuscht war. Ihre Antworten waren effektiv Rauschen. Dieses Ergebnis blieb bestehen, selbst wenn der Forscher verschiedene Arten von internen Komponenten, verschiedene Schichten des Netzwerks und verschiedene Arten von Aufgaben betrachtete, von mathematischen Problemen bis hin zu Allgemeinwissen. Die Schlussfolgerung ist, dass für die getesteten Modelle die Fähigkeit, über ihren eigenen internen Zustand zu berichten, nicht existiert.
Die Geschichte endet jedoch nicht mit einem einfachen Scheitern. Der Forscher entdeckte, dass die Information über die Änderung tatsächlich im Modell vorhanden war, nur nicht in den Worten, die es zu sprechen wählte. Er nutzte ein separates Werkzeug, eine lineare Sonde (Linear Probe), um die Rohdaten zu lesen, die durch die internen Schichten des Modells flossen. Dieses Werkzeug konnte die Änderung mit hoher Genauigkeit erkennen, oft 95 Prozent oder mehr, was bewies, dass das Signal vorhanden war. Darüber hinaus nahm er eines der Modelle und feinteilte es speziell darauf ab, diese Änderungen zu melden. Dieses trainierte Modell konnte die Änderungen mit nahezu perfekter Genauigkeit identifizieren. Dies beweist, dass die Modelle nicht unfähig sind, die Änderung wahrzunehmen; vielmehr ist der Pfad von dieser internen Wahrnehmung zur finalen gesprochenen Antwort unterbrochen. Die Information existiert, aber das Modell kann sie nicht in einen wahrheitsgemäßen Bericht übersetzen.
In einem spezifischen Fall fand der Forscher ein subtiles Signal, das nicht in den Worten, sondern in der mit ihnen verbundenen Konfidenz auftauchte. Ein Modell gab jedes Mal dieselbe Antwort und sagte: „Es trat keine Änderung auf“, ungeachtet dessen, ob tatsächlich eine Änderung stattgefunden hatte oder nicht. Doch wenn das Modell verändert worden war, drückte es deutlich weniger Zuversicht bei dieser Antwort aus. Das Modell wusste, dass etwas nicht stimmte, aber es konnte es nicht artikulieren. Dies deutet darauf an, dass die Modelle zwar ein vages, unausgesprochenes Gefühl der Störung haben mögen, aber nicht die Fähigkeit besitzen, dies zu artikulieren.
Die Implikationen dieser Erkenntnis sind bedeutsam für die Art und Weise, wie wir künstliche Intelligenz überwachen. Aktuelle Sicherheitspraktiken verlassen sich oft auf die Selbstauskunft eines Modells, etwa indem man es bittet, seine Argumentation zu erklären oder seine Ausgabe zu kritisieren. Wenn das Modell nicht in der Lage ist, seinen internen Zustand genau zu berichten, dann sind diese Methoden fundamental fehlerhaft. Ein Modell könnte einen Denkprozess selbstbewusst erklären, der niemals tatsächlich stattgefunden hat, oder behaupten, es habe seine Arbeit überprüft, obwohl es dies nicht getan hat. Der Forscher kommt zu dem Schluss, dass Aufsichtssysteme sich nicht auf die Selbstbeschreibung eines Modells verlassen können. Stattdessen müssen sie nach anderen Wegen suchen, um die Berechnung zu verifizieren, wie etwa das direkte Auslesen der internen Signale oder die Verwendung externer Werkzeuge, denn die eigene Stimme des Modells ist kein zuverlässiger Zeuge seines eigenen Geistes. Die Studie schließt nicht aus, dass zukünftige, größere Modelle diese Fähigkeit entwickeln könnten, aber für die aktuelle Generation von Open-Weight-Modellen ist die Fähigkeit zur Introspektion nicht vorhanden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.