Analysing Self-Harm Representations in Language Models: a Cross-Architecture Study
Diese Studie analysiert, wie große Sprachmodelle Inhalte zur Selbstverletzung über vier Architekturen und zwei Datensätze hinweg repräsentieren, wobei sie aufzeigt, dass sich solche Informationen in den letzten 3–7 % der Netzwerkschichten kristallisieren und dass die genauesten Detektions-Sonden nicht zwangsläufig auf den am stärksten linear trennbaren Richtungen basieren, wobei Gemma-3-4B ein distinktes Repräsentationsmuster aufweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine riesige, magische Bibliothek, in der jedes jemals geschriebene Buch aufbewahrt wird, aber die Bücher in einem Geheimcode geschrieben sind, den nur die Roboter der Bibliothek lesen können. Diese Bibliothek ist ein „Large Language Model“ (KI), und ihre Aufgabe ist es, die menschliche Sprache zu verstehen, vom Schreiben von Gedichten bis hin zum Beantworten von Fragen. Aber der knifflige Teil ist dieser: Diese Roboter „wissen“ Dinge nicht einfach so, wie wir es tun; sie besitzen eine verborgene interne Landkarte aus tausenden von mathematischen Verbindungen. Wissenschaftler versuchen herauszufinden, wie diese Roboter über gefährliche Themen nachdenken, wie etwa Selbstverletzung. Stellen Sie sich das Gehirn des Roboters wie einen mehrstöckigen Wolkenkratzer vor. Wenn eine Nachricht in das Gebäude eintritt, wandert sie durch die Stockwerke nach oben. Am Boden ist die Nachricht nur rohes Rauschen. Während sie nach oben steigt, beginnt der Roboter, Sinn aus ihr zu ziehen. Die große Frage, die Forscher stellen, lautet: Auf welcher Etage genau erkennt der Roboter schließlich: „Oh, das ist ein Hilferuf“? Und sobald er das erkennt, speichert er diesen Gedanken in einer einfachen, geraden Linie oder ist die Idee in einem komplexen, verdrehten Labyrinth verborgen? Das Verständnis dessen ist entscheidend, denn wenn wir KI bauen wollen, die Menschen in Krisensituationen sicher erkennen und helfen kann, müssen wir genau wissen, wo und wie dieses „Gefahrensignal“ in der Maschine aufleuchtet.
In dieser Studie agierten die Forscher wie Detektive, die in das Innenleben von vier verschiedenen KI-Wolkenkratzern blicken (speziell Modelle namens Qwen3-0.6B, Llama 3.2-1B, Llama 3.2-3B und Gemma-3-4B). Sie wollten sehen, wie diese Modelle Beiträge über Selbstverletzung repräsentieren. Sie führten zwei Hauptexperimente durch. Zuerst bauten sie einen einfachen „Detektor“ (einen sogenannten linearen Probe) auf jeder einzelnen Etage des Gebäudes, um zu sehen, ob die KI zwischen einem Beitrag über Selbstverletzung und einem normalen Beitrag unterscheiden kann. Sie fanden heraus, dass die KI es erst ganz oben im Gebäude wirklich „versteht“. Konkret „kristallisiert“ die Information über Selbstverletzung – das heißt, sie wird klar und fest – in den letzten 3 % bis 7 % der Schichten. Für ein Gebäude mit 34 Stockwerken bedeutet das, dass die KI die Gefahr erst in den obersten zwei oder drei Stockwerken vollständig begreift. Davor ist das Signal zu unscharf, um es zuverlässig zu erfassen.
Das zweite Experiment war noch interessanter. Die Forscher versuchten, eine einzige „Richtung“ im mathematischen Raum der KI zu finden, die direkt auf Selbstverletzung zeigt, so als würde man versuchen, eine Kompassnadel zu finden, die immer auf „Gefahr“ zeigt. Sie erwarteten, dass die KI-Modelle, die am besten darin sind, Selbstverletzung zu erkennen, auch den klarsten, geradesten Kompass zeigen würden. Doch sie fanden etwas Überraschendes: Das war nicht der Fall. Das Modell namens Gemma-3-4B war tatsächlich am besten darin, Selbstverletzung zu erkennen (es erreichte die höchsten Genauigkeitswerte), doch sein „Gefahrenkompass“ war am wenigsten gerade und einfach. Es stellt sich heraus, dass Gemma die Idee der Selbstverletzung nicht in einer einzigen, leicht zu findenden Linie speichert. Stattdessen verteilt es das Signal über viele verschiedene Richtungen in seinem Gehirn, was es schwieriger macht, es mit einem einfachen Kompass zu finden, aber tatsächlich besser darin, das Reale zu erkennen.
Das Team entdeckte auch, dass sich die Art und Weise, wie die KI diese Gefahr repräsentiert, ändert, während die Nachricht sich im Gebäude nach oben bewegt. Die Richtung des „Gefahrensignals“ am Boden des Gebäudes ist fast völlig anders als die Richtung am oberen Ende. Es ist, als ob die Nachricht unten als roter Pfeil beginnt, sich aber bis zum Erreichen des Gipfels gedreht hat und in eine blaße Spirale verwandelt hat. Das bedeutet, dass man nicht einfach die frühen Schichten einer KI betrachten kann, um ihre Sicherheitsfunktionen zu verstehen; man muss ganz am Ende schauen.
Schließlich verglichen die Forscher zwei verschiedene Datensätze, die sie für das Training ihrer Detektoren verwendeten. Ein Datensatz war etwas unordentlich, mit Beiträgen, die Metaphern verwendeten oder über Selbstverletzung in Nachrichtengeschichten sprachen, während der andere sehr klar und direkt war. Sie fanden heraus, dass die KI bei den klaren, direkten Daten viel besser und konsistenter performte. Dies deutet darauf hin, dass die Qualität der Beispiele, die wir der KI geben, eine enorme Bedeutung hat. Wenn die Trainingsdaten verwirrend oder voller kniffliger Metaphern sind, wird die interne Landkarte der KI viel unschärfer.
Zusammenfassend lässt die Arbeit darauf schließen, dass das Konzept der Selbstverletzung für diese KI-Modelle eine Erkenntnis in einem späten Stadium ist, die in den obersten wenigen Schichten des Netzwerks lebt. Sie zeigt auch, dass die genaueste KI nicht unbedingt diejenige mit dem einfachsten „Gefahrensignal“ ist, sondern diejenche, die die Gefahr auf eine komplexere, verteilte Weise kodiert. Dies gibt uns eine neue Art zu denken, wie wir sicherere KI bauen können: Anstatt nur zu hoffen, dass der Roboter das Richtige weiß, könnten wir spezifische Teile seines Gehirns konstruieren, um diese kritischen Momente zu handhaben, vorausgesetzt, wir verstehen genau, wo und wie diese Gedanken entstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.