Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability
Diese Arbeit zeigt, dass der Knobe-Effekt, ein moralischer Bias bei Intentionalitätsurteilen, in feinabgestimmten großen Sprachmodellen auftritt, aber auf spezifische Schichten lokalisiert und durch gezielte Layer-Patching-Interventionen ohne erneutes Training gemildert werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein guter Richter zu sein. Sie geben ihm nicht einfach ein Regelwerk; Sie zeigen ihm tausende Geschichten über Menschen, die Entscheidungen treffen, und fragen: „War dieser Mensch gut oder böse?“ Mit der Zeit lernt der Roboter Muster. Aber hier liegt der knifflige Teil: Menschen sind keine perfekten Richter. Wir haben oft versteckte Vorurteile. Wenn zum Beispiel eine Person versehentlich ein schlechtes Ergebnis verursacht, neigen wir viel eher dazu zu sagen: „Sie wollten es so!“, als wenn sie versehentlich ein gutes Ergebnis verursacht hätte. Dies ist ein berühmter psychologischer Ticks, den man als „Knobe-Effekt“ bezeichnet. Es ist, als hätten unsere Gehirne einen eingebauten Filter, der uns glauben lässt, dass schlechte Unfälle eigentlich Absicht waren, während gute Unfälle nur Glück waren.
Wissenschaftler sind besorgt, dass Roboter dieselben seltsamen Filter übernehmen könnten, wenn wir sie lehren, wie wir zu handeln. Wenn ein Roboter moralische Entscheidungen für uns trifft, müssen wir wissen: Denkt er wie ein Mensch oder ist er nur ein riesiger Taschenrechner? Hier kommt „mechanistische Interpretierbarkeit“ ins Spiel. Stellen Sie sich das riesige Robotergehirn wie eine gewaltige Stadt mit Millionen winziger Arbeiter (Neuronen) vor, die sich gegenseitig Zettel zuwerfen. Mechanistische Interpretierbarkeit ist wie das Aufsetzen einer Röntgenbrille, um genau zu sehen, welche Arbeiter welche Zettel weitergeben. Anstatt nur zu raten, warum der Roboter eine bestimmte Antwort gegeben hat, können wir in die Maschine hineinschauen, um die spezifischen Zahnräder zu sehen, die sich drehen. Das ist wichtig, denn wenn wir genau finden können, wo ein Vorurteil im Roboter lebt, können wir vielleicht genau dieses eine Zahnrad reparieren, ohne die ganze Stadt neu bauen zu müssen.
Die Forscher in dieser Arbeit beschlossen, diese Idee auf die Probe zu stellen. Sie wollten sehen, ob populäre KI-Modelle (speziell Llama, Mistral und Gemma) den „Knobe-Effekt“ übernommen hatten und ob sie, falls dies der Fall war, auch die exakte Stelle in der KI-„Gehirnstruktur“ finden konnten, an der dieses Vorurteil verborgen lag. Sie begannen damit, die KI-Modelle mit denselben moralischen Geschichten zu testen, die auch bei menschlichen Probanden verwendet wurden. Sie fanden heraus, dass die „rohen“ KI-Modelle, die noch nicht darauf trainiert worden waren, wie Menschen zu sprechen, dieses Vorurteil kaum zeigten. Ihre Antworten waren ziemlich ausgewogen. Sobald die Forscher diese Modelle jedoch „feingetunt“ hatten – also darauf trainiert hatten, Anweisungen zu befolgen und menschliche Präferenzen zu berücksichtigen – trat das Vorurteil plötzlich zutage. Die KI begann genau wie wir zu handeln: Sie neigte viel stärker dazu, ein schlechtes Ergebnis als beabsichtigt anzusehen als ein gutes.
Aber die wahre Magie geschah, als sie in die Maschine blickten. Unter Verwendung einer Technik namens „Layer-Patching“ behandelten die Forscher die KI wie eine Reihe von Schichten, vergleichbar mit den Etagen eines Wolkenkratzers. Sie vermuteten, dass das Vorurteil nicht überall verstreut war, sondern in einer spezifischen Gruppe von Etagen feststeckte. Um dies zu testen, nahmen sie die „Gedanken“ (Aktivierungen) des unvoreingenommenen, rohen Modells und tauschten sie in das voreingenommene, feingetunte Modell ein, und zwar Etage für Etage. Es war, als würde man einen sauberen, unvoreingenommenen Bauplan nehmen und ihn über eine bestimmte Etage eines korrumpierten Gebäudes kleben, um zu sehen, ob die gesamte Struktur wieder ehrlich wird.
Die Ergebnisse waren überraschend präzise. Sie entdeckten, dass das Vorurteil nicht zufällig verstreut war, sondern lokalisiert in den mittleren bis oberen Schichten des KI-Gehirns lag. Noch aufregender war, dass sie feststellten, dass das Austauschen nur einer spezifischen Schicht aus der unvoreingenommenen Version in das voreingenommene Modell ausreichte, um den Knobe-Effekt fast vollständig zu löschen. Bei einigen Modellen sank das Vorurteil von einem starken Wert von 1,6 oder 3,8 auf nahezu Null (0,00 oder 0,03). Und das Beste daran? Sie taten dies, ohne das Modell neu zu trainieren oder seine Gewichte zu verändern. Es war ein chirurgischer Eingriff. Sie überprüften auch, ob diese „Operation“ die Fähigkeit der Roboter beeinträchtigte, andere Dinge zu tun, wie etwa allgemeine Fragen zu beantworten, und stellten fest, dass die Modelle weiterhin genauso intelligent blieben wie zuvor.
Die Arbeit legt nahe, dass diese sozialen Vorurteile keine mysteriösen, unheilbaren Magien sind, die aus dem gesamten System entstehen. Stattdessen sind sie spezifische, lokalisierte Muster, die während des Trainingsprozesses in das KI-Gehirn geschrieben werden, wenn wir versuchen, sie so agieren zu lassen, wie Menschen es tun. Durch die Nutzung dieser Röntgenbrillen und chirurgischen Austauschverfahren haben die Forscher gezeigt, dass wir diese Vorurteile erkennen und durch gezielte Interventionen entfernen können, wodurch die KI hilfreich bleibt, ohne die unerwünschten menschlichen Eigenheiten zu übernehmen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.