Value Drifts: Tracing Value Alignment During LLM Post-Training
Diese Arbeit untersucht die Dynamik der Wertausrichtung während des Post-Trainings von LLMs und zeigt auf, dass das Supervised Fine-Tuning primär die Werte eines Modells etabliert, während die anschließende Präferenzoptimierung diese selten neu ausrichtet, wobei unterschiedliche Algorithmen selbst auf identischen Datensätzen zu distinkten Ergebnissen führen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen brandneuen, superintelligenten Roboter, der fast alles im Internet gelesen hat. Er kennt Fakten, kann Gedichte schreiben und Matheaufgaben lösen. Aber im Moment ist er ein wenig wie ein unbeschriebenes Blatt, wenn es um Meinungen geht. Wenn man ihn fragt: „Ist es besser, den Planeten zu retten oder schnell Geld zu verdienen?“, listet er vielleicht nur Fakten auf, ohne Stellung zu beziehen. Um diesen Roboter für Menschen hilfreich und sicher zu machen, müssen wir ihm beibringen, wie er über diese kniffligen Fragen nachdenkt. Dieser Prozess wird „Alignment“ (Ausrichtung) genannt.
Denken Sie beim Alignment an das Training eines Welpen. Zuerst bringen Sie ihm Grundbefehle wie „Sitz“ und „Platz“ bei (das nennt man Supervised Fine-Tuning, oder SFT). Sie zeigen ihm Beispiele für gutes Verhalten, damit er die Regeln lernt. Dann nehmen Sie ihn mit in den Hundepark, um mit anderen Hunden zu spielen und soziale Signale zu lernen, wobei Sie ihn belohnen, wenn er nett spielt, und ihn rügen, wenn er beißt (das nennt man Preference Optimization oder Präferenzoptimierung). Die große Frage, die Wissenschaftler sich gestellt haben, lautet: Wann lernt der Welpe tatsächlich seine Persönlichkeit? Lernt er seine Grundwerte während des Basistrainings oder bekommt er seine Persönlichkeit im Hundepark? Das Verständnis darüber ist entscheidend, denn wenn wir nicht wissen, woher die Werte des Roboters kommen, könnten wir ihn versehentlich dazu bringen, unhöflich, voreingenommen oder gefährlich zu werden, ohne es zu merken.
Dieses Papier mit dem Titel „Value Drifts“ blickt hinter die Kulissen dieses Trainingsprozesses, um genau zu beobachten, wann und wie große Sprachmodelle (LLMs) ihre Werte lernen. Die Forscher behandelten den Trainingsprozess wie ein Zeitraffer-Video und überprüften die „Meinungen“ des Roboters bei jedem einzelnen Schritt seines Trainings, anstatt nur am Ende auf das fertige Produkt zu schauen.
Hier ist, was sie herausgefunden haben, und es mag Sie überraschen:
1. Die erste Lektion ist die wichtigste
Die Studie entdeckte, dass die Phase des „Supervised Fine-Tuning“ (SFT) der Moment ist, in dem der Roboter tatsächlich seine Persönlichkeit erhält. Es ist wie der Moment, in dem der Welpe lernt, sich hinzusetzen; sobald das erledigt ist, ist das Kernverhalten festgelegt. Die Forscher fanden heraus, dass sich die Haltung des Modells zu großen Themen (wie Einwanderung oder Klimawandel) dramatisch und schnell änderte, sobald das Modell begann, auf Instruktionsdatensätzen zu trainieren. Wenn die Trainingsdaten voll von neutralen Antworten wie „Ich bin mir nicht sicher“ waren, wurde der Roboter neutral. Wenn die Daten voll von unterstützenden Antworten wie „Ja, lasst es uns tun!“ waren, wurde der Roboter unterstützend. Dieses „Wert-Imprinting“ (Werteprägung) geschah sehr früh im Prozess, oft bereits innerhalb der ersten paar hundert Schritte des Trainings.
2. Der Hundepark ändert nicht viel
Nach dem ersten Training durchliefen die Modelle die „Preference Optimization“ (die Hundepark-Phase), in der ihnen Paare von Antworten gezeigt wurden und man ihnen sagte, welche Menschen die bevorzugten. Die Forscher erwarteten, dass diese Phase die Werte des Roboters leicht anpassen würde, vielleicht indem sie ihn etwas höflicher oder hilfreicher macht. Sie fanden jedoch heraus, dass diese Phase für den Großteil der Zeit fast gar nichts bewirkte, um die Werte zu ändern, die im ersten Schritt etabliert wurden. Die Meinungen des Roboters blieben genau dort, wo sie durch die erste Trainingsphase hinterlassen worden waren.
3. Warum der Hundepark scheiterte (und wie man es behebt)
Warum änderte die zweite Phase nichts? Das Team stellte fest, dass es daran lag, dass die „Trainingsleckerlis“ (die Präferenzdatensätze) zu ähnlich waren. In den standardmäßig verwendeten Datensätzen unterschieden sich die „gute“ Antwort und die „schlechte“ Antwort oft nur im Stil (eine war länger, eine war kürzer), hatten aber exakt dieselbe Meinung. Es ist, als würde man versuchen, einem Hund das Apportieren beizubringen, indem man ihm zwei identische Stöcke zeigt und sagt: „Such dir den besseren Stock aus.“ Der Hund kann keinen neuen Trick lernen, wenn die Optionen dieselben sind.
Die Forscher bewiesen jedoch, dass der Roboter seine Meinung ändern kann, wenn man ihm eine klare Wahl gibt – indem man ihm eine Antwort zeigt, die einen Wert unterstützt, und eine andere, die diesem Wert stark widerspricht. Aber die Art und Weise, wie er seine Meinung ändert, hängt vom spezifischen Algorithmus ab, mit dem er unterrichtet wird. Einige Algorithmen (wie DPO) sind wie hartnäckige Lehrer, die das, was der Roboter bereits glaubt, nur verstärken, während andere (wie SIMPO) vorsichtiger sind und kleinere, langsamere Änderungen vornehmen.
Das Fazrazit
Das Papier legt nahe, dass wir uns nicht auf die abschließende „Präferenz“-Phase verlassen können, wenn wir wollen, dass die KI bestimmte Werte besitzt. Die Hauptarbeit findet während des anfänglichen Instruktionstrainings statt. Wenn wir eine KI wollen, die bei sensiblen Themen neutral ist, müssen wir sicherstellen, dass die anfänglichen Trainingsdaten neutral sind. Wenn wir wollen, dass sie unterstützend ist, muss die Anfangsdatenlage unterstützend sein. Die abschließende Polierphase dient hauptsächlich dem Stil, nicht dazu, die Seele des Roboters zu verändern. Dies ist eine enorme Erkenntnis, denn sie zeigt uns, dass der kritischste Teil beim Aufbau einer sicheren KI die sorgfältige Auswahl der allerersten Beispielsätze ist, die wir ihr zeigen, und nicht erst die letzte Runde des Feedbacks.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.