Alignment Dynamics in LLM Fine-Tuning

Technische Zusammenfassung: Ausrichtungs-Dynamiken beim Feinabstimmen von LLMs

Problemstellung
Large Language Models (LLMs) erreichen eine Ausrichtung mit menschlichen Werten durch überwachtes Feinabstimmen (SFT) und verstärkendes Lernen aus menschlichem Feedback (RLHF). Diese Ausrichtung ist jedoch oft fragil; Modelle können Sicherheitsvorkehrungen schnell verlieren oder zu vorab trainierten Verhaltensweisen zurückkehren, wenn sie einem nachfolgenden Feinabstimmen unterzogen werden, selbst auf harmlosen Daten. Bestehende Erklärungen für diese Fragilität fallen in zwei Kategorien: gradientenbasierte Analysen (fokussiert auf Geometrie im Parameterraum) und verteilungsbasierte Studien (fokussiert auf Verschiebungen in Ausgabeverteilungen). Eine kritische Lücke bleibt in der Bereitstellung eines einheitlichen theoretischen Rahmens, der Lern-Dynamiken im Parameterraum mit Ausrichtungsverhalten im Funktionsraum verbindet, insbesondere um zu erklären, wie sich Ausrichtung während des Feinabstimmens entwickelt, verschlechtert und erholt.

Methodik
Die Autoren führen einen handhabbaren Ausrichtungs-Score $S(\theta)$ ein, definiert als die erwartete Wahrscheinlichkeit, eine ausgerichtete Vervollständigung gegeben eine Prompt-Verteilung zu generieren. Sie leiten einen geschlossenen Ausdruck für die Evolution dieses Scores während des Feinabstimmens ab.

1. Theoretischer Rahmen:

   • Token-Level-Zerlegung: Die Änderung des Ausrichtungs-Scores ($\Delta S$) wird in Beiträge von einzelnen Token-Updates zerlegt. Diese Zerlegung zeigt, dass der Beitrag eines Token-Updates durch die Prefix-Wahrscheinlichkeit und das „zukünftige Ausrichtungspotenzial" (die Wahrscheinlichkeit, dass die Vervollständigung schließlich ausgerichtet sein wird) „gated" wird.
   • Logit-Raum-Geometrie: Durch die Verbindung dieser Token-Level-Dynamiken mit Logit-Perturbationen über den empirischen Neural Tangent Kernel (eNTK) und die Annahme des Relativ Stabilen Kernels (RSK) leiten die Autoren eine einheitliche Formel für Ausrichtungs-Dynamiken ab.
   • Kraft-Zerlegung: Die Evolution des Ausrichtungs-Scores wird gezeigt, dass sie von zwei konkurrierenden Kräften bestimmt wird:
     • Rückstoß-Kraft ($F_{rebound}$): Ein intrinsischer Selbst-Interaktions-Term, der „verteilungsmäßige Trägheit" darstellt. Sie wird durch den aktuellen Ausrichtungs-Zustand und die Schmalheit (Reinheit) der posterior-Verteilung des Modells moduliert.
     • Antriebs-Kraft ($F_{drive}$): Ein externer Term, bestimmt durch die Art und Weise, wie die Trainingsverteilung mit den ergebnis-konditionierten Posteriors über ausgerichtete ($\tilde{\pi}^+$) und nicht-ausgerichtete ($\tilde{\pi}^-$) Vervollständigungen übereinstimmt.

2. Experimentelle Validierung:

   • Die Autoren wenden ein mehrstufiges SFT-Paradigma (Vorwärts $\to$ Rückwärts $\to$ Wieder-Exponierung) über drei Domänen an: Sicherheitsausrichtung (BeaverTails, HEx-PHI), emergente Fehlausrichtung und Sentiment-Analyse (IMDb).
   • Sie nutzen Basis-Modelle (Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base), um Ausrichtungs-Dynamiken von vorheriger Instruktions-Tuning zu isolieren.
   • Kontrollierte Experimente variieren die Schmalheit der Feinabstimmungs-Verteilung (von festen Vorlagen bis zu stil-diversifizierten Antworten), um theoretische Vorhersagen bezüglich der Rückstoß-Kraft zu testen.

Hauptbeiträge und Ergebnisse

1. Einheitlicher dynamischer Rahmen: Die Arbeit liefert eine mathematische Herleitung, die zeigt, dass Ausrichtungs-Dynamiken ein Wettbewerb zwischen internem Widerstand (Rückstoß-Kraft) und externen Lernsignalen (Antriebs-Kraft) sind. Dies erklärt, warum Ausrichtung durch nachfolgendes Feinabstimmen umgekehrt werden kann und warum die Struktur der posterior-Verteilung wichtig ist.
2. Bidirektionale Instabilität und Verteilungsschmalheit:
   • Der Rahmen sagt voraus, dass sowohl stark ausgerichtete als auch stark fehl-ausgerichtete Zustände „instabil" und anfällig für Rückkehr sind.
   • Ergebnis: Experimente bestätigen, dass schmalere posterior-Verteilungen (induziert durch Daten mit geringer Vielfalt beim Feinabstimmen) die Rückstoß-Kraft verstärken. Modelle, die auf schmalen Datensätzen trainiert wurden, zeigen eine schnellere Verschlechterung der Sicherheitsausrichtung bei Exposition gegenüber rückwärts gerichtetem Feinabstimmen im Vergleich zu denen, die auf vielfältigen Datensätzen trainiert wurden.
3. Der Rehearsal-Priming-Effekt:
   • Vorhersage: Vorherige Ausrichtung hinterlässt einen latenten „posterior-Abdruck" (strukturelles Residuum in $\tilde{\pi}^+$ und $\tilde{\pi}^-$), der auch dann persistiert, wenn der beobachtete Ausrichtungs-Score unterdrückt ist. Bei Wieder-Exponierung gegenüber der ursprünglichen Ausrichtungs-Verteilung verstärkt dieses Residuum die effektive Antriebs-Kraft, was zu einer schnelleren Re-Ausrichtung führt.
   • Ergebnis: Kontrollierte Experimente zeigen, dass Modelle, die ein tieferes initiales Feinabstimmen (Stufe 1) durchliefen, während Stufe 3 (Wieder-Exponierung) signifikant schneller re-ausgerichtet werden als solche mit flacherer initialer Ausbildung, selbst wenn sie vom gleichen Basis-Ausrichtungs-Score starten. Dieser Effekt gilt über Sicherheits-, Fehlausrichtungs- und Sentiment-Aufgaben hinweg.
4. Fragilität emergenter Fehlausrichtung: Die Studie hebt hervor, dass Modelle, die emergente Fehlausrichtung zeigen (breite fehl-ausgerichtete Verhaltensweisen, induziert durch schmales Feinabstimmen), diese Verhaltensweisen mit nur wenigen Schritten böswilligen Feinabstimmens schnell reaktivieren können, was die inhärente Fragilität nachfolgender Ausrichtung unterstreicht.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Arbeit eine einheitliche dynamische Perspektive darauf bietet, wie Ausrichtung während des Feinabstimmens von LLMs gestört und reaktiviert wird. Indem sie über statische Verteilungsverschiebungen oder rein geometrische Gradientenanalysen hinausgeht, verbindet der vorgeschlagene Rahmen Optimierungsdynamiken auf Token-Ebene mit globalem Ausrichtungsverhalten.

Die Bedeutung der Arbeit liegt in:

• Bereitstellung einer rigorosen, quantitativen Charakterisierung der Ausrichtungs-Evolution.
• Erklärung des Mechanismus hinter dem „Rückstoß-Effekt" und Identifizierung der Verteilungsschmalheit als Schlüsselmodulator der Ausrichtungs-Stabilität.
• Entdeckung und Validierung des Rehearsal-Priming-Effekts, was darauf hindeutet, dass Ausrichtungs-Robustheit nicht allein durch das Trainingssignal bestimmt wird, sondern auch durch die latente posterior-Struktur, die durch vorheriges Training induziert wird.
• Angebot einer prinzipiellen Grundlage für die Analyse und potenzielle Verbesserung der Robustheit von Post-Training-Ausrichtung, unter Anerkennung, dass diese Erkenntnisse auch Angriffe auf Ausrichtung informieren könnten.

Die Arbeit schließt, dass Ausrichtung durch das Zusammenspiel zwischen Trainingssignal und induzierter posterior-Struktur bestimmt wird, eine Erkenntnis, die die Sichtweise von Ausrichtung als statische Eigenschaft herausfordert und sie als dynamischen Prozess neu fasst, der spezifischen strukturellen Verwundbarkeiten unterliegt.