We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

Technische Zusammenfassung: Adaptive Multi-Branch Steering (AMBS) für die Multi-Objective-Ausrichtung von LLMs

Problemstellung
Large Language Models (LLMs) erfordern eine Ausrichtung am menschlichen Willen, die typischerweise durch drei konkurrierende Ziele operationalisiert wird: Hilfsbereitschaft, Schadensvermeidung und Ehrlichkeit (HHH). Während frühere Arbeiten eine Ausrichtung durch Supervised Fine-Tuning (SFT) oder Reinforcement Learning from Human Feedback (RLHF) erreicht haben, kämpfen diese Methoden oft damit, die HHH-Ziele während der Inferenz gemeinsam zu erfüllen, insbesondere in komplexen Szenarien.

Bestehende Inferenzzeit-Ansätze zur Ausrichtung, wie Steering Vectors, behandeln Ziele typischerweise isoliert. Wenn eine einzelne gemeinsame Repräsentation auf ein Ziel hin gelenkt wird, kann dies andere Ziele überschreiben oder stören. Kürzliche Erweiterungen auf ein „1-zu-N"-Transformer-Setting (Replizierung einer gemeinsamen Repräsentation in mehrere Pfade) versuchen dies zu mildern, indem sie unabhängige Transformationen anwenden. Allerdings fehlen diesen unabhängigen Updates Einschränkungen bezüglich der Beziehungen zwischen den Pfaden, was zu inkonsistenten Antworten und einer Divergenz über die Ziele hinweg führt. Darüber hinaus schränken trainingsbasierte Trade-off-Methoden (z. B. Safe RLHF, Mixture-of-Experts) ziel-spezifische Transformationen innerhalb einer gemeinsamen Repräsentation während der Inferenz nicht ein, was zu einem „Achsenkollaps" oder disjunkten Repräsentationen führt, bei denen sich widersprechende Ziele nicht gleichzeitig erfüllen lassen.

Methodik: Adaptive Multi-Branch Steering (AMBS)
Die Autoren schlagen AMBS vor, ein zweistufiges Framework, das für ein 1-zu-N-Transformer-Setting konzipiert ist und ziel-spezifische Transformationen relativ zu einer gemeinsamen Repräsentation parametrisiert. Die Kerninnovation besteht darin, Updates als Abweichungen von einem gemeinsamen Referenzpunkt zu definieren, anstatt als unabhängige Modifikationen.

1. Stufe I: Berechnung der gemeinsamen Repräsentation
   Der Transformer berechnet für eine gegebene Eingabe eine gemeinsame versteckte Repräsentation $h^{(0)}_\ell$ in Schicht $\ell$ (typischerweise die letzte Schicht $L$). Diese Repräsentation dient als gemeinsame Basis und wird über alle Ziele hinweg wiederverwendet.

2. Stufe II: Referenzgeführte Transformationen
   Die gemeinsame Repräsentation wird in $N$ Pfade repliziert ($h^{(i)}_\ell = h^{(0)}_\ell$). Für jedes Ziel $i$ wird eine Transformation $\Delta h^{(i)}_\ell$ relativ zur gemeinsamen Referenz $h^{ref}_\ell = h^{(0)}_\ell$ angewendet.

   • Abweichungsbasiertes Update: Anstelle unabhängiger Updates wird die Transformation als Funktion der Abweichung von der Referenz definiert: $\Delta h^{(i)}_\ell = f_i(\tilde{h}^{(i)}_\ell - h^{ref}_\ell; \phi_i)$.
   • Niedrigrangige Parametrisierung: Die Policy $f_i$ wird als Niedrigrang-Projektion mit additivem Bias implementiert: $\Delta h^{(i)}_\ell = ((\tilde{h}^{(i,0)}_\ell - h^{ref}_\ell)A_i)B_i + b_i$. Hier sind $A_i$ und $B_i$ lernbare Niedrigrang-Matrizen und $b_i$ ein lernbarer Bias. Entscheidend ist, dass der Bias $b_i$ eine nicht-null anfängliche Abweichung sicherstellt, wodurch das Niedrigrang-Update innerhalb eines einzigen Vorwärtsdurchlaufs ohne iterative Fixpunkt-Berechnung sofort aktiviert wird.
   • Erzeugung der Ausgabe: Jeder Pfad erzeugt eine ziel-spezifische Ausgabeverteilung $p^{(i)}_\theta$. Diese werden beim Decodieren zu einer einzigen gemeinsamen Verteilung $p^{joint}_\theta$ mittels eines gewichteten geometrischen Mittels kombiniert.

3. Optimierungsziel
   Das Framework minimiert eine zusammengesetzte Verlustfunktion:
   $$\min \sum_{i=1}^N L^{(i)}_{obj} + \lambda L_{cons}$$

   • $L^{(i)}_{obj}$: Der ziel-spezifische Verlust (z. B. Kreuzentropie) für Pfad $i$.
   • $L_{cons}$: Ein Konsistenzterm, der den quadrierten euklidischen Abstand zwischen transformierten Repräsentationen über die Pfade hinweg misst. Dieser Term bestraft übermäßige Divergenz, erlaubt jedoch notwendige ziel-spezifische Variationen und verhindert den „Kollaps", der bei anderen gemeinsamen Methoden beobachtet wird.

Hauptbeiträge

• Framework-Design: Einführung von AMBS, das das 1-zu-N-Transformer-Setting erweitert, indem es Transformationen als Abweichungen von einer gemeinsamen Referenz parametrisiert, wodurch Interferenzen kontrolliert werden, während die Unterscheidbarkeit der Pfade erhalten bleibt.
• Theoretische Formulierung: Eine mathematische Formulierung, bei der Pfadunterschiede ausschließlich von Abweichungstermen ($\Delta h^{(i)}_\ell - \Delta h^{(j)}_\ell$) abhängen und nicht von unabhängigen Transformationen des Basiszustands, unterstützt durch Lemmata, die eine nicht-degenerierte Initialisierung und die sofortige Aktivierung von Niedrigrang-Parametern beweisen.
• Empirische Leistung: Nachweis, dass AMBS die gemeinsame HHH-Leistung über vier verschiedene Backbone-Modelle (LLaMA-2-7B, Mistral-7B, Gemma-7B, DeepSeek-7B) hinweg verbessert und gleichzeitig die Recheneffizienz beibehält.

Ergebnisse
Experimente wurden an Standard-Benchmarks durchgeführt: Alpaca (Hilfsbereitschaft), BeaverTails (Schadensvermeidung) und TruthfulQA (Ehrlichkeit).

• Leistungssteigerungen: AMBS erzielte die höchsten Durchschnittswerte (Avg) über alle Backbones hinweg. Für LLaMA-2-7B erreichte AMBS einen Avg von 56,5 % und übertraf damit den vorherigen State-of-the-Art (TrinityX) mit 55,1 % sowie AlignX mit 51,3 %.
• Ziel-spezifische Verbesserungen:
  • Hilfsbereitschaft: Erhöhung der Win Rate (WR) auf 53,0 % (vs. 48,7 % für RAHF).
  • Schadensvermeidung: Reduzierung des Safety Score (SS, wobei niedriger besser ist) auf 5,3 % (vs. 7,2 % für Aligner).
  • Ehrlichkeit: Verbesserung von Truthfulness-Informativeness (TI) auf 37,9 % (vs. 31,7 % für DExperts).
• Interferenzanalyse: Im Gegensatz zu Single-Objective-Methoden, die bei Zieländerungen große Leistungseinbußen zeigen, oder gemeinsamen Methoden, die einen „Kollaps" aufweisen (identische Scores über alle Ziele hinweg), behielt AMBS eine hohe, aber nicht uniforme Leistung über die Ziele hinweg bei (z. B. 37,0 % / 25,8 % / 14,3 %), was auf reduzierte Interferenz ohne Kollaps hindeutet.
• Effizienz: Die Methode behält eine hohe Durchsatzrate (z. B. 189 Tokens/Sekunde) und niedrige Trainingskosten (9 GPU-Stunden) bei, indem das Basis-Modell eingefroren wird und nur Niedrigrang-Parameter optimiert werden.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass AMBS eine kritische Lücke in der Multi-Objective-Ausrichtung zur Inferenzzeit schließt. Indem es ziel-spezifische Transformationen innerhalb einer gemeinsamen Repräsentation einschränkt, balanciert das Framework erfolgreich den Trade-off zwischen der Erfüllung unterschiedlicher Ziele (Hilfsbereitschaft, Schadensvermeidung, Ehrlichkeit) und der Aufrechterhaltung der Konsistenz zwischen ihnen. Die Autoren behaupten, dass dieser Ansatz den „Achsenkollaps" und die Instabilität verhindert, die bei früheren gemeinsamen Ausrichtungsmethoden beobachtet wurden, und bietet eine robuste Lösung für den Einsatz vertrauenswürdiger LLMs ohne die Notwendigkeit kostspieliger Neukalibrierung oder komplexer modularer Architekturen. Die Ergebnisse deuten darauf hin, dass Ausrichtung effektiv auf Repräsentationsebene erfasst wird, wobei das Decodieren als Konsolidierungsschritt dient und nicht als primäre Quelle von Gewinnen.

Einschränkungen
Die Autoren räumen Einschränkungen ein, darunter das Ausmaß der Evaluation, die Abhängigkeit von Proxy-Bewertern (LLMs) für Metriken anstelle umfassender menschlicher Evaluation sowie der aktuelle Fokus auf Decoder-only-Modelle. Als zukünftige Arbeiten werden größere menschliche Studien, breitere Sicherheitsszenarien und die Erweiterung auf multimodale Modelle vorgeschlagen.