Controllable and explainable personality sliders for LLMs at inference time

Each language version is independently generated for its own context, not a direct translation.

Stell dir vor, ein großes Sprachmodell (wie ein sehr kluger Roboter) ist wie ein Riesiges Orchester. Jedes Instrument in diesem Orchester repräsentiert eine bestimmte Fähigkeit oder einen Aspekt der Persönlichkeit des Roboters.

Normalerweise, wenn man diesen Roboter so programmieren möchte, dass er zum Beispiel ein "freundlicher Therapeut" oder ein "strenger Lehrer" ist, musste man das gesamte Orchester neu einüben. Das nennt man Training. Das ist extrem teuer, dauert lange und man braucht für jede neue Persönlichkeit eine komplett neue CD (ein neues Modell). Wenn man dann einen Therapeuten und einen Lehrer gleichzeitig wollte, musste man zwei CDs mischen – das klang oft schrecklich.

Diese Forscher haben jetzt eine viel schlauere Methode entwickelt, die sie "Sequential Adaptive Steering" (SAS) nennen. Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der "Verwirrte Dirigent"

Stell dir vor, du möchtest dem Roboter sagen: "Sei extravertiert!" (Redselig). Du drückst auf einen Knopf, und das Orchester spielt laut und fröhlich.
Jetzt möchtest du noch hinzufügen: "Sei aber auch sehr gewissenhaft!" (Ordnungsliebend).
Bei alten Methoden war das wie ein schlechter Dirigent, der zwei verschiedene Notenblätter gleichzeitig auf den Pult legt. Die Musik wird chaotisch, die Instrumente spielen gegeneinander, und am Ende klingt alles nur noch wie ein Krach. Der Roboter verliert den Faden und antwortet wirr. Das liegt daran, dass die "Knöpfe" für die Persönlichkeiten sich gegenseitig stören.

2. Die Lösung: Der "Intelligente Regler"

Die Forscher haben einen neuen Dirigenten erfunden, der Sequential Adaptive Steering heißt.

Der Trick: Dieser Dirigent lernt nicht nur, wie man "Extraversion" spielt, sondern er lernt auch, wie man "Extraversion" spielt, während das Orchester bereits "Gewissenhaftigkeit" spielt.
Die Analogie: Stell dir vor, du fährst ein Auto.
- Alt: Du willst schneller fahren (Gas geben) und gleichzeitig links lenken. Wenn du das Gaspedal und das Lenkrad einfach nur gleichzeitig drückst, rutscht das Auto vielleicht ins Schleudern.
- Neu (SAS): Der Regler ist wie ein Super-Navi, das genau weiß: "Wenn du gerade links lenkst, musst du das Gaspedal genau so viel drücken, damit wir stabil bleiben." Er passt die Kraft der Eingriffe an, damit sie sich nicht gegenseitig aufheben oder stören.

3. Wie funktioniert das genau? (Die "Schichten")

Das Gehirn des Roboters besteht aus vielen Schichten (wie viele Stockwerke in einem Wolkenkratzer).

Die Forscher haben herausgefunden, dass man nicht in jedem Stockwerk nachschauen muss. Sie nutzen einen Fisch-Test (Fisher Ratio), um genau das Stockwerk zu finden, in dem die Persönlichkeit "gespeichert" ist.
Dann fügen sie einen kleinen "Impuls" (einen Vektor) hinzu. Das ist wie ein feiner Regler an einem Mischpult. Du kannst den Regler für "Offenheit" hochdrehen, den für "Verträglichkeit" runterdrehen, ohne dass die Musik verzerrt.

4. Das Ergebnis: Persönlichkeit auf Knopfdruck

Mit dieser Methode können Nutzer jetzt Personen-Slider wie bei einem Videospiel nutzen:

Zieh den Regler für "Extraversion" auf 80%.
Zieh den Regler für "Neurotizismus" (Sorgen) auf 50%.
Zieh den Regler für "Verträglichkeit" auf 20%.

Das Modell verändert sich sofort in Echtzeit, ohne dass man es neu trainieren muss. Es ist, als würdest du einen Tarnanzug für den Roboter anziehen, der sich sofort anpasst, ob du als "Held", "Schurke" oder "neutrales Büro-Modell" auftreten willst.

Warum ist das so wichtig?

Schnell & Günstig: Du musst keine neuen Modelle trainieren. Es kostet fast nichts extra.
Kombinierbar: Du kannst tausende verschiedene Persönlichkeiten mischen, ohne dass das System verrückt spielt.
Verständlich: Man sieht genau, welche "Schalter" man umlegt.

Zusammenfassend:
Statt für jede Persönlichkeit ein neues, teures Gehirn zu bauen, haben diese Forscher eine universelle Fernbedienung gebaut. Mit dieser Fernbedienung kannst du den Roboter in Sekunden von einem schüchternen Bibliothekar in einen lauten Party-Animier-Clown verwandeln – und das alles, ohne dass er dabei vergisst, wie man Sätze bildet.

Each language version is independently generated for its own context, not a direct translation.

Titel: Kontrollierbare und erklärbare Persönlichkeits-Regler für LLMs zur Laufzeit (Inference Time)

Autoren: Florian Hoppe, David Khachaturov, Robert Mullins, Mark Huasong Meng
Veröffentlicht: Preprint für ICML 2026 (März 2026)

1. Problemstellung

Die Ausrichtung (Alignment) von Large Language Models (LLMs) auf spezifische Persönlichkeiten (Personas) erfolgt traditionell durch Supervised Fine-Tuning (SFT) oder Reinforcement Learning from Human Feedback (RLHF). Diese Methoden haben jedoch erhebliche Nachteile:

Monolithischer Ansatz: Für jede neue Kombination von Persönlichkeitsmerkmalen muss ein separates Modell trainiert werden. Dies führt zu einer kombinatorischen Explosion (z. B. für $N$ Merkmale wären $2^N$ Modelle nötig).
Fragilität von Prompts: Das reine Prompting ist instabil; Modelle zeigen oft Kontext-Drift oder verbrauchen wertvolle Token-Budgets für komplexe Persona-Anweisungen.
Interferenz bei Aktivierungs-Steering: Bestehende Ansätze zur Aktivierungssteuerung (Activation Steering) zur Laufzeit funktionieren gut für einzelne Merkmale. Bei der gleichzeitigen Anwendung mehrerer Vektoren (z. B. „Extrovertiert" UND „Verträglich") kommt es jedoch zu zerstörerischer Interferenz. Da jeder Vektor unabhängig auf der ungesteuerten Verteilung trainiert wurde, verschiebt der erste Eingriff die Aktivierungsmanifold. Folgende Vektoren treffen dann auf eine Verteilung, die sie während des Trainings nicht gesehen haben, was zu einem Zusammenbruch der Kohärenz (Representation Collapse) führt.

2. Methodik: Sequential Adaptive Steering (SAS)

Die Autoren schlagen ein modulares Framework vor, das auf dem Big-Five-Persönlichkeitsmodell (OCEAN) basiert. Der Kern der Innovation ist die Sequential Adaptive Steering (SAS).

A. Grundprinzip der Aktivierungssteuerung

Anstatt Gewichte zu ändern, wird während des Forward-Passes ein Steuerungsvektor $v$ zum Residual-Stream $h$ addiert:
$h' = h + \alpha \cdot v$
Dabei ist $\alpha$ ein skalierbarer Koeffizient, der die Intensität der Persönlichkeitsänderung steuert.

B. Das Problem der naiven Mehrvektor-Steuerung

Bei naiven Ansätzen werden mehrere Vektoren $v_1, v_2, \dots$ einfach addiert. Da $v_2$ auf den ursprünglichen (ungesteuerten) Daten trainiert wurde, ist seine Richtung im durch $v_1$ verschobenen Raum oft nicht mehr semantisch korrekt, was zu Inkonsistenzen führt.

C. Die SAS-Lösung: Orthogonalisierung durch sequentielles Training

SAS löst das Interferenzproblem durch einen iterativen Trainingsprozess:

Sequentielles Training: Ein neuer Probe (Steuerungsvektor) für ein Merkmal wird nicht auf den ursprünglichen Daten trainiert, sondern auf einer kombinierten Verteilung. Diese enthält sowohl ungesteuerte Aktivierungen als auch Aktivierungen, die bereits durch vorherige Proben verschoben wurden.
Simulierte Störungen: Während des Trainings wird die Stärke der vorherigen Eingriffe ( $\alpha_{train}$ ) zufällig variiert. Der neue Vektor lernt somit eine Richtung, die invariant gegenüber diesen Verschiebungen ist.
Orthogonalisierung: Dies zwingt den Vektor, sich orthogonal zu den Unterräumen der vorherigen Merkmale zu verhalten, wodurch destruktive Interferenz minimiert wird.

D. Automatisierte Schichtenauswahl (Automated Layer Selection)

Statt Schichten manuell zu testen, verwenden die Autoren den Fisher Ratio (FR)-Wert, um die optimale Schicht $l^*$ für jedes Merkmal automatisch zu identifizieren.

Die Suche beschränkt sich auf mittlere Schichten (vermeidet frühe Syntax-Schichten und späte Token-Vorhersage-Schichten).
Die Schicht mit dem höchsten FR-Wert (beste Trennbarkeit der Klassen) wird ausgewählt.

E. Kalibrierung und Bewertung

Zielverhalten: Ein „LLM-as-a-Judge" (GPT-4) bewertet die Antworten auf Big-Five-Fragebögen und vergibt einen Score (1–5).
Sicherheitskorridor: Es werden Grenzen für $\alpha$ definiert, um Perplexity-Erhöhungen (<50%) und Kohärenzverluste (<25%) zu vermeiden.

3. Wichtige Beiträge

Sequential Adaptive Steering (SAS): Ein Framework, das die Komposition mehrerer Persönlichkeitsmerkmale zur Laufzeit ermöglicht, indem es die Interferenz durch adaptives Training auf verschobenen Verteilungen eliminiert.
Automatisierte Schichtenauswahl: Eine datengesteuerte Methode mittels Fisher Ratio, die heuristische Trial-and-Error-Verfahren ersetzt.
Empirische Validierung: Nachweis, dass SAS eine Pareto-Dominanz gegenüber Baselines (naives Steering, DPO) in Bezug auf Zieltreue und Modellqualität (Perplexity) erreicht.
Zero-Parameter-Intervention: Die Methode erfordert keine Gewichtsänderungen und ist damit deutlich effizienter als Fine-Tuning oder LoRA-Merging.

4. Ergebnisse

Die Evaluation erfolgte auf Llama-3-8B, Mistral-7B und Qwen2.5-7B.

Einzelmerkmal-Kontrolle: Es wurde eine monotone Beziehung zwischen dem Steuerungskoeffizienten $\alpha$ und dem Persönlichkeits-Score festgestellt. Die Modelle lassen sich präzise von „niedrig" zu „hoch" in einem Merkmal steuern.
Multidimensionale Kontrolle: Im Gegensatz zu naiven Ansätzen (die zu Modellkollaps führen) oder DPO-Modellen (die keine signifikanten Verschiebungen zeigen), konnte SAS erfolgreich komplexe Profile erzeugen (z. B. Hohe Extraversion + Geringe Verträglichkeit + Hohe Neurotizität) gleichzeitig, ohne die Kohärenz zu verlieren.
Pareto-Frontier: SAS erreicht bei gleicher Perplexity deutlich höhere Persönlichkeits-Scores als Baselines.
Orthogonalisierung: Die Analyse der Kosinus-Ähnlichkeit zwischen den Vektoren zeigt, dass naive Vektoren stark korreliert sind (z. B. Extraversion und Offenheit), während SAS-Vektoren durch das sequentielle Training effektiv entkorreliert (orthogonalisiert) werden.
Ablationsstudie: Das Entfernen von SAS oder der automatischen Schichtenauswahl führt zu einem signifikanten Leistungsabfall, was die Notwendigkeit beider Komponenten bestätigt.

5. Bedeutung und Ausblick

Modularität: SAS ermöglicht es, Persönlichkeitsprofile wie Bausteine zu kombinieren, ohne neue Modelle trainieren zu müssen. Dies ist ein großer Schritt hin zu flexiblen, anpassbaren KI-Assistenten.
Erklärbarkeit: Die Arbeit liefert empirische Belege für die Linear Representation Hypothesis, wonach komplexe Konzepte wie Persönlichkeit linear im Aktivierungsraum kodiert sind und durch Vektoraddition manipuliert werden können.
Ethische Implikationen: Die Autoren weisen auf das Dual-Use-Risiko hin. Die gleiche Technik, die „Honesty" erhöht, kann auch genutzt werden, um Toxizität oder Täuschung zu erzeugen. Da keine teure Neu-Training nötig ist, senkt dies die Schwelle für Missbrauch.
Limitationen: Die Methode erfordert White-Box-Zugriff (nicht für geschlossene APIs geeignet), hat einen minimalen Overhead durch die Berechnung der Proben und ist derzeit auf Modelle bis ~8B Parameter validiert (Skalierung auf 70B+ steht aus).

Fazit: Das Paper stellt einen Durchbruch in der Steuerung von LLMs dar, indem es die Lücke zwischen starrer Fine-Tuning-Methodik und instabilem Prompting schließt. Durch Sequential Adaptive Steering wird eine präzise, mehrdimensionale und stabile Persona-Kontrolle zur Laufzeit ohne Gewichtsänderung ermöglicht.