Can LLMs Discern the Traits Influencing Your Preferences? Evaluating Personality-Driven Preference Alignment in LLMs

Die Studie zeigt, dass die Nutzung von Präferenzen, die auf den stabilen Persönlichkeitsmerkmalen (Big Five) eines Nutzers basieren, die Genauigkeit personalisierter Antworten von Large Language Models erheblich verbessert, und stellt dafür den Datensatz PACIFIC sowie ein entsprechendes Framework vor.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber etwas verwirrten persönlichen Assistenten. Dieser Assistent (eine KI) kennt dich gut, aber er hat ein riesiges Problem: Er vergisst ständig, was du magst, oder er versteht deine Wünsche falsch, weil er sich zu sehr auf das konzentriert, was du gerade eben gesagt hast, statt auf das, wer du eigentlich bist.

Diese Forschungsarbeit von Tianyu Zhao und seinem Team nennt sich PACIFIC. Sie versucht, genau dieses Problem zu lösen. Hier ist die Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Der Assistent mit dem schlechten Kurzzeitgedächtnis

Stell dir vor, du unterhältst dich mit deinem Assistenten über einen ganzen Tag.

• Morgens sagst du: „Ich mag keine laute Musik."
• Mittags sagst du: „Ich liebe es, neue Dinge auszuprobieren."
• Abends fragst du: „Was soll ich heute Abend machen?"

Ein normaler KI-Assistent versucht, sich an jedes einzelne Wort zu erinnern. Aber wenn das Gespräch zu lang wird, verliert er den Faden. Er schlägt vielleicht eine laute Party vor, weil er den Satz von morgens vergessen hat, oder er schlägt etwas Langweiliges vor, weil er den Satz von mittags ignoriert. Er ist wie ein Tourist, der sich jede einzelne Straßenecke merken will, statt einfach zu wissen: „Dieser Tourist mag es abenteuerlich."

2. Die Lösung: Der „Charakter-Filter" (Persönlichkeit statt Detailliste)

Die Forscher sagen: „Halt! Wir müssen nicht jede einzelne Vorliebe auswendig lernen. Wir müssen nur wissen, wer die Person ist."

Statt sich tausende Details zu merken (z. B. „mag keine roten Autos", „mag italienisches Essen", „mag keine Regenjacken"), schauen sie sich die Persönlichkeit an. In der Psychologie gibt es dafür das Big-Five-Modell (OCEAN). Stell dir das wie fünf verschiedene Farben vor, die deine Persönlichkeit ausmalen:

• Offenheit (Liebt man Neues oder das Alte?)
• Conscientiousness (Ist man ordentlich/planvoll oder chaotisch/spontan?)
• Extraversion (Liebt man Menschenmengen oder die Einsamkeit?)
• Agreeableness (Ist man harmoniebedürftig oder direkt?)
• Neurotizismus (Ist man ruhig oder leicht gestresst/ängstlich?)

Die Analogie:
Stell dir vor, du suchst einen Kleidungsstil für jemanden.

• Der alte Weg: Du suchst in einem riesigen Schrank nach jedem einzelnen T-Shirt, das die Person je gekauft hat. Das dauert ewig und ist chaotisch.
• Der neue Weg (PACIFIC): Du weißt einfach: „Diese Person ist ein Abenteurer (hohe Offenheit) und ruhig (niedriger Neurotizismus)." Sofort weißt du, dass sie wahrscheinlich ein robustes Wanderoutfit mag, aber keine glitzernden Partykleider. Du musst nicht jedes einzelne Kleidungsstück kennen, um die richtige Wahl zu treffen.

3. Was haben die Forscher gemacht? (Der PACIFIC-Datensatz)

Sie haben eine riesige Bibliothek mit 1.200 Beispielen erstellt.
Stell dir das wie ein riesiges Quiz vor.

• Die Frage: „Ich brauche einen neuen Couchtisch."
• Die Optionen:
  1. Ein billiger, massenproduzierter Metalltisch.
  2. Ein glatter, moderner Glastisch.
  3. Ein handgefertigter Tisch aus recyceltem Holz von einem lokalen Künstler.
  4. Ein großer, robuster Massivholztisch aus dem Baumarkt.

Die Forscher haben nun für jede Antwort markiert: Welche Persönlichkeit würde diese Wahl treffen?

• Wenn jemand hohe Offenheit hat (mag Neues, Unikate), wird er Option 3 wählen.
• Wenn jemand hohe Ordnungsliebe hat, wählt er vielleicht Option 1 oder 4.

Sie haben den KI-Modellen beigebracht: „Wenn du merkst, dass der Nutzer gerne handgemachte Unikate mag, dann weißt du: Er hat wahrscheinlich eine hohe Offenheit. Wähle also Option 3, auch wenn er es nicht direkt gesagt hat."

4. Das Ergebnis: Ein riesiger Erfolg

Das Ergebnis ist fast schon magisch:

• Ohne den Charakter-Filter: Die KI hatte nur eine 29 % Chance, die richtige Antwort zu finden (fast wie ein Raten). Sie war verwirrt und ignorierte die Nuancen.
• Mit dem Charakter-Filter: Wenn die KI zuerst die Persönlichkeit des Nutzers „errät" und dann danach sucht, steigt die Trefferquote auf 76 %!

Das ist, als würde man von einem verstreuten Schüler, der alles vergisst, zu einem erfahrenen Mentor, der den Charakter seines Schülers kennt und daher immer die richtigen Ratschläge gibt.

5. Warum ist das wichtig?

In der Zukunft wollen wir KIs, die uns wirklich verstehen. Wir wollen nicht, dass wir ihnen jede einzelne Regel in den Kopf hämmern müssen („Ich mag keinen Kaffee, ich mag keine laute Musik, ich mag keine roten Autos...").

Diese Arbeit zeigt: Wenn wir KIs beibringen, die Persönlichkeit hinter den Worten zu erkennen, werden sie viel besser darin, uns zu helfen. Sie werden weniger Fehler machen, weniger nervig sein und sich viel „menschlicher" anfühlen, weil sie uns nicht nur als Datensatz, sondern als ganze Person sehen.

Kurz gesagt: Statt den Assistenten zu zwingen, sich jede einzelne deiner Vorlieben zu merken, geben wir ihm ein „Gefühl" für deinen Charakter. Und mit diesem Gefühl trifft er viel bessere Entscheidungen.

Technische Zusammenfassung

1. Problemstellung

Die Personalisierung von Large Language Models (LLMs) stößt derzeit an Grenzen, da Modelle oft Schwierigkeiten haben, Benutzerpräferenzen über lange Konversationen hinweg zuverlässig zu verfolgen.

• Herausforderungen: Benutzerpräferenzen sind oft verrauscht, unvollständig oder inkonsistent. Modelle scheitern häufig daran, diese Details im Kontext zu behalten (die Genauigkeit beim Befolgen von Präferenzen sinkt nach nur wenigen Konversationsturns drastisch).
• Limitierung bestehender Ansätze: Herkömmliche Methoden versuchen, jede einzelne Präferenz explizit zu speichern und abzurufen. Dies ist ineffizient und anfällig für Fehler, insbesondere wenn der Kontext lang wird oder Präferenzen widersprüchlich sind.
• Ziel: Es wird untersucht, ob Persönlichkeitsmerkmale als stabiler, latenter Signalgeber dienen können, um Benutzerpräferenzen zu organisieren und zu interpretieren, anstatt sich auf das reine Auswendiglernen spezifischer Aussagen zu verlassen.

2. Methodik und Ansatz

A. Der PACIFIC-Datensatz

Die Autoren stellen PACIFIC (Preference Alignment Choices Inference for Five-factor Identity Characterization) vor, einen neuen Benchmark-Datensatz.

• Umfang: 1.200 Präferenzstatements über 20 verschiedene Domänen (z. B. Reisen, Finanzen, Unterhaltung).
• Annotation: Jedes Statement ist mit den Big-Five-Persönlichkeitsmerkmalen (OCEAN) annotiert:
  • Openness (Offenheit), Conscientiousness (Gewissenhaftigkeit), Extraversion (Extraversion), Agreeableness (Verträglichkeit), Neuroticism (Neurotizismus).
• Dual-Strategie-Annotation:
  • Für O, C, E, A wird eine Spiegelstrategie verwendet (hohe Merkmalsausprägung entspricht hoher Präferenz für entsprechende Inhalte).
  • Für Neurotizismus (N) wird eine Kompensatorstrategie angewendet: Hoher Neurotizismus (ängstlich) sucht nach Sicherheit und Risikovermeidung, während niedriger Neurotizismus Effizienz und Risikobereitschaft priorisiert.
• Qualitätssicherung: Ein strikter Filterprozess (Schwellenwert $\tau=0.7$) sorgt für eine ausgewogene Verteilung der Persönlichkeitsprofile und hohe Übereinstimmung zwischen menschlichen Annotatoren und den Labels.

B. Framework für Persönlichkeits-gesteuerte Präferenzverfolgung

Das Paper evaluiert, wie LLMs (speziell Gemma-3-4B-IT) Persönlichkeitsinformationen nutzen können, um die richtige Antwort in Multiple-Choice-Fragen zu wählen. Vier Hauptmethoden werden verglichen:

1. Few-Shot (Nur Präferenzen): Das Modell erhält nur Präferenzstatements ohne explizite Persönlichkeitslabels.
2. Few-Shot + Persönlichkeits-Hinweise: Dem Modell werden die Präferenzen zusammen mit den zugehörigen OCEAN-Labels (sowohl für Präferenzen als auch für die Antwortoptionen) bereitgestellt.
3. Reminder: Das Modell erhält eine kurze Instruktion, die Persönlichkeitsmerkmale aus den Präferenzen zu inferieren und bei der Entscheidung zu berücksichtigen.
4. Retrieval-Augmented Generation (RAG): Ein Retrieval-System (Dense Passage Retrieval) sucht basierend auf Ähnlichkeit die passenden Präferenzen zum Fragekontext aus. Ein feinabgestimmter (fine-tuned) Retriever wird verwendet, um persönlichkeitskongruente Präferenzen zu finden.

3. Wichtige Ergebnisse

Die Experimente zeigen signifikante Verbesserungen durch die Integration von Persönlichkeitsmerkmalen:

• Genauigkeitssteigerung:

  • Bei Verwendung von zufällig ausgewählten Präferenzen liegt die Genauigkeit bei ca. 29,25 %.
  • Durch die Auswahl von Präferenzen, die mit dem inferierten Persönlichkeitsprofil übereinstimmen, steigt die Genauigkeit auf 63,00 %.
  • Mit expliziten Persönlichkeits-Hinweisen (Few-Shot + Labels) erreicht das Modell eine Genauigkeit von 76,00 %.
  • Dies stellt eine Steigerung von über 46 Prozentpunkten gegenüber der Basislinie dar.

• Einfluss von Rauschen: Das Hinzufügen von irrelevanten Präferenzen (aus anderen Persönlichkeitsdimensionen) verschlechtert die Leistung leicht, unterstreicht aber, dass der Fokus auf die richtige Dimension entscheidend ist.

• RAG-Effektivität: Ein vortrainierter Retriever erreicht nur 30,25 % Genauigkeit (da er eher semantische als persönlichkeitsbasierte Ähnlichkeit findet). Ein feinabgestimmter Retriever verbessert dies auf 43,00 %, zeigt aber, dass Retrieval allein noch nicht so effektiv ist wie explizite Few-Shot-Prompts mit Labels.

• Sozial erwünschte Verzerrung (Social Desirability Bias): Das Modell zeigt eine systematische Schwäche bei der Erkennung von „niedrigen" Ausprägungen (z. B. niedrige Offenheit oder niedrige Gewissenhaftigkeit). Es neigt dazu, diese mit negativem Verhalten zu verknüpfen und priorisiert stattdessen sozial erwünschte, „positive" Antworten. Dies führt zu einer schlechteren Leistung bei bestimmten Persönlichkeitsprofilen.

4. Hauptbeiträge

1. Nachweis der Wirksamkeit: Die Studie demonstriert, dass Persönlichkeitsmerkmale als stabile latente Signale dienen können, um die Präferenzverfolgung in LLMs zu verbessern, selbst wenn spezifische Präferenzen unvollständig sind.
2. PACIFIC-Datensatz: Bereitstellung des ersten umfassenden, psychometrisch fundierten Datensatzes, der explizit die Beziehung zwischen Big-Five-Merkmalen und Benutzerpräferenzen in verschiedenen Domänen abbildet.
3. Neues Framework: Einführung eines Ansatzes, der LLMs ermöglicht, automatisch persönlichkeitskongruente Präferenzen abzurufen und in die Antwortgenerierung zu integrieren, was die Robustheit von Personalisierungssystemen erhöht.

5. Bedeutung und Fazit

Die Arbeit schlägt einen Paradigmenwechsel vor: Statt LLMs zu zwingen, riesige Mengen an Rohdaten (jeder einzelne Präferenzsatz) zu speichern, sollte die semantische Abstraktion durch Persönlichkeitsmerkmale genutzt werden.

• Effizienz: Persönlichkeitsprofile dienen als komprimierte, hochsignifikante Repräsentation des Benutzers, die über lange Konversationen hinweg stabil bleibt.
• Robustheit: Dieser Ansatz ist weniger anfällig für Rauschen und Vergessen als reine Speichermechanismen.
• Zukunft: Die Ergebnisse deuten darauf hin, dass zukünftige Agenten-Systeme (Agentic AI) von einer Verschiebung von „verlustfreier Speicherung" hin zu „semantischer Abstraktion" profitieren, um Benutzerbedürfnisse vorherzusagen, ohne jede einzelne Interaktion erinnern zu müssen.

Zusammenfassend zeigt das Paper, dass die Integration psychologischer Modelle (Big Five) in die Prompting-Strategien von LLMs ein entscheidender Hebel für zuverlässigere und persönlichere KI-Assistenten ist.