Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions

Die Arbeit stellt RealPref vor, einen Benchmark zur Bewertung der Fähigkeit von Large Language Models, in realistischen, langfristigen Interaktionen komplexe und oft implizite Benutzerpräferenzen zu verfolgen, wobei die Ergebnisse zeigen, dass die Leistung mit zunehmendem Kontext und der Komplexität der Präferenzäußerung signifikant nachlässt.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber manchmal etwas vergesslichen persönlichen Assistenten. Du kennst ihn schon seit Jahren. Ihr habt über deine Lieblingsmusik, deine seltsame Angewohnheit, nur bei Regenwetter Pizza zu essen, und deine Abneigung gegen laute Partys gesprochen.

Das Problem ist: Wenn du ihn heute fragst: „Was soll ich heute Abend essen?", vergisst er oft all diese kleinen Details, die du ihm in den letzten Monaten erzählt hast. Er gibt dir eine generische Antwort wie „Pizza ist toll", obwohl du genau das nicht magst.

Genau dieses Problem untersucht die neue Studie „RealPref" von den Forschern um Qianyun Guo und Bryan Hooi. Sie haben einen neuen Test entwickelt, um zu prüfen, wie gut moderne KI-Assistenten (Large Language Models) wirklich lernen, dich als Individuum zu verstehen und sich daran zu erinnern.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der vergessliche Bibliothekar

Bisherige Tests für KIs waren wie ein Einzelgespräch in einer Bibliothek. Der Bibliothekar (die KI) liest dir eine einzige Regel vor: „Ich mag keine roten Äpfel." Dann fragt man ihn sofort: „Welchen Apfel soll ich kaufen?" Das ist einfach.

Aber im echten Leben ist es anders. Du hast die KI über Monate hinweg kennengelernt. Du hast in einem Gespräch erwähnt, dass du „rote Äpfel" hasst, in einem anderen, dass du „grüne Birnen" liebst, und in einem dritten, dass du „nur bei Vollmond" Obst isst. Diese Informationen sind wie verstreute Puzzleteile über hunderte von Seiten eines riesigen Buches verteilt.

Die Forscher wollten wissen: Kann die KI dieses riesige Buch lesen, die verstreuten Hinweise finden und daraus eine logische Schlussfolgerung ziehen, wenn sie eine neue Frage bekommt?

2. Die Lösung: Der „RealPref"-Test

Die Forscher haben RealPref gebaut. Das ist wie ein riesiges, fiktives Tagebuch von 100 verschiedenen Menschen.

• Die Charaktere: Sie haben 100 verschiedene Persönlichkeiten erschaffen (z. B. ein Musikblogger, eine Make-up-Künstlerin).
• Die Geheimnisse: Jeder Charakter hat 1300 Vorlieben, die über viele Gespräche verteilt sind.
• Die Art der Hinweise: Das ist der Clou. Manche Vorlieben werden direkt gesagt („Ich mag X"). Andere sind versteckt:
  • Der versteckte Hinweis: „Ich hasse es, wenn mir jemand auf die Schulter klopft." (Man muss raten, dass die Person Berührung nicht mag).
  • Der langsame Hinweis: Über drei Monate hinweg erzählt die Person immer wieder, wie nervig laute Musik ist, bis man merkt: „Ah, die Person mag Ruhe."
• Der Test: Am Ende wird die KI gefragt: „Was soll ich heute Abend machen?" Die KI muss sich an alle diese verstreuten Hinweise erinnern und eine Antwort geben, die perfekt zu dieser Person passt.

3. Was haben sie herausgefunden? (Die Ergebnisse)

Die Ergebnisse sind wie eine Diagnose für das Gedächtnis der KI:

• Je länger das Gespräch, desto schlechter die Erinnerung: Stell dir vor, du musst dir eine Telefonnummer merken. Wenn sie 4 Ziffern hat, ist es leicht. Wenn sie 1000 Ziffern lang ist und dazwischen noch 500 andere Nummern stehen, vergisst du sie. Genau das passiert der KI. Je mehr Text sie lesen muss, desto mehr vergisst sie deine Vorlieben.
• Versteckte Hinweise sind schwer: Wenn du sagst „Ich mag keine Pizza", versteht die KI das sofort. Wenn du aber sagst „Ich esse lieber etwas, das nicht so fettig ist wie Pizza", muss die KI erst „fettig" mit „Pizza" verknüpfen. Das fällt den KIs schwer, besonders wenn der Text sehr lang ist.
• Neue Situationen: Wenn die KI gelernt hat, dass du „keine laute Musik" magst, kann sie das gut anwenden, wenn du nach einem Konzert fragst. Aber wenn du fragst: „Welches Buch soll ich lesen?", fällt es ihr schwer, zu erkennen, dass du vielleicht auch hier leise, ruhige Geschichten bevorzugst. Sie kann ihr Wissen nicht so gut auf neue Bereiche übertragen.

4. Gibt es einen Heilmittel?

Die Forscher haben verschiedene Tricks ausprobiert, um der KI zu helfen:

• Die Erinnerung: Man sagt der KI einfach: „Denk an deine Vorlieben!" Das hilft ein bisschen, wie ein kleiner Zettel auf dem Kühlschrank.
• Die Suchmaschine (RAG): Das war der Gewinner. Statt die KI zu zwingen, alles im Kopf zu behalten, gibt man ihr eine Suchmaschine. Wenn sie gefragt wird, sucht sie erst in den alten Gesprächen nach den relevanten Stellen („Ah, hier hat der Nutzer gesagt, er mag keine Pizza") und liest nur diese Stellen noch einmal. Das funktioniert am besten, besonders bei sehr langen Gesprächen.

Fazit: Warum ist das wichtig?

Diese Studie zeigt uns, dass KIs heute noch nicht die perfekten persönlichen Assistenten sind. Sie sind wie sehr kluge Studenten, die aber schlecht im Auswendiglernen langer Geschichten sind.

Damit wir in Zukunft KIs haben, die uns wirklich verstehen, uns kennen und sich an unsere kleinen Eigenheiten erinnern – egal wie lange wir sie schon nutzen –, müssen wir sie besser trainieren, diese „versteckten Hinweise" in langen Gesprächen zu finden. RealPref ist der Maßstab, an dem wir messen, ob wir auf dem richtigen Weg sind.

Kurz gesagt: Wir bauen gerade die Brille für die KI, damit sie nicht nur den Text vor sich sieht, sondern auch das große Bild von uns erkennt.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend als persönliche Assistenten eingesetzt, bei denen Nutzer über längere Interaktionszeiträume hinweg komplexe und diverse Präferenzen offenbaren. Bisherige Forschungsarbeiten zur Personalisierung von LLMs leiden jedoch unter drei wesentlichen Einschränkungen, die eine realistische Bewertung verhindern:

• Vereinfachter Kontext: Die meisten Benchmarks basieren auf kurzen Dialogen mit wenigen Turns und fokussieren sich auf einzelne, isolierte Präferenzen oder Anweisungen, anstatt echte, langfristige Nutzerinteraktionen zu simulieren.
• Offensichtliche Präferenzäußerung: In der Realität werden Präferenzen oft implizit, verstreut oder durch emotionale Hinweise geäußert. Bestehende Studien gehen jedoch meist von expliziten und sofort zugänglichen Merkmalen aus.
• Begrenzte Evaluierungsmethodik: Gängige Klassifizierungsaufgaben entsprechen nicht natürlichen Interaktionen, während Generierungsaufgaben oft keine zuverlässigen Kriterien zur Qualitätsbewertung bieten.

Das zentrale Forschungsziel ist es zu untersuchen, ob LLMs in der Lage sind, (1) Präferenzen aus komplexen, verstreuten Äußerungen zu extrahieren, (2) diese über lange Kontexte hinweg zu behalten und einzuhalten, und (3) dieses Verständnis auf neue, ungesehene Szenarien zu generalisieren.

2. Methodik: Der RealPref-Benchmark

Die Autoren stellen RealPref vor, einen umfassenden Benchmark zur Evaluierung realistischer Präferenzbefolgung. Der Datensatz wird durch eine mehrstufige Generierungspipeline (unterstützt durch GPT-4.1) erstellt und umfasst folgende Komponenten:

• Datensatz-Aufbau:

  • 100 kuratierte Nutzerprofile: Umfassen Demografie, Biografie und Lebensereignisse, um realistische Nutzeridentitäten zu schaffen.
  • 1300 Präferenz-Abfrage-Paare: Jeder Nutzer hat 10 „originale" Präferenzen (direkt aus dem Profil abgeleitet) und 3 „generalisierte" Präferenzen (logisch aus den originalen abgeleitet, um Generalisierung zu testen).
  • Kontextaufbau: Die Interaktionen bestehen aus 10–15 Sitzungen pro Nutzer, die Lebensereignisse, zufällige Gespräche (zur Kontextlängenkontrolle) und Präferenz-Äußerungen enthalten. Der Kontext reicht von 2.000 bis zu über 247.000 Tokens.
  • Vier Typen von Präferenzäußerungen:
    1. Explizit - Direkte Aussage: Klare, direkte Nennung.
    2. Explizit - Kontextualisierte Erwähnung: Präferenzen werden im Kontext anderer Themen genannt.
    3. Implizit - Stilistische Expression: Präferenzen werden durch rhetorische Fragen, Metaphern oder Emotionen angedeutet (ohne explizite Wörter wie „mögen" oder „bevorzugen").
    4. Implizit - Erfahrungsfeedback: Präferenzen werden über mehrere Sitzungen hinweg durch geteilte Erfahrungen und Feedback schrittweise offenbart.

• Evaluierungs-Framework:

  • Aufgabentypen: Multiple-Choice (MCQ), Wahr/Falsch (True-or-False) und Offene Fragen (Open-Ended).
  • Bewertungsmetriken: Für offene Fragen wird ein „LLM-as-a-Judge"-Ansatz mit einem detaillierten Rubrik-System (1–5 Punkte) verwendet, das drei Dimensionen bewertet:
    1. Präferenzbewusstsein (Awareness): Erkennt das Modell die Präferenz?
    2. Präferenz-Alignment: Stimmt der Inhalt der Antwort mit der Präferenz überein?
    3. Antwortqualität: Ist die Antwort hilfreich und konstruktiv?

3. Experimente und Ergebnisse

Die Studie testete verschiedene State-of-the-Art-Modelle (u.a. GPT-5, Qwen3, Gemini 2.5, Llama 3.3) unter verschiedenen Bedingungen (Kontextlänge, Äußerungstyp, Verbesserungsmethoden).

• Einfluss der Aufgabentypen:

  • Wahr/Falsch-Fragen erwiesen sich als robuster als Multiple-Choice-Fragen. Bei MCQs neigten Modelle dazu, durch Vergleich der Optionen („der Außenseiter") zu raten, was zu überhöhten Scores führte, ohne die Präferenz wirklich verstanden zu haben.
  • Generierungsaufgaben (Offene Fragen) unterscheiden Modelle am besten, da sie proaktives Handeln erfordern, statt nur eine Option auszuwählen.

• Einfluss der Präferenzäußerung:

  • Die Leistung der Modelle sinkt signifikant, wenn die Äußerung von explizit zu implizit wechselt. Besonders bei stilistischen Ausdrücken und Erfahrungsfeedback (implizit) bricht die Performance ein.
  • Modelle wie GPT-5 zeigen hier einen stärkeren Abfall als andere, was darauf hindeutet, dass sie aktiver versuchen, Präferenzen zu extrahieren, dabei aber bei komplexen Hinweisen scheitern.

• Einfluss der Kontextlänge (Long-Horizon):

  • Mit zunehmender Kontextlänge (bis zu 247K Tokens) verschlechtert sich die Fähigkeit, Präferenzen zu behalten, drastisch.
  • Die Positionierung der relevanten Informationen im Kontext spielt eine Rolle: Wenn die Präferenzinformation weit vom aktuellen Query entfernt ist (durch viele zufällige Gespräche getrennt), sinkt die Performance zusätzlich.

• Verbesserungsmethoden:

  • Reminder: Ein einfacher Hinweis an das Modell, an Präferenzen zu denken, hilft, ist aber begrenzt.
  • Few-Shot Chain-of-Thought: Zeigt moderate Verbesserungen.
  • Retrieval-Augmented Generation (RAG): Erweist sich als effektivste Methode, insbesondere bei sehr langen Kontexten, die die native Retrieval-Fähigkeit des Modells übersteigen. RAG hilft, relevante historische Informationen gezielt wiederherzustellen.

• Generalisierung:

  • Modelle haben große Schwierigkeiten, gelernte Präferenzen auf neue, ungesehene Szenarien zu generalisieren (Generalized Preferences). Sie performen hier schlechter als bei originalen Präferenzen, es sei denn, sie werden explizit erinnert (Reminder), was die Proaktivität der Inferenz jedoch nur teilweise verbessert.

4. Hauptbeiträge

1. RealPref-Datensatz: Ein einzigartiger, nutzerzentrierter Dialog-Datensatz mit 100 Profilen und 1300 Präferenzen, der explizite bis stark implizite Äußerungen über lange Zeiträume simuliert.
2. Evaluierungs-Framework: Ein mehrdimensionales Bewertungssystem, das Klassifizierung und Generierung kombiniert und detaillierte Rubriken für die Bewertung offener Antworten bereitstellt.
3. Empirische Erkenntnisse: Die Studie liefert klare Belege dafür, dass aktuelle LLMs bei langen Kontexten und impliziten Hinweisen versagen und Schwierigkeiten haben, Präferenzen zu generalisieren. Sie identifiziert RAG als vielversprechende Lösung für lange Kontexte.

5. Bedeutung und Ausblick

Die Arbeit unterstreicht, dass die Personalisierung von LLM-Assistenten weit mehr ist als das reine Auswendiglernen von Fakten. Echte Personalisierung erfordert das Verstehen von Nuancen, das Behalten von Informationen über lange Zeiträume und die Fähigkeit, logische Schlüsse auf neue Situationen zu ziehen.

Bedeutung:

• RealPref bietet eine solide Grundlage für die Entwicklung von „nutzerbewussten" Assistenten, die sich besser an individuelle Bedürfnisse anpassen.
• Die Ergebnisse zeigen, dass reine Skalierung der Kontextlänge nicht ausreicht; neue Architekturen oder Strategien (wie RAG) sind notwendig, um die „Needle in a Haystack"-Problematik bei Präferenzen zu lösen.

Zukünftige Richtungen:
Die Autoren schlagen vor, dynamischere Präferenzen (die sich über die Zeit ändern), multimodale Interaktionskontexte und komplexere Feedback-Mechanismen (z.B. Daumen hoch/runter) in zukünftige Benchmarks zu integrieren. Zudem wird die Notwendigkeit betont, ethische Aspekte wie Datenschutz und Vermeidung von Über-Personalisierung bei der Entwicklung solcher Systeme zu berücksichtigen.

Der Code und der Datensatz sind unter github.com/GG14127/RealPref öffentlich verfügbar.