Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions

Deze paper introduceert RealPref, een benchmark voor het evalueren van de prestaties van LLM's bij het volgen van complexe, lange-termijn gebruikersvoorkeuren in realistische interacties, en onthult dat de prestaties aanzienlijk afnemen naarmate de context langer wordt en de voorkeuren implicieter worden uitgedrukt.

De kern

Stel je voor dat je een zeer slimme, digitale assistent hebt die je al jaren kent. Je hebt met hem gepraat over je werk, je hobby's, je favoriete eten en zelfs je geheimen. Nu, jaren later, vraag je hem: "Wat voor soort vakantie zou ik leuk vinden?"

Een echte vriend zou direct weten dat je niet van drukke stranden houdt omdat je dat een keer vertelde, of dat je van kleine, gezellige hotels houdt in plaats van grote ketens. Maar wat als die digitale assistent zijn geheugen verliest? Of wat als hij je voorkeur niet duidelijk hoorde, omdat je het niet direct zei, maar eromheen praatte?

Dit is precies het probleem dat het onderzoek RealPref aanpakt. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Goudvis" vs. De "Oude Vriend"

Tot nu toe zijn grote taalmodellen (LLMs) getest op korte vragen, alsof je ze net hebt ontmoet. Ze moeten een opdracht uitvoeren en dan is het klaar. Maar in het echte leven praten we met onze assistenten over lange tijd. We onthullen onze voorkeuren in stukjes en brokjes, soms heel duidelijk, maar vaak heel subtiel.

De auteurs zeggen: "De meeste tests zijn alsof we een goudvis testen op zijn geheugen door hem elke seconde een nieuwe opdracht te geven. Maar een echte assistent moet een oude vriend zijn die onthoudt wat je gisteren, vorige maand en twee jaar geleden zei."

2. De Oplossing: RealPref (De "Proefkeuken")

De onderzoekers hebben een nieuwe testomgeving gemaakt, genaamd RealPref.

• De Opzet: Ze hebben 100 virtuele mensen bedacht met unieke levensverhalen.
• Het Scenario: Deze virtuele mensen hebben honderden gesprekken met een AI gehad. In die gesprekken hebben ze hun voorkeuren uitgedrukt op vier manieren:
  1. Helder: "Ik haat groene paprika's."
  2. Met context: "Ik heb gisteren een pizza gegeten, maar de groene paprika's waren echt niet lekker."
  3. Stijlvol: "Mijn maag draait zich om bij het idee van groene paprika's." (Geen woord "hater" gebruikt, maar de boodschap is duidelijk).
  4. Via ervaring: In de ene sessie probeerde de gebruiker groene paprika's, in de volgende sessie zei hij dat hij er ziek van werd, en in de derde sessie gaf hij aan dat hij ze nooit meer wil.

De AI moet nu, na al die gesprekken, een vraag beantwoorden die niets over paprika's zegt, maar waarbij het antwoord wel rekening moet houden met die paprika-afkeer.

3. Wat Vonden Ze? (De "Grote Verassingen")

Toen ze de slimste AI's van nu op deze test lieten, kwamen ze op enkele verrassende resultaten:

• Het Geheugen is een zwakke plek: Hoe langer het gesprek wordt (hoe meer "bladzijdes" in het boek van de conversatie), hoe slechter de AI wordt. Het is alsof je iemand een heel dik boek laat lezen en daarna vraagt wat er op pagina 50 stond. De AI begint te vergeten wat er eerder gebeurde.
• Subtiele hints zijn lastig: Als iemand zijn voorkeur duidelijk zegt, doet de AI het goed. Maar als de voorkeur verstop zit in een metafoor of een verhaal over een slechte ervaring, raakt de AI in de war. Het is alsof je vraagt of de AI een raadsel kan oplossen in plaats van een simpele vraag kan beantwoorden.
• De "Kies de juiste optie" valstrik: Als je de AI een meerkeuzevraag geeft, doet hij het vaak goed. Maar dat is een valstrik! De AI kijkt niet naar het geheugen, maar naar de opties zelf. "Welk antwoord ziet er anders uit dan de andere drie?" is vaak de strategie die de AI gebruikt, in plaats van echt te denken. De onderzoekers bedachten daarom een nieuwe test (Waar of Niet Waar) die dit voorkomt.
• Nieuwe situaties: Als je de AI vraagt om een voorkeur toe te passen op een situatie die hij nog nooit heeft gezien (bijvoorbeeld: "Je houdt van kleine, lokale winkels" -> "Wat voor cadeau moet ik geven?"), faalt de AI vaak. Hij kan de logica niet overbrengen naar een nieuwe context.

4. De Hulpmiddelen: Hoe maken we het beter?

De onderzoekers probeerden verschillende trucs om de AI te helpen:

• Aandachtsteken: Een simpele zinnetje toevoegen: "Vergeet niet wat de gebruiker eerder zei." Dit hielp een beetje.
• Voorbeelden: Het geven van voorbeelden van goede antwoorden. Dit hielp ook.
• Het "Zoekmachine"-effect (RAG): Dit was de winnaar. In plaats van dat de AI alles uit zijn hoofd moet halen, mochten we een zoekmachine gebruiken die de meest relevante stukjes uit het oude gesprek eruit haalde en aan de AI gaf. Dit is alsof je de AI een samenvatting geeft van de relevante hoofdstukken uit het dikke boek, zodat hij niet alles zelf hoeft te onthouden.

Conclusie: Waarom is dit belangrijk?

Dit onderzoek is een wake-up call. We bouwen steeds slimmere assistenten, maar ze zijn nog niet klaar voor het echte leven. Ze zijn goed in het uitvoeren van een opdracht, maar slecht in het onthouden van wie jij bent over een lange periode.

RealPref is als een strenge leraar die zegt: "Je bent slim, maar je luistert niet goed genoeg naar je vrienden. Als je een echte persoonlijke assistent wilt worden, moet je leren luisteren naar de subtiele signalen en je geheugen scherper maken."

De hoop is dat deze test helpt ontwikkelaars om AI's te bouwen die zich echt aanpassen aan jou, en niet alleen een robot zijn die antwoorden geeft op basis van wat er nu op het scherm staat.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet als persoonlijke assistenten waarbij gebruikers complexe en diverse voorkeuren delen over langere interacties. Echter, het evalueren van hoe goed LLMs deze voorkeuren volgen in realistische, langetermijnsituaties is onderbelicht. Bestaande benchmarks hebben drie belangrijke tekortkomingen:

1. Vereenvoudigde context: Ze focussen op korte dialogen met één specifieke voorkeur, in plaats van langdurige, multi-sessie interacties die een echte gebruiker simuleren.
2. Directe voorkeursuitdrukking: Ze gaan uit van expliciete voorkeursinstructies, terwijl voorkeuren in de echte wereld vaak impliciet, verspreid en afgeleid zijn uit emotionele signalen of keuzes.
3. Beperkte evaluatiemethoden: Bestaande methoden gebruiken vaak classificatietaken die afwijken van natuurlijke interacties, of generatietaken zonder betrouwbare kwaliteitscriteria.

Het centrale vraagstuk is of LLMs in staat zijn om (1) voorkeuren te vangen uit complexe uitdrukkingen, (2) deze voorkeuren te onthouden en te volgen over lange contexten, en (3) dit begrip te generaliseren naar onbekende scenario's.

Methodologie: RealPref Benchmark

De auteurs introduceren RealPref, een uitgebreid benchmark-dataset en evaluatiekader dat is ontworpen om de complexiteit van authentieke, langetermijn-gebruiker-LLM-interacties na te bootsen.

1. Dataset Constructie:

• Opzet: 100 gecurateerde gebruikersprofielen (met demografie, biografie en levensgebeurtenissen) en 1300 gepersonaliseerde voorkeuren.
• Voorkeurstypes: De dataset bevat zowel originele voorkeuren (direct afgeleid van het profiel) als gegeneraliseerde voorkeuren (logisch afgeleid van originele voorkeuren voor onbekende scenario's).
• Expressievormen: Voor elke voorkeur worden vier niveaus van uitdrukking gegenereerd, variërend van expliciet tot impliciet:
  1. Expliciet - Directe Stelling: Duidelijke uitspraak in één beurt.
  2. Expliciet - Contextuele Vermelding: Voorkeur wordt genoemd binnen een bredere context.
  3. Impliciet - Stijlvolle Expressie: Voorkeur wordt geïmpliceerd via metaforen, retoriek of emotie (geen directe woorden als "ik hou van").
  4. Impliciet - Ervaringsfeedback: Voorkeur wordt geleidelijk onthuld over meerdere sessies via ervaringen en feedback.
• Context: De dataset bevat lange conversatiegeschiedenissen (tot 247K tokens) met willekeurige, niet-gerelateerde gesprekken om de context te verdunnen en de afstand tussen voorkeur en vraag te vergroten.

2. Evaluatiekader:
RealPref gebruikt drie soorten testvragen:

• Meerkeuze (MCQ): Risico op "oddball"-detectie (het kiezen van het afwijkende antwoord zonder de voorkeur te kennen).
• Waar-of-Onwaar: Een verbeterde classificatietaak waarbij het model moet beoordelen of één specifiek antwoord geschikt is, wat vergelijking tussen opties voorkomt.
• Open Vragen: Het model moet proactief een antwoord genereren dat aansluit bij de voorkeur.

3. Evaluatiemetrics:
Voor open vragen wordt gebruikgemaakt van een "LLM-as-a-judge" benadering met een gedetailleerde rubriek op een schaal van 1-5, gebaseerd op drie dimensies:

• Voorkeur-bewustzijn: Herkent het model de voorkeur?
• Voorkeur-uitlijning: Sluit de inhoud van het antwoord daadwerkelijk aan bij de voorkeur?
• Antwoordkwaliteit: Is het antwoord nuttig en constructief?

Belangrijkste Resultaten

Experimenten met diverse state-of-the-art modellen (o.a. GPT-5, Qwen3, Gemini 2.5, Llama 3.3) leverden de volgende inzichten op:

1. Impact van Vraagtype: Meerkeuzevragen (MCQ) leiden vaak tot overdreven hoge scores omdat modellen de "vreemde eend" in de opties kunnen herkennen zonder de voorkeur te begrijpen. "Waar-of-Onwaar" en open vragen geven een nauwkeuriger beeld van de werkelijke prestaties.
2. Impact van Expressie: De prestaties van LLMs dalen significant naarmate de voorkeuruitdrukking implicieter wordt. Modellen hebben moeite om voorkeuren te extraheren uit stijlvolle expressies of verspreide ervaringen.
3. Impact van Contextlengte: Er is een duidelijke afname in prestatie naarmate de contextlengte toeneemt (van 2K naar 247K tokens). Dit geldt vooral voor de dimensies "voorkeur-bewustzijn" en "uitlijning". De positie van de relevante informatie (dichtbij of ver weg van de vraag) speelt ook een rol.
4. Generalisatie: Modellen hebben moeite om voorkeuren toe te passen op onbekende scenario's (gegeneraliseerde voorkeuren). Ze presteren slechter op deze taken dan op originele voorkeuren, tenzij ze worden geholpen met "Reminder"-prompting.
5. Verbeteringsmethodes:
   • Reminder: Een simpele prompt om te herinneren aan voorkeuren helpt, maar is beperkt bij zeer lange contexten.
   • Few-shot Chain-of-Thought: Biedt gematigde verbetering.
   • Retrieval-Augmented Generation (RAG): Blijkt het meest effectief, vooral bij zeer lange contexten die de interne zoekcapaciteit van het model overstijgen. RAG helpt modellen om relevante historische draaien terug te vinden en te integreren.

Bijdragen

1. RealPref Dataset: Een uniek, gebruikersgericht dataset met 100 profielen en 1300 voorkeuren die variëren in complexiteit, expressie (expliciet/impliciet) en generalisatie.
2. Uitgebreid Evaluatiekader: Een multi-dimensionaal protocol dat classificatie en generatie combineert, ondersteund door granulaire rubrieken voor het beoordelen van open antwoorden.
3. Empirische Inzichten: Het paper levert bewijs dat huidige LLMs tekortschieten in het actief onthouden en generaliseren van voorkeuren in lange, realistische dialogen, en identificeert RAG als een cruciale oplossing voor lange contexten.

Betekenis en Toekomstperspectief

RealPref biedt een fundamentele basis voor het ontwikkelen van echt persoonlijke LLM-assistenten die zich kunnen aanpassen aan individuele behoeften. De bevindingen onderstrepen dat "instruction following" niet voldoende is voor personalisatie; modellen moeten in staat zijn tot reasoning over impliciete signalen en generalisatie over tijd en context.

De auteurs wijzen ook op beperkingen en toekomstige richtingen:

• Het simuleren van dynamische, veranderende voorkeuren.
• Het integreren van multimodale contexten.
• Het uitbreiden van evaluatiecriteria met ethische dimensies zoals privacy, transparantie en eerlijkheid om over-personalisatie en bias te voorkomen.

Kortom, dit werk markeert een verschuiving van het testen van LLMs op korte, expliciete instructies naar het evalueren van hun vermogen om complexe, menselijke relaties en voorkeuren op de lange termijn te begrijpen en respecteren.