PrefDisco: Benchmarking Proactive Personalized Reasoning

Dit paper introduceert PrefDisco, een evaluatiemethode en benchmark die statische taken omzet in interactieve scenario's om proactief gepersonaliseerd redeneren te testen, waarbij wordt aangetoond dat grote taalmodellen hierin nog niet vanzelfsprekend slagen en gerichte ontwikkeling vereisen om effectief te kunnen inspelen op individuele gebruikersvoorkeuren.

De kern

PREFDISCO: De Kunst van het "Op Maat Maken" voor AI

Stel je voor dat je een kapper bezoekt. De meeste AI-modellen (zoals de slimme chatbots die we nu hebben) zijn als kappers die voor iedereen exact dezelfde kapsel doen: ze knippen netjes, maar ze vragen nooit of je een kortere halslijn wilt, of je bang bent voor de schaar, of je liever een verhaal hoort terwijl ze werken. Ze geven je een "standaard" kapsel dat voor iedereen hetzelfde is.

Dit is wat de auteurs van dit paper, gepubliceerd bij ICLR 2026, willen veranderen. Ze introduceren PREFDISCO, een nieuwe manier om te testen of AI's echt kunnen "luisteren" en zich kunnen aanpassen aan jou, voordat ze een antwoord geven.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Eén-Size-Fits-All" AI

Vandaag de dag worden AI's eerst getraind om antwoorden te geven die correct zijn (zoals een wiskundig antwoord dat klopt), en daarna getraind om aangenaam te klinken voor de gemiddelde mens.
Maar in het echte leven werkt dat niet altijd.

• Voorbeeld: Als je een medische uitleg nodig hebt over een gebroken pols, wil een 14-jarige misschien een simpele uitleg met een aardige toon. Een arts wil daarentegen de exacte medische termen en geen gezeur over gevoelens.
• Als de AI voor beiden hetzelfde antwoord geeft, is het antwoord misschien wel correct, maar voor de 14-jarige verwarrend en voor de arts te kinderachtig.

2. De Oplossing: "Proactief Nieuwsgierig" zijn

De paper introduceert het concept Personalized Reasoning (Gepersonaliseerd Redeneren). Dit betekent dat de AI niet alleen moet antwoorden, maar eerst moet vragen wat jij nodig hebt.

Stel je voor dat de AI een detective is:

• In plaats van direct het antwoord te schreeuwen, stelt de detective slimme vragen: "Vind je het lastig met medische termen?", "Wil je dat ik het heel vriendelijk zeg?", "Is het dringend?"
• Pas als de AI weet wie jij bent, past hij zijn denkproces aan. Hij bouwt een ander antwoord op, niet alleen met andere woorden, maar met een andere strategie.

3. De Test: PREFDISCO

De auteurs hebben een nieuwe testbank (benchmark) gemaakt genaamd PREFDISCO. Ze hebben dit gedaan door:

• Personages te creëren: Ze hebben 100 verschillende "mensen" bedacht (een bioloog, een tiener, een bezorgde ouder, etc.) met specifieke voorkeuren.
• Verborgen voorkeuren: De AI weet deze voorkeuren niet van tevoren. Hij moet ze ontdekken door te chatten.
• De "Koude Start": De AI heeft geen geschiedenis met jou. Hij moet vanaf nul beginnen, alsof hij je voor het eerst ontmoet.

4. Wat Vonden Ze? (De Verbluffende Resultaten)

Toen ze 21 van de slimste AI's ter wereld op deze test lieten, kwamen ze tot een verrassende ontdekking:

• De "Goedbedoelende" Fout: In 29% van de gevallen maakte de AI het erger door te proberen zich aan te passen. Ze probeerden te veel te doen, stelden de verkeerde vragen, of veranderden hun antwoord zo veel dat het verkeerd werd.
  • Analogie: Het is alsof de kapper denkt dat je een gekleurd kapsel wilt, terwijl je gewoon een knipbeurt wilde, en hij maakt je haar nu helemaal kaal.
• Wiskunde vs. Sociale Situaties:
  • Bij wiskunde en logica faalden de AI's vaak. Als ze zich moesten aanpassen aan een gebruiker, maakten ze meer rekenfouten. Het lijkt erop dat hun "wiskunde-hersenen" verwarren raken als ze ook nog moeten denken aan "wat vind de gebruiker leuk?".
  • Bij sociale vragen (zoals "wat zou een vriend doen?") deden ze het juist beter.
• Te weinig vragen: De AI's stelden gemiddeld maar 1,5 vragen, terwijl ze er 5 hadden mogen stellen. Ze waren te snel klaar met praten en gaven te snel een antwoord.

5. Waarom Is Dit Belangrijk?

De auteurs concluderen dat aanpassingsvermogen niet vanzelf komt. Het is geen bijproduct van "slimmer worden". Je moet AI's specifiek trainen om:

1. Te weten wat ze niet weten over jou.
2. Strategisch vragen te stellen.
3. Hun redeneerstapjes aan te passen op basis van jouw antwoord.

Dit is cruciaal voor gebieden zoals onderwijs (waar een uitleg voor een leerling anders moet zijn dan voor een expert) en gezondheidszorg (waar een verkeerde toon of te veel jargon levensgevaarlijk kan zijn).

Kortom: PREFDISCO laat zien dat de slimste AI's van nu nog niet weten hoe ze echt "menselijk" moeten omgaan met individuele mensen. Ze zijn goed in het geven van het juiste antwoord, maar slecht in het geven van het juiste antwoord voor jou. De toekomst ligt in AI's die eerst vragen stellen, voordat ze antwoorden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "PREFDISCO: BENCHMARKING PROACTIVE PERSONALIZED REASONING", geschreven in het Nederlands.

Probleemstelling

Huidige ontwikkeling van Large Language Models (LLM's) behandelt taakoplossing en voorkeursuitlijning als twee gescheiden uitdagingen. Eerst worden modellen geoptimaliseerd voor objectieve juistheid (via instructietuning of reinforcement learning), en vervolgens worden ze afgestemd op geaggregeerde menselijke voorkeuren (via RLHF). Dit paradigma faalt in menselijke toepassingen waar het correct oplossen van een probleem niet voldoende is als het antwoord niet aansluit bij de specifieke behoeften van de gebruiker.

De uitdaging wordt versterkt in "just-in-time" scenario's (zoals koude start-situaties door privacybeperkingen of nieuwe gebruikers), waar er geen eerdere interactiegeschiedenis is. Bestaande systemen kunnen niet proactief vaststellen wat ze niet weten over de gebruiker, strategisch vragen stellen om voorkeuren te achterhalen, en hun redeneerprocessen en antwoorden daarop aanpassen. De auteurs definiëren dit als gepersonaliseerd redeneren: een complexe keten van cognitieve processen die verder gaat dan oppervlakkige presentatie; het vereist verschillende redeneerstappen, informatieprioritering en beslissingspunten afhankelijk van de gebruiker.

Bestaande benchmarks (zoals PersoBench of PrefEval) behandelen personalisatie vaak als het toepassen van statische profielen op vaste outputs, zonder de onderliggende redeneerstrategie aan te passen of zonder proactieve ontdekking van voorkeuren in koude start-situaties.

Methodologie: PREFDISCO

De auteurs introduceren PREFDISCO, een evaluatiemethodologie die statische benchmarks transformeert in interactieve personalisatietaken. De opbouw bestaat uit vier kerncomponenten:

1. Psychologisch onderbouwde Persona's: In plaats van willekeurige archetypen worden persona's gegenereerd op basis van de International Personality Item Pool (Big Five persoonlijkheidsdimensies), inclusief demografie en domeinexpertise. Deze blijven consistent over verschillende probleeminstanties heen.
2. Context-afhankelijke Instantiëring van Voorkeuren: Voor elke combinatie van persona en taak wordt een spars voorkeursprofiel gegenereerd. Niet alle mogelijke attributen (zoals expertise-niveau, affectieve kenmerken, meta-cognitieve kenmerken) zijn relevant voor elke taak. Alleen een subset van 20-25 mogelijke attributen wordt geactiveerd, afhankelijk van de context.
3. Evaluatie Rubrieken (Rubrics): Er worden attributspecifieke evaluatiecriteria gegenereerd om de uitlijning van het antwoord met de voorkeuren van de gebruiker te meten. Dit gebeurt via een fijnmazige rubriek (1-5 schaal) per attribuut, in plaats van één holistische score.
4. Geautomatiseerde Gebruikersimulatie: Een passieve gebruiker (gebaseerd op de persona) beantwoordt de vragen van het model feitelijk maar met minimale informatie. Dit dwingt het model om strategische vragen te stellen om voorkeuren te ontdekken, in plaats van dat de gebruiker proactief informatie geeft. Interacties zijn beperkt tot 5 beurten.

De drie evaluatiecondities:

• Baseline: Het model krijgt alleen het probleem (geen personalisatie).
• Discovery: Het model moet proactief vragen stellen om voorkeuren te ontdekken voordat het antwoordt.
• Oracle: Het model krijgt het volledige grond-truth voorkeursprofiel upfront (geen ontdekking nodig, alleen adaptatie).

Metriek: PREFALIGN
De uitlijning wordt gemeten met PREFALIGN, een gewogen som van scores per attribuut:
$$PREFALIGN(r, P_{p,i}) = \sum_{\theta_j \in F(i)} w_j \cdot g_j(r, v_j)$$
Waarbij $w_j$ het belang van het attribuut is, en $g_j$ de score is van hoe goed het antwoord $r$ voldoet aan de voorkeurswaarde $v_j$ van de gebruiker.

Belangrijkste Bijdragen

1. Definitie van Gecentraliseerd Redeneren: Het paper definieert personalisatie niet als statische consistentie, maar als een vermogen om proactief voorkeuren te ontdekken en het cognitieve redeneerproces daarop aan te passen.
2. PREFDISCO Framework: Een systematische aanpak om statische benchmarks om te zetten in interactieve personalisatietaken, met een focus op koude start en spars voorkeursmodellen.
3. PREFALIGN Metriek: Een nieuwe, rubric-gebaseerde maatstaf om de uitlijning van antwoorden met gebruikersvoorkeuren kwantitatief te meten.
4. Empirische Analyse: Een uitgebreide evaluatie van 21 state-of-the-art modellen (GPT, Gemini, Claude) over 10 verschillende taken (wiskunde, wetenschap, sociale redenering, etc.).

Resultaten

De evaluatie van 21 frontier-modellen onthult systematische tekortkomingen in gecentraliseerd redeneren:

• Negatieve Impact van Naïeve Personalisatie: In 29,0% van de gevallen leidt een poging tot personalisatie (Discovery-modus) tot een slechtere uitlijning dan een generiek antwoord (Baseline). Modellen neigen tot overcorrectie en passen aspecten aan die al acceptabel waren, wat de kwaliteit verlaagt.
• Onvoldoende Vraaggedrag: Modellen stellen gemiddeld slechts 1,42 vragen (maximaal 5 toegestaan), wat leidt tot onvoldoende informatie voor effectieve personalisatie. Er is een sterke positieve correlatie ($r=0.445$) tussen het aantal gestelde vragen en de uitlijningsscore.
• Domein-specifieke Britsheid:
  • Wiskundig en Logisch Redeneren: Ondergaat ernstige degradatie onder personalisatiebeperkingen (bijv. AIME toont een verlies van 12,1% in nauwkeurigheid). Modellen lijken hun trainingspaden (vaak geoptimaliseerd voor wiskunde via RL) niet flexibel genoeg te kunnen aanpassen aan contextuele beperkingen zonder de juistheid te verliezen.
  • Sociaal Redeneren: Blijft robuust of verbetert zelfs (bijv. SocialIQA toont een winst van 3,1%).
• Trade-off tussen Juistheid en Personalisatie: Er is een fundamentele cognitieve kostenpost. Zelfs in de Oracle-conditie (waarvoor geen interactie nodig is) daalt de taaknauwkeurigheid ten opzichte van de Baseline. Dit suggereert dat het verwerken van voorkeursbeperkingen inherent conflicteert met het vasthouden aan strenge logische redeneerpaden in huidige architecturen.
• Model Variatie: Nieuwere modellen vertonen soms meer variatie of presteren slechter dan oudere versies in discovery-modus, wat wijst op mogelijke "model collapse" of verlies van diversiteit door RL-training.

Betekenis en Toekomstperspectief

De bevindingen suggereren dat gepersonaliseerd redeneren geen emergent vermogen is dat vanzelf ontstaat uit algemene taalbegrip, maar een dedicated ontwikkelingsrichting vereist. Huidige LLM's zijn te fragiel om tegelijkertijd logische precisie te behouden en dynamisch te adapteren aan gebruikersvoorkeuren, vooral in veiligheidskritieke domeinen zoals onderwijs en gezondheidszorg.

PREFDISCO biedt een fundamentele basis voor het ontwikkelen van systemen die echt kunnen adapteren aan individuele gebruikers. De auteurs pleiten voor toekomstig onderzoek gericht op:

• Het analyseren van attributspecifieke uitlijningspatronen om bias te identificeren.
• Het gebruik van multi-dimensionale reward structuren voor reinforcement learning.
• Het onderzoeken van transfer van voorkeuren tussen verschillende taken.

Dit werk is cruciaal voor de volgende generatie AI-systemen die niet alleen correct, maar ook contextueel en persoonlijk relevant moeten zijn.