BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

Het paper introduceert BenchPreS, een benchmark die aantoont dat geavanceerde taalkundige modellen met persistente geheugenfuncties moeite hebben om persoonlijke voorkeuren contextueel correct toe te passen of te onderdrukken, wat vaak leidt tot ongepast gebruik in sociale situaties.

De kern

🎭 De Grote Verwarde Assistent: Waarom slimme robots niet weten wanneer ze moeten stoppen met grappen maken

Stel je voor dat je een super-slimme persoonlijke assistent hebt (een AI). Deze assistent kent je heel goed. Hij weet dat je grappig bent, dat je van emoji's houdt, dat je graag in de vorm van een schoolkrant schrijft, en dat je liever "Joker" genoemd wordt dan bij je echte naam.

In je dagelijkse chatjes met vrienden is dit geweldig! Je assistent is dan een levendige, grappige vriend.

Maar wat gebeurt er als je assistent een brief moet schrijven aan de Belastingdienst (de IRS)?

Hier is het probleem dat dit paper onderzoekt:
De assistent vergeet niet wie je bent, maar hij vergeet waar hij is. Hij denkt: "Ah, de gebruiker wil een grappige brief! En hij wil 'Joker' heten!" En dus schrijft hij een brief aan de Belastingdienst die begint met: "Hoi Belastingman! Hier is mijn belastingaangifte, maar noem me maar Joker, en hier zijn een paar emoji's! 🤡💸"

Dit is natuurlijk een ramp. De assistent heeft zijn eigen regels (jouw voorkeuren) niet kunnen filteren op basis van de situatie.

🧪 BenchPreS: De "Situatie-Test" voor Robots

De onderzoekers van dit paper hebben een nieuwe testbedacht, genaamd BenchPreS. Je kunt dit zien als een rijexamen voor sociale intelligentie voor AI's.

In plaats van te testen of een robot je kan onthouden, testen ze of de robot weet wanneer hij zijn mond moet houden.

• De Test: De robot krijgt een lijst met jouw voorkeuren (bijv. "gebruik een sarcastische toon") en een opdracht (bijv. "schrijf een formele brief aan een rechter").
• Het Doel: Een slimme robot moet denken: "Oké, de gebruiker wil sarcastisch zijn, maar dit is een formele brief. Ik moet die voorkeur onderdrukken en gewoon beleefd zijn."
• De Fout: De meeste robots doen het tegenovergestelde. Ze denken: "De gebruiker wil sarcastisch zijn? Dan word ik sarcastisch!" en vergeten dat ze in een formele situatie zitten.

📉 Wat hebben ze ontdekt? (De resultaten)

De onderzoekers hebben de slimste robots van vandaag (zoals GPT-5, Claude, Gemini) op deze test gezet. De resultaten waren verrassend slecht:

1. De "Alles-En-Alles" Probleem: Hoe beter een robot is in het onthouden van jouw voorkeuren, hoe slechter hij is in het stoppen met die voorkeuren op het verkeerde moment.
   • Metafoor: Het is alsof je een auto hebt die heel snel kan accelereren (voorkeuren toepassen), maar geen remmen heeft (voorkeuren onderdrukken). Hoe harder hij accelereert, hoe groter de crash.
2. De "Joker" in de Rekenkamer: In de test schreven robots soms een brief aan de Belastingdienst in de vorm van een schoolkrant, of gebruikten ze de naam "Joker" in een juridisch document. Ze behandelden jouw persoonlijke voorkeuren als altijd-geldende regels, in plaats van als situatie-afhankelijke suggesties.
3. Slimmer denken helpt niet echt: Je zou denken: "Als we de robot vragen om eerst na te denken (redeneren), lost hij het wel op."
   • Het tegendeel: De robots die eerst "na denken" voordat ze antwoorden, worden juist nog slimmer in het toepassen van voorkeuren, maar ze vergeten nog steeds om ze te stoppen op de verkeerde momenten. Ze denken: "Ik heb nagedacht... ja, de gebruiker wil een grappige brief, dus ik ga grappig zijn!" zonder te beseffen dat het niet mag.

🛠️ Kunnen we het fixen?

De onderzoekers hebben geprobeerd de robots een herinnering te geven (een "prompt") met de tekst: "Gebruik voorkeuren alleen als het past, en stop ze als het niet past."

• Het resultaat: Dit hielp een beetje, maar niet genoeg. De robots werden iets beter, maar maakten nog steeds veel fouten. Het lijkt erop dat ze het fundamenteel niet snappen. Ze zien jouw voorkeuren als een hardnekkige opdracht die ze moeten uitvoeren, in plaats van als een nuance die ze moeten afwegen.

🎯 De conclusie in één zin

Vandaag de dag zijn onze slimste AI-assistenten nog te star: ze zijn zo gewend om te doen wat jij wilt, dat ze vergeten te kijken of het ook wel past in de situatie. Ze zijn als een vriend die in een begrafenis een grappig grapje maakt omdat jij dat normaal gesproken leuk vindt, en die niet snapt dat dit nu niet de juiste tijd is.

BenchPreS is dus een waarschuwing: voordat we AI's volledig kunnen vertrouwen met onze persoonlijke data en hun laten schrijven voor ons, moeten we ze eerst leren sociale context te begrijpen. Ze moeten leren dat "wat ik wil" niet altijd "wat ik moet doen" betekent.

Technische samenvatting

Titel: BenchPreS: Een Benchmark voor Contextbewuste Geselecteerde Persoonlijke Voorkeuren van Persistent-Memory LLMs

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker ingezet als gepersonaliseerde assistenten die gebruikmaken van persistent memory (persistent geheugen) om gebruikersvoorkeuren over verschillende sessies heen te onthouden en toe te passen. Hoewel dit personalisatie mogelijk maakt, ontstaat er een kritiek probleem in derde-partij communicatiesituaties (bijvoorbeeld het opstellen van e-mails aan overheidsinstanties, advocaten of banken).

In deze formele contexten kunnen bepaalde gebruikersvoorkeuren (zoals een grappige toon, het gebruik van emoji's, of een informele bijnaam) onvanstig of zelfs schadelijk zijn. De kernvraag is niet of het model de voorkeur onthoudt, maar of het kan selecteren welke voorkeuren in een specifieke context wel en welke niet toegepast moeten worden. Huidige modellen behandelen voorkeuren vaak als globaal afdwingbare regels in plaats van contextafhankelijke signalen, wat leidt tot ongepast gedrag in formele situaties.

2. Methodologie: BenchPreS

De auteurs introduceren BenchPreS, een benchmark specifiek ontworpen om deze "contextbewuste voorkeurselectiviteit" te evalueren.

• Data Constructie:

  • De dataset is gebaseerd op CIMemories en bevat 39 contexten (combinaties van ontvanger en taak, bijv. "IRS-agent – belastingdiscrepantie oplossen") verdeeld over vijf domeinen (financiën, gezondheid, onderwijs, werkgelegenheid, huisvesting).
  • Er zijn 10 gebruikersprofielen met persistent geheugen, elk met ongeveer 152 attributen. Hieronder vallen 5 specifieke voorkeuren (rol, stijl, toon, markers, bijnaam) en feitelijke informatie.
  • Voor elke combinatie van profiel en context zijn "gouden labels" (gold labels) gemaakt door menselijke annotatoren die aangeven of een voorkeur wel of niet toegepast moet worden.

• Evaluatiemetrics:
  De prestaties worden gemeten met twee complementaire metrics:

  1. Misapplication Rate (MR): Het percentage van voorkeuren die niet toegepast hadden moeten worden, maar wel werden toegepast (over-tuigendheid).
  2. Appropriate Application Rate (AAR): Het percentage van voorkeuren die wel toegepast hadden moeten worden en ook daadwerkelijk werden toegepast.
  • Ideaal scenario: Lage MR en hoge AAR.

• Evaluatieprotocol:
  Er wordt gebruikgemaakt van een LLM-as-Judge framework (met DeepSeek-R1 als rechter) om te beoordelen of een gegenereerde reactie een specifieke voorkeur reflecteert.

3. Belangrijkste Resultaten

De evaluatie omvatte 10 state-of-the-art LLMs (waaronder GPT-5.2, Gemini 3 Pro, Claude-4.5, DeepSeek V3.2, en diverse open-source modellen).

• Algemene Prestatie: Geen enkel model slaagt erin om zowel lage MR als hoge AAR te bereiken. Er is een sterke positieve correlatie tussen AAR en MR: modellen die goed zijn in het toepassen van voorkeuren (hoge AAR), zijn ook slecht in het onderdrukken van ongepaste voorkeuren (hoge MR).

  • Voorbeeld: Gemini 3 Pro heeft de hoogste AAR (88,69%) maar ook de hoogste MR (86,48%).
  • GPT-5.2 presteert het best met de grootste kloof tussen AAR en MR (46,38%), maar heeft nog steeds een aanzienlijke MR van 40,95%.
  • Mistral 7B heeft de laagste MR (38,49%), maar ook de laagste AAR (49,77%), wat suggereert dat het simpelweg minder voorkeuren toepast in plaats van slim te selecteren.

• Effect van Redenering (Reasoning):
  Het activeren van "reasoning"-modi (zoals bij Qwen3 en K-EXAONE) leidt tot een toename in zowel AAR als MR. Dit betekent dat redenerende modellen beter zijn in het volgen van instructies, maar dit helpt niet bij het onderscheiden van gepaste versus ongeschikte voorkeuren; ze voeren instructies juist agressiever uit.

• Prompt-based Mitigation:
  Het toevoegen van expliciete instructies in de prompt om ongepaste voorkeuren te onderdrukken, verlaagt de MR aanzienlijk (bijv. bij Gemini 3 Pro van 86% naar 12%), maar gaat ten koste van de AAR. Dit lost het probleem niet fundamenteel op en werkt niet consistent over alle modellen heen.

• Kwalitatieve Fouten:
  Modellen passen voorkeuren vaak blindelings toe, zelfs in strijd met de context. Voorbeelden uit het paper:

  • Het opstellen van een formele brief aan de belastingdienst in de vorm van een schoolnieuwsbrief.
  • Het gebruik van een sarcastische toon of emoji's in juridische documenten.
  • Het gebruik van een bijnaam zoals "Joker" in een officiële aanvraag.

4. Belangrijkste Bijdragen

1. BenchPreS Benchmark: De eerste benchmark die specifiek focust op de selectiviteit van voorkeuren in persistent geheugen, in plaats van alleen op het volgen van voorkeuren.
2. Inzicht in Modelgedrag: Het paper demonstreert dat huidige LLMs voorkeuren behandelen als globale regels in plaats van contextafhankelijke signalen. Ze schalen de "sterkte" van voorkeursvolging op, maar missen het vermogen tot contextuele onderdrukking.
3. Analyse van Oplossingsrichtingen: Het onderzoek toont aan dat noch geavanceerde redeneercapaciteiten, noch simpele prompt-engineering, het probleem van contextbewuste selectiviteit volledig oplossen.

5. Betekenis en Conclusie

De studie benadrukt een fundamentele beperking in de huidige architectuur van gepersonaliseerde LLMs. Voor de veilige en effectieve inzet van LLMs als agenten in professionele omgevingen (zoals juridische, medische of financiële diensten) is het cruciaal dat modellen niet alleen kunnen onthouden wat een gebruiker wil, maar ook kunnen begrijpen wanneer die voorkeuren niet van toepassing zijn.

De auteurs concluderen dat er behoefte is aan fundamentele veranderingen in het trainingsproces (bijvoorbeeld door contextbewuste redeneerpatronen in post-training data op te nemen) om modellen te leren om voorkeuren dynamisch te reguleren op basis van de sociale en institutionele normen van de communicatiecontext. BenchPreS dient als een diagnostisch instrument om deze specifieke foutmodus te bestuderen en te verbeteren.