🤖 AI

Beyond expert users: agents should help users construct preferences, not just elicit them

Dit artikel betoogt dat AI-agenten gebruikers actief moeten helpen bij het construeren van voorkeuren door noodzakelijke domeinkennis te verstrekken, in plaats van deze slechts te extraheren, een uitdaging die wordt benadrukt door het voorgestelde CoPref-framework en de CoShop-benchmark, die onthullen dat huidige frontier-modellen moeite hebben met het uitbreiden van het begrip van de gebruiker ondanks meerdere interactierondes.

Oorspronkelijke auteurs: Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een luxe schoenenzaak binnenloopt om wandelschoenen te kopen. Je zegt tegen de verkoper: "Ik zoek schoenen die comfortabel zijn, niet te duur en er goed uitzien."

In de wereld van huidige AI-shoppingassistenten gaat het systeem ervan uit dat je een expert bent. Het denkt: "Geweldig! Je weet precies wat je wilt. Ik hoef alleen nog maar een paar vragen te stellen voor de details: 'Welke maat? Welke kleur? Wat is je budget?'"

Dit artikel betoogt dat deze aanname onjuist is. De meeste mensen zijn geen experts. We weten niet dat "noppen diepte" (het profiel onderop) belangrijk is voor rotsachtige paden, of dat "waterdicht" iets anders is dan "waterafstotend". Als de AI alleen vraagt: "Wilt u waterdichte schoenen?" en jij zegt "Ik weet het niet," dan loopt de AI tegen een doodlopende weg aan. Het kan de juiste schoen niet vinden omdat het je nog niet heeft geleerd waarom die specifieke eigenschap belangrijk is.

Het Kernidee: Voorkeuren Opbouwen, Niet Alleen Vinden

De auteurs stellen dat AI niet alleen een vragensteller moet zijn; het moet een leraar zijn.

Ze introduceren een model genaamd COPREF (Co-constructed Preferences). Zie je voorkeuren niet als een verborgen schatkist die de AI probeert te openen met een sleutel (een vraag), maar als een huis dat tijdens je gesprek steen voor steen wordt gebouwd.

Zoekkenmerken (Search Features): Dit zijn makkelijke stenen. Je weet dat je "rood" wilt of "maat 44". De AI vraagt het gewoon, en jij antwoordt.
Ervaringskenmerken (Experience Features): Dit zijn stenen die je pas kunt zien als je ze vasthebt. Je weet niet of je van "suède" houdt totdat de AI je een foto van een suède schoen laat zien en vraagt: "Zie je deze textuur?" Je realiseert je dan pas: "Oh, ik haat dat."
Geloofskenmerken (Credence Features): Dit zijn de blauwdrukken. Je weet niet eens dat de muur bestaat totdat de AI uitlegt: "Overigens hebben sommige schoenen een speciale voering die blaren voorkomt." Zodra je dit leert, kun je beslissen of je dit wilt hebben.

Het Experiment: COSHOP

Om dit te testen, bouwden de onderzoekers een speelplaats genaamd COSHOP. Het is als een videogame waarin een AI-agent probeert een gesimuleerde gebruiker te helpen bij het kopen van spullen (kleding, films of boeken).

De "gebruikers" in dit spel zijn geprogrammeerd om echte mensen te zijn: ze beginnen met heel weinig ideeën. Ze weten niet wat ze willen totdat de AI hen helpt dit te leren. Het doel is niet alleen om het juiste item te vinden; het doel is dat de AI de gebruiker helpt begrijpen wat ze willen, zodat ze zelf de juiste keuze kunnen maken.

Wat ze vonden: De AI is te verlegen om te onderwijzen

De onderzoekers testten vijf van de slimste beschikbare AI-modellen (zoals de nieuwste versies van GPT en Claude). Dit is wat er gebeurde:

De "Expert"-valstrik: Wanneer de AI een gebruiker kreeg die alles al wist (een expert), was de AI geweldig. Het vond het juiste item in 94% van de gevallen.
De "Echte Gebruiker"-crash: Toen de AI een "echte" gebruiker probeerde te helpen (die moest leren), stortte de prestatie in. Geen enkel model kwam boven de 56% nauwkeurigheid uit.
De reden voor het falen: De AI was niet slecht in het doorzoeken van de winkel. Het was slecht in onderwijzen.
- Te veel vragen, te weinig voorbeelden: De AI bleef vragen: "Vind je dit leuk?" of "Is dit te duur?" zonder ooit te laten zien hoe "te duur" of "deze stijl" er daadwerkelijk uitzag.
- Voortijdige beëindiging: De AI werd vaak moe van het stellen van vragen en zei: "Oké, ik denk dat ik genoeg informatie heb," en ging over tot zoeken. Maar de gebruiker wist nog steeds niet genoeg om de juiste keuze te maken uit de lijst.
- Hallucinaties: Soms verzon de AI functies die niet bestonden, wat de gebruiker alleen maar meer in de war bracht.

De Analogie van het "Slechte Rapport"

Stel je voor dat de AI een onderzoeker is die de perfecte wandelschoen vindt. Hij schrijft een rapport voor je.

Het Probleen: Het rapport zegt: "Hier is een geweldige schoen." Maar het vergeet te vermelden dat de schoen van zwaar leer is gemaakt (wat jij haat) of dat hij een hoge enkel heeft (wat jij nodig hebt).
Het Resultaat: Hoewel de AI de perfecte schoen heeft gevonden, kun je hem niet kiezen omdat het rapport je niet de informatie gaf die je nodig had om een keuze te maken. Je kiest een andere, minder goede schoen omdat je niet wist dat de eerste eigenlijk de juiste was.

De Conclusie

Het artikel concludeert dat voor AI om echt nuttig te zijn, het moet stoppen met het zijn van een retrievesysteem (alleen maar antwoorden ophalen) en moet beginnen met het zijn van een collaborateur. Het moet beseffen dat de gebruiker soms niet weet wat hij wil, en dat de taak van de AI is om voorbeelden te tonen en technische details uit te leggen, zodat de gebruiker zijn eigen voorkeuren kan construeren.

Momenteel falen zelfs de slimste AI's hierin. Ze zijn geweldig in het vinden van dingen, maar ze zijn erg slecht in het helpen van ons om te ontdekken wat we eigenlijk nodig hebben.

Technische Samenvatting: Voorbij Expertgebruikers – Agenten Moeten Gebruikers Helpen Voorkeuren te Construeren, Niet Alleen Op te Vragen

1. Probleemstelling

Huidige agentische aanbevelingssystemen (bijv. ChatGPT Shopping Research, Amazon Rufus) en de benchmarks die worden gebruikt om deze te evalueren, werken onder een kritische, onrealistische aanname: dat gebruikers experts zijn met goed gevormde, statische voorkeuren die volledig gespecificeerd kunnen worden via verhelderende vragen. In de realiteit missen niet-expertgebruikers vaak de domeinkennis om voorkeuren te definiëren voor alle relevante kenmerken. Zij zijn mogelijk niet in staat om vragen te beantwoorden over specifieke attributen (bijv. "bagagediepte" voor wandelschoenen of "viscose versus lyocell" voor stoffen) omdat zij nog niet begrijpen wat deze kenmerken betekenen of hoe ze de gebruikerservaring beïnvloeden.

Het artikel betoogt dat wanneer agenten uitsluitend vertrouwen op verhelderende vragen, zij er niet in slagen de gebruiker te helpen de voorkeuren te construeren die nodig zijn om aanbevelingen te evalueren. Gevolgelijk, zelfs als een agent het ideale item succesvol vindt, kan de gebruiker dit mogelijk niet identificeren als de beste keuze vanwege een onderontwikkelde voorkeurstoestand. Dit leidt tot een falen in de "team"-prestaties van het mens-agent-systeem, en niet alleen in het zoekvermogen van de agent.

2. Methodologie

2.1 Het COPREF-model

De auteurs introduceren COPREF (Co-constructed Preferences), een formeel model van mens-agent-interactie waarbij voorkeuren niet worden opgehaald, maar worden geconstrueerd door middel van dialoog.

Voorkeurstoestand ( $S_t$ ): Een deelverzameling van kenmerken $F$ waarover de gebruiker op tijdstip $t$ een voorkeur heeft gevormd. Deze staat evolueert van een onvolledige initiële staat ( $S_1$ ) op basis van agent-acties.
SEC-framework: Geïnspireerd door de informatie-economie (Search-Experience-Credence), verdeelt het model kenmerken in drie typen, die elk een andere dialoogactie van de agent vereisen om te "ontsluiten":
1. Search Features ( $F_s$ ): Gebruikers kennen hun voorkeur (bijv. prijs, maat). Ontsluiten via verhelderende vragen.
2. Experience Features ( $F_e$ ): Gebruikers moeten concrete voorbeelden zien om te kunnen beslissen (bijv. "is dit patroon te druk?"). Ontsluiten via voorbeeldopties.
3. Credence Features ( $F_c$ ): Gebruikers hebben domeinkennis nodig om het kenmerk te begrijpen (bijv. "wat is een yoke panel?"). Ontsluiten via technische uitleg.
Mechanisme: Een kenmerk wordt pas toegevoegd aan de voorkeurstoestand van de gebruiker als de agent de specifieke dialoogactie uitvoert die overeenkomt met het SEC-type van het kenmerk.

2.2 De COSHOP-benchmark

Om agenten onder dit model te evalueren, introduceren de auteurs COSHOP, een interactieve benchmark voor agentische aanbevelingssystemen over drie domeinen:

Datasets: H&M (mode), MovieLens (films) en Goodreads (boeken).
Gebruikerssimulatie: In tegenstelling tot typische simulators die een persona eenmalig prompten, gebruikt COSHOP een simulator (gebaseerd op gpt-oss-120b) die expliciet verankerd is aan de huidige voorkeurstoestand $S_t$ . De SEC-splitsing van de simulator (welke kenmerken search/experience/credence zijn) is gepersonaliseerd op basis van de historische aankoop-/beoordelingsgegevens van de gebruiker.
Interactieprotocol:
1. Conversatie: Agent en gebruiker converseren gedurende maximaal 5 beurten (budget: 20 vragen, 10 unieke items getoond).
2. Research: Agent zoekt in de catalogus (budget: 250 retrievals).
3. Rapportage: Agent genereert $k=5$ aanbevelingen.
4. Selectie: De gebruiker selecteert één item op basis van de definitieve voorkeurstoestand $S_{T+1}$ .
Metrics:
- State Completeness (Toestandsvolledigheid): Fractie van de volledige voorkeursset van de gebruiker die is gerecupereerd.
- Agent Recall (Agent-herinnering): Of het doelitem $x^*$ in de top- $k$ aanbevelingen verschijnt.
- Team Accuracy (Team-nauwkeurigheid): Of de gebruiker succesvol $x^*$ selecteert uit het rapport. Dit is de primaire metriek, begrensd door zowel de recall als de rijkdom van de voorkeurstoestand van de gebruiker.

2.3 Validatie via Menselijke Studie

Een studie met $n=25$ participanten valideerde de kernclaims van COPREF:

Niet-expertgebruikers bezitten een mix van search, experience en credence kenmerken (geen enkele gebruiker had enkel search-kenmerken).
Gepaste dialoogacties (voorbeelden voor experience, uitleg voor credence) slagen erin om voorkeuren te "ontsluiten" die voorheen niet geformuleerd waren.
SEC-classificaties variëren per individu; een kenmerk is niet universeel credence of experience, maar hangt af van de specifieke domeinkennis van de gebruiker.

3. Belangrijkste Bijdragen

COPREF-model: Een formalisering van voorkeursconstructie die de "expertgebruiker"-aanname uitdaagt, door onderscheid te maken tussen kenmerken die vragen, voorbeelden of uitleg vereisen om gedefinieerd te worden.
COSHOP-benchmark: Een open-source interactieve benchmark die agenten evalueert op hun vermogen om voorkeuren samen met niet-expertgebruikers te construeren, waarbij "team accuracy" wordt gemeten in plaats van enkel retrieval.
Empirische Analyse: Een uitgebreide evaluatie van vijf frontier taalmodellen (GPT- en Claude-families) die aantoont dat huidige agenten er niet in slagen de gebruikerskennis effectief uit te breiden.

4. Resultaten

Evaluaties van vijf frontier-modellen (inclusief gpt-5.2, claude-sonnet-4.6 en gpt-oss-120b) op COSHOP leverden de volgende bevindingen op:

Prestatiedaling: Hoewel modellen hoog scoren (bijv. 94,3% voor claude-sonnet-4.6) wanneer ze vooraf volledig gespecificeerde voorkeuren krijgen, daalt hun Team Accuracy op COSHOP aanzienlijk (maximaal 56% over alle modellen en domeinen).
Foutmodi:
1. Onderontwikkelde Voorkeurstoestanden: Agenten slagen er niet in om de noodzakelijke dialoogacties (voorbeelden, uitleg) uit te voeren om experience- en credence-kenmerken te ontsluiten. Hierdoor kan de gebruiker het doelitem niet onderscheiden van afleiders, zelfs als het in het rapport aanwezig is.
2. Slechte Rapportkwaliteit: Agenten laten vaak kenmerken van items weg of vertekenen deze in hun definitieve rapporten, waardoor gebruikers niet in staat zijn de opties correct te evalueren.
Interactiestrategieën:
- Modellen neigen sterk naar het gebruik van verhelderende vragen (vaak redundant of gericht op bevestiging) in plaats van het bieden van voorbeelden of uitleg.
- Geen enkel model bood proactief technische uitleg voor credence-kenmerken.
- Grotere modellen (bijv. gpt-5.2) vertoonden een "execution bias", waarbij ze gesprekken voortijdig beëindigden om over te gaan naar de research-fase, waardoor de taak ondergespecificeerd bleef.
- Kleinere modellen putten het conversiebudget uit, maar faalden in het introduceren van nieuwe kenmerken, waarbij ze vaak in herhaling vielen op bekende attributen.
Interventies: Het verstrekken van gebruikersgeschiedenis aan de agent verbeterde de prestaties niet significant. Echter, het overschrijven van de itembeschrijvingen van de agent met volledige catalogusgegevens (wat een perfecte rapportkwaliteit simuleert) verbeterde de team accuracy aanzienlijk, wat bevestigt dat rapportkwaliteit en de ontwikkeling van de voorkeurstoestand de primaire knelpunten zijn.

5. Betekenis en Claims

Het artikel stelt dat de primaire beperking van huidige agentische aanbevelingssystemen niet hun vermogen om te zoeken of items te extraheren is, maar hun onvermogen om gebruikers te leren wat zij moeten weten om een beslissing te nemen.

Paradigmaverschuiving: De auteurs betogen dat het veld moet verschuiven van het zien van agenten als "voorkeureliflicitoren" (het ophalen van statische voorkeuren) naar "voorkeursconstructeurs" (het actief opbouwen van gebruikerskennis).
Team Accuracy: Succes moet worden gemeten aan de hand van de gezamenlijke capaciteit van het mens-agent-team. Een agent die het perfecte item vindt, maar er niet in slaagt de gebruiker te helpen begrijpen waarom het perfect is, heeft zijn taak niet volbracht.
Toekomstige Richtingen: Het artikel suggereert dat toekomstig werk zich moet richten op het trainen van agenten om te herkennen wanneer een gebruiker een gebrek aan domeinkennis heeft en om proactief voorbeelden en uitleg in te zetten, in plaats van enkel te vertrouwen op verhelderende vragen. Er wordt ook gepleit voor het uitbreiden van het COPREF-model buiten de context van aanbevelingen naar andere taakgerichte domeinen.

De auteurs blijven bescheiden en merken op dat hun model de constructie van voorkeuren vereenvoudigt (door uit te gaan van single-step unlocking en monotone toestandsgroei) en dat zelfs onder deze gunstige omstandigheden huidige frontier-modellen moeite hebben om zich aan te passen.