💬 NLP

Dimensionality in Satisfaction Ratings

Dit artikel toont aan dat het gebruik van een groot taalmodel om klanttevredenheid te ontleden in specifieke assen (zoals medewerkersprestaties en uitkomst) een genuanceerder en uitgebreider begrip van de klantervaring biedt dan traditionele enquêtegebaseerde metrieken, waarbij aanzienlijk lagere tevredenheidsniveaus aan het licht komen wanneer alle ondersteuningsgesprekken worden geanalyseerd in plaats van alleen de zelfgeselecteerde enquêterespondenten.

Oorspronkelijke auteurs: Andrew Hong, Jason Potteiger

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrew Hong, Jason Potteiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische limonadekraam runt. Elke keer als iemand een beker koopt, vraag je: "Hoe was het?" De meeste mensen lopen gewoon door, maar een enkeling blijft staan om een sterrenwaardering te geven. Je hebt je hele bedrijfsstrategie gebouwd op de meningen van die weinige stoppers, uitgaande van het idee dat zij iedereen vertegenwoordigen.

Dit artikel is als een detectiveverhaal waarbij de onderzoekers een super-slimme robot hebben ingezet (een AI genaamd GPT-4.1) om de werkelijke gesprekken tussen de klanten en het personeel van de limonadekraam te lezen. De robot raadt niet alleen een sterrenwaardering; hij breekt de ervaring af in vijf specifieke ingrediënten: Algemene tevredenheid, Agent (vriendelijkheid van de medewerker), Resultaat (hebben ze hun limonade gekregen?), Productkwaliteit (was de citroen vers?) en Inspanning (hoe hard moest de klant werken?).

Dit is wat de robot vond, en waarom het alles verandert wat we dachten te weten over klanttevredenheid.

De Grote Onthulling: De "Stille Meerderheid" is Ontevreden

De meest schokkende ontdekking is dat de mensen die wél de tijd nemen om een beoordeling achter te laten, geen eerlijke steekproef vormen van de totale groep.

De Beoordelingsgroep: De weinige mensen die daadwerkelijk bij de kraam stopten om een beoordeling te geven, gaven een gemiddelde score van 3,62 uit 5.
De Stille Groep: Toen de robot de transcripten van iedereen las (inclusief de 8.343 mensen die gewoon doorliepen zonder te beoordelen), was de gemiddelde score slechts 2,91.

Het artikel betoogt dat vertrouwen op alleen de mensen die enquêtes invullen, hetzelfde is als een hele film beoordelen op basis van alleen de recensies van de mensen die er dol op waren. De "stille meerderheid" heeft het eigenlijk veel slechter dan de enquêtes doen vermoeden. Het vermogen van de robot om elk gesprek te lezen, zelfs die zonder beoordeling, onthult een verborgen gat van 0,71 punten die enquêtes volledig missen.

De Scorekaart van de Robot: Goed in Sommige Dingen, Zwak in Andere

De onderzoekers testten of de uitsplitsing van de robot overeenkwam met wat klanten zelf over zichzelf zeiden.

De Winnaars: De robot was vrij goed in het raden van het Algemene gevoel, de prestaties van de Agent en het Resultaat (werd het probleem opgelost?). Deze kwamen overeen met de eigen beoordelingen van de klanten met een correlatie van ongeveer 0,65. Als je alleen naar de gevallen kijkt waarin de robot en de klant nauw op één lijn zaten, stijgt dat getal naar 0,811, en als je de enkele vreemde uitschieters negeert, bereikt het zelfs 0,914.
De Verliezer: De robot had moeite met het raden van de Producttevredenheid. Hij kon niet zien of de klant van de limonade zelf hield door alleen het chatgesprek te lezen. Het artikel suggereert dat dit niet noodzakelijkerwijs komt omdat de robot slecht is, maar omdat de enquêtevragen die gebruikt werden om dit te controleren te "ruisachtig" waren (zoals vragen of ze het nog eens zouden kopen, wat afhangt van prijs en gewoonte, niet alleen van de chat). De productscore is dus nog een "misschien" en heeft meer tests nodig.
De Inspanning-twist: De robot mat hoeveel "inspanning" de klant moest leveren. Deze score ging omlaag wanneer de tevredenheid omhoog ging (een correlatie van -0,54), wat logisch is: hoe harder je moet werken, hoe minder tevreden je bent.

De "Magische Truc" Die Niet Werkte (Maar Dat is Oké)

De onderzoekers stelden een lastige vraag: "Als we alle vijf de ingrediënten optellen (Agent + Resultaat + Product + Inspanning), kunnen we dan de uiteindelijke sterrenwaardering van de klant beter voorspellen dan wanneer we de robot simpelweg om een 'Algemene' score vragen?"

Het antwoord is nee.
Het artikel sluit expliciet de mogelijkheid uit dat het uitsplitsen van de gegevens helpt om de eindscore beter te voorspellen. De vijf ingrediënten zijn zo sterk met elkaar verbonden (ze bewegen in hetzelfde tempo) dat het optellen ervan geen nieuwe informatie oplevert. Het is alsof je probeert het weer te voorspellen door temperatuur, luchtvochtigheid en windsnelheid apart te meten en ze dan op te tellen — dat vertelt je niet meer dan wanneer je gewoon naar de lucht kijkt.

Dus, wat is dan het punt van de uitsplitsing?
De waarde ligt niet in het voorspellen van het getal; het ligt in het begrijpen van het verhaal.

De "Gemengde" Valstrik: Een enkele sterrenwaardering verbergt de waarheid. Je kunt een 4-sterrenbeoordeling krijgen omdat de Agent geweldig was (5 sterren), ook al was het Product verschrikkelijk (1 ster).
De "Volkstelling"-kracht: Omdat de robot elk gesprek leest, kan hij deze verborgen patronen opsporen. Het vond dat in ongeveer 4,8% van de gevallen de agent geweldig was, maar het product defect. Een enkele enquêtebeoordeling zou dan simpelweg "4 sterren" hebben gezegd, waardoor het feit verborgen bleef dat het product het werkelijke probleem is. De uitsplitsing werkt als een röntgenfoto: het laat precies zien waar de ervaring kapot is, in plaats van alleen dat de ervaring kapot is.

Waarom de Robot en de Klant Soms Niet Komen Overeen

De robot en de klanten waren het niet altijd eens. In ongeveer 83 specifieke gevallen zaten ze er twee of meer punten naast. Het artikel deed de afwijzing niet zomaar af; het las elk transcript om te begrijpen waarom.

De "Beleefde maar Lege" Valstrik (Overvoorspelling): Soms gaf de robot een hoge score omdat het gesprek beleefd was en soepel verliep, ook al was het werkelijke probleem van de klant niet opgelost. De robot zag de "manier" maar miste de "missie".
De "Helpende Overdracht" Valstrik (Ondervoorspelling): Soms gaf de robot een lage score omdat het probleem niet in de chat werd opgelost. Maar de klant gaf een hoge beoordeling omdat de agent zo behulpzaam was dat hij de klant doorstuurde naar een mens of een dossiernummer. De klant was tevreden met het proces, maar de robot scoorde de onopgeloste uitkomst.

Het artikel suggereert dat als de robot geleerd zou worden om te zoeken naar "taakvoltooiing" (werd de specifieke taak uitgevoerd?), hij de meeste van deze fouten zou kunnen herstellen. De onenigheid is geen willekeurige ruis; het is een kaart van wat de robot de volgende stap in zijn leerproces moet leren.

De Kern van het Verhaal

Dit artikel beweert niet dat het alles heeft opgelost. Het geeft toe dat de robot alleen is getest op de "gelukkige" klanten die beoordelingen achterlieten, dus we weten niet 100% zeker hoe hij presteert bij de zeer ontevredenen. Het geeft ook toe dat de "Product"-score wankel is.

Echter, de belangrijkste bevinding is solide: Enquêtes liegen door weglating. Ze horen alleen de tevreden weinigen. Door AI te gebruiken om elk gesprek te lezen, kunnen we eindelijk het volledige plaatje zien, dat veel minder positief is dan we dachten. De echte kracht ligt niet in het verkrijgen van een perfecte voorspelling van een sterrenwaardering; het ligt in het hebben van een volledige volkstelling van waarom mensen ontevreden zijn, waardoor bedrijven de specifieke kapotte onderdelen van hun service kunnen repareren in plaats van alleen maar te gissen.

Technische Samenvatting: Dimensionaliteit in Tevredenheidsscores

Probleemstelling
Klantenserviceorganisaties worden geconfronteerd met een fundamentele asymmetrie: ze genereren enorme hoeveelheden conversationele data (transcripten), maar vertrouwen op een kleine, zelfgeselecteerde minderheid van klanten die vrijwillig tevredenheidsscores verstrekken (doorgaans <6%). Deze afhankelijkheid van surveydata introduceert een onkwantificeerbare non-respons bias, aangezien de klanten die een beoordeling geven systematisch tevredener zijn dan degenen die dat niet doen. Bovendien comprimeert een enkele algemene tevredenheidsscore een complexe interactie — die onder meer agentgedrag, resultaten van de oplossing, productkwaliteit en klantinspanning omvat — tot een holistisch oordeel, waardoor de specifieke drijfveren van de ervaring worden vertroebeld. Het artikel onderzoekt of Large Language Models (LLMs) kunnen fungeren als annotatie-instrumenten om tevredenheid over de gehele populatie van contacten te deconstrueren in componentale assen, en of een dergelijke decompositie gevalideerd kan worden tegenover zelfgerapporteerde data.

Methodologie
De studie maakte gebruik van een dataset van een wereldwijde consumentengoederenfirma bestaande uit 8.880 afzonderlijke ondersteuningssessies (automatische chat en spraakoproepen) over een periode van 30 dagen. Slechts 537 sessies (6%) bevatten een door de klant verstrekte tevredenheidsscore.

Annotatie-instrument: Een enkel LLM (GPT-4.1) werd toegepast via een prompt-functie om elke transcript onafhankelijk te lezen. Het model voerde herkenning uit, geen generatie, waarbij taal die tevredenheid uitdrukte werd toegewezen aan een gestructureerd schema.
Decompositiestructuur: Het model genereerde vijf assen op een schaal van 1–5:
1. Algemene Tevredenheid: De holistische sessiescore.
2. Agent Tevredenheid: Kwaliteit van de afhandeling, geïsoleerd van het probleem.
3. Resultaat Tevredenheid: Status van de oplossing, geïsoleerd van de houding van de agent.
4. Product Tevredenheid: Tevredenheid met het product/de dienst zelf.
5. Voorspelde Inspanning: De vereiste inspanning van de klant (omgekeerde polariteit, waarbij 5 = hoogste inspanning/slechtste ervaring).
Validatieontwerp: De studie maakte gebruik van frameworks voor convergente en discriminerende validiteit (Campbell & Fiske, 1959) over drie verschillende cohorten:
1. In-Chat Basis (n=432): Sessies met native in-chat beoordelingen, gebruikt om de alignment van de algemene as te testen.
2. Survey Batterij (n=92 gevallen): Sessies met gedetailleerde enquêtes na het contact, gebruikt om de dimensie-specifieke alignment te testen (bijv. de resultaat-as versus een item over de oplossing).
3. De Census (n=8.880): De volledige populatie, gebruikt om het vermogen van de annotatie te meten om non-respons bias en volledige dekking van attributie te onthullen.

Belangrijkste Resultaten

Convergente Validiteit: Vier van de vijf assen volgen de zelfgerapporteerde tevredenheid nauwlettend. De algemene, de agent- en de resultaat-as correleren met zelfgerapporteerde scores op ongeveer 0,65 (Spearman $\rho$ ). De inspannings-as correleert met −0,54, wat bevestigt dat het zich gedraagt als een afzonderlijk, loyaliteitsrelevant construct in plaats van een hernoemde sentiment-score. De product-as vertoonde een zwakke correlatie (0,06) met survey-proxies (aanbevelingsintentie), wat wordt toegeschreven aan het feit dat de proxies downstream attitudes meten in plaats van directe contacttevredenheid.
Discriminerende Validiteit & Collineariteit: De componentale assen zijn sterk collinear (inter-as correlaties variërend van 0,84 tot 0,94). Bijgevolg levert het toevoegen van componentale assen aan de algemene score geen verbetering op in de voorspelling van de score van de klant; de decompositie biedt geen incrementele voorspellende waarde bovenop de algemene as alleen.
De Divergente Staart: De 0,65 correlatie onderschat de alignment omdat onenigheden geconcentreerd zijn in een kleine, leesbare staart (83 sessies die $\ge$ $\geq$ 2 punten verschillen). Het uitsluiten van deze divergente gevallen verhoogt de correlatie naar 0,811 (bij uitsluiting van ernstige divergenties) en 0,914 (bij uitsluiting van de volledige staart).
- Overvoorspelling: Treedt op wanneer het model de beleefde, vloeiende oppervlakte van een gesprek scoort, terwijl de specifieke taak van de klant nog niet is voltooid.
- Ondervoorspelling: Treedt op wanneer het model een onopgeloste uitkomst negatief scoort, terwijl de klant het contact hoog beoordeelt vanwege een succesvolle overdracht, escalatie of procesregistratie.
Non-respons Bias: Wanneer toegepast op de volledige census, onthult de annotatie een scherp gat tussen de gesurveyde en de niet-gesurveyde populaties. De gesurveyde minderheid heeft een gemiddelde voorspelde tevredenheid van 3,62, terwijl de ongesurveyde meerderheid gemiddeld 2,91 scoort. Deze kloof van 0,71 punten kwantificeert de non-respons bias die inherent is aan traditionele surveyprogramma's.
Attributiewaarde: Hoewel de assen de voorspelling niet verbeteren, bieden ze wel attributie. De decompositie identificeert dominante drijfveren (bijv. oplossing, agentafhandeling, productkwaliteit) voor elk contact, niet alleen voor de gesurveyde contacten. Het isoleert ook specifieke patronen, zoals "bekwame agent, defect product"-scenario's, die een samengestelde score zou verhullen.

Significantie en Claims
Het artikel claimt drie primaire bijdragen:

Methodologisch: Het demonstreert dat een vijfdelige decompositie gevalideerd kan worden met behulp van convergente en discriminerende tests, waarbij verder wordt gegaan dan enkel de nauwkeurigheid tegenover een enkele label om te beoordelen of de assen afzonderlijke constructen meten.
Diagnostisch: Het biedt een granulair beeld van de "divergente staart", waarbij wordt aangetoond dat de onenigheid tussen model en klant geen willekeurige ruis is, maar voortkomt uit identificeerbare frame-mismatches (bijv. taakvoltooiing versus conversationele beleefdheid).
Substantieel: Het kwantificeert de non-respons bias in surveys door de gevalideerde annotatie toe te passen op de ongesurveyde meerderheid, waarmee wordt aangetoond dat de ongesurveyde populatie aanzienlijk minder tevreden is dan de zelfgeselecteerde respondenten.

De auteurs benadrukken dat de waarde van deze decompositie niet ligt in het nauwkeuriger voorspellen van de tevredenheidsscore van de klant dan de algemene as (wat het niet doet), maar in attributie en dekking. Het transformeert de meting van tevredenheid van een "scorekaart" van de zelfgeselecteerde enkeling naar een "diagnose" van de gehele populatie, waarbij wordt geïdentificeerd waar ontevredenheid zich concentreert en wat dit drijft over alle contacten heen.

Beperkingen
De studie erkent enkele beperkingen:

Validatiebereik: Validatie vond alleen plaats bij de tevreden minderheid (zij die een score gaven), wat betekent dat de prestaties van de annotatie aan de lagere kant van de tevredenheidsschaal (de ongesurveyde meerderheid) een out-of-sample extensie is.
Enkel Model/Prompt: Alle resultaten zijn afhankelijk van GPT-4.1 en een specifiek prompt-ontwerp; er is geen run-to-run betrouwbaarheidsplafond vastgesteld.
Product-as: De product-as blijft voorlopig vanwege het gebrek aan een zuivere survey-proxy voor directe productkwaliteit.
Taakvoltooiing: De analyse identificeert dat de huidige decompositie een specifieke "taakvoltooiings-as" mist, wat een aanzienlijk deel van de overvoorspellingsfouten verklaart.

De Grote Onthulling: De "Stille Meerderheid" is Ontevreden

De Scorekaart van de Robot: Goed in Sommige Dingen, Zwak in Andere

De "Magische Truc" Die Niet Werkte (Maar Dat is Oké)

Waarom de Robot en de Klant Soms Niet Komen Overeen

De Kern van het Verhaal

Meer zoals dit