🤖 AI

Integrating Multi-Label Classification and Generative AI for Scalable Analysis of User Feedback

Dit artikel presenteert technieken voor het efficiënt analyseren van grote volumes gebruikersfeedback door supervised multi-label classificatie voor topiccategorisatie te combineren met generatieve AI voor samenvatting, terwijl wordt aangetoond dat sentimentanalyse een onbetrouwbare proxy is voor algehele producttevredenheid, die expliciet gemeten moet worden.

Oorspronkelijke auteurs: Sandra Loop, Erik Bertram, Sebastian Juhl, Martin Schrepp

Gepubliceerd 2026-06-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sandra Loop, Erik Bertram, Sebastian Juhl, Martin Schrepp

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorm softwarebedrijf runt. Elke dag sturen duizenden klanten je brieven (gebruikersreacties) waarin ze vertellen wat ze geweldig vinden, wat ze haten en wat er kapot is. Als je elke brief met de hand zou proberen te lezen, zou je begraven zijn onder een berg papier voordat je je ontbijt hebt uitgespezen.

Dit artikel gaat over hoe het team bij SAP een "slimme assistent" heeft gebouwd om hen te helpen deze berg brieven te lezen, te sorteren en te begrijpen zonder dat ze door het stof heen gaan. Dit is hoe ze het deden, onderverdeeld in eenvoudige delen:

1. De Sorteerhoed (Multi-Label Classificatie)

Stel je een enorme stapel gemengde brieven voor. Sommige gaan over de lettergrootte, sommige over trage laadtijden en sommige over bugs.

Het Probleem: Mensen kunnen niet snel genoeg duizenden brieven sorteren, en als ze dat wel proberen, raken ze vermoeid of maken ze fouten.
De Oplossing: Het team trainde een computerprogramma (een AI) om te fungeren als een supersnelle bibliothecaris. Ze leerden het een specifieke set "planken" (categorieën) aan, zoals Gebruiksgemak, Fouten, Prestaties en Help.
Hoe het werkt: De computer leest een brief en kan deze tegelijkertijd op meer dan één plank plaatsen. Een brief kan bijvoorbeeld zowel over een "trage laadtijd" (Prestaties) als over een "crash" (Fout) gaan.
Het Resultaat: Ze bouwten een systeem dat deze brieven automatisch met een hoge nauwkeurigheid kan sorteren. Ze hebben zelfs een menselijk "kwaliteitscontrole"-team dat het werk van de AI af en toe controleert om te zorgen dat deze niet lui of verward wordt.

2. De Samenvatter (Generatieve AI)

Zodra de brieven zijn gesorteerd, willen de bazen (managers) nog steeds niet 5.000 individuele brieven lezen. Ze willen alleen weten wat de "kern" is van wat mensen zeggen.

Het Probleem: Toen ze voor het eerst probeerden AI te gebruiken om samenvattingen te schrijven, was de AI een beetje een dramaqueen. De AI focuste te veel op de boze brieven, haalde de volgorde van onderwerpen door elkaar, of verzon soms dingen (hallucinaties) die niemand eigenlijk had gezegd.
De Oplossing: Ze veranderden de regels. In plaats van de AI te vragen om "een verhaal te schrijven", zeiden ze: "Kijk naar deze specifie{%} specifieke stapels brieven. Schrijf voor elke stapel een korte samenvatting van wat mensen zeiden, en vermeld de exacte brieven die dit bewijzen."
Het Resultaat: Nu produceert de AI een helder rapport dat zegt: "Dit is wat mensen vinden van Prestaties, en hier zijn drie werkelijke brieven die dit ondersteunen." Dit voorkomt dat de bazen beslissingen nemen op basis van verzonnen verhalen of alleen de luidste klachten.

3. De "Grummelige Klant" Valstrik (Sentimentanalyse)

Dit is het meest verrassende deel van het artikel. Het team wilde weten: Als een klant een boze brief schrijft, betekent dat dan dat ze ons product haten?

De Veelvoorkomende Fout: Veel mensen gaan ervan uit dat als een brief boos klinkt (negatief sentiment), de klant het hele product haat. Het is alsof je ervan uitgaat dat omdat iemand een ober uitscheldt over een koude soep, hij het hele restaurant haat.
De Reality Check: Het team keek naar twee verschillende enquêtes. Ze vergeleken de "toon" van de brieven met de werkelijke "tevredenheidsscores" die de klanten gaven (zoals een score van 1 tot 10).
De Bevinding:
- Positieve brieven kwamen bijna altijd van tevreden klanten.
- Negatieve brieven kwamen echter vaak van zeer tevreden klanten die gewoon één specifiek probleem hadden.
- De Analogie: Stel je een fan voor die van een sportteam houdt, maar woedend is omdat de scheidsrechter een slechte beslissing heeft genomen. De fan kan een boze brief schrijven over de scheidsrechter, maar houdt nog steeds van het team.
- De Conclusie: Je kunt het "boosheidsniveau" van de brieven niet gebruiken om te raden hoe tevreden de klanten in het algemeen zijn. Een hoog aantal boze brieven betekent niet dat het product slecht is; het kan ook betekenen dat mensen genoeg om het product geven om specifieke bugs aan te wijzen.

De Belangrijkste Les

Om je klanten te begrijpen, heb je twee dingen nodig die samenwerken:

De Cijfers: De tevredenheidsscores vertellen je hoe tevreden mensen in het algemeen zijn.
De Brieven: De commentaren vertellen je waarom ze dat zo voelen en welke specifieke zaken er gerepareerd moeten worden.

Het artikel waarschuwt ons om niet in paniek te raken wanneer we boze brieven zien. In plaats daarvan moeten we slimme hulpmiddelen gebruiken om ze te sorteren, samen te vatten en te beseffen dat een boze brief vaak komt van een klant die eigenlijk van het product houdt, maar wil dat het nog beter wordt.

Technische Samenvatting: Integratie van Multi-Label Classificatie en Generatieve AI voor Schaalbare Analyse van Gebruikersfeedback

Probleemstelling
In concurrerende softwaremarkten is continue evaluatie van de Gebruikerservaring (UX) essentieel voor het succes van een product. Hoewel kwantitatieve metrieken uit gestandaardiseerde vragenlijsten (bijv. SUS, NPS, UX-Lite) betrouwbare indicatoren zijn voor algemene bruikbaarheid en tevredenheid, verklaren zij vaak niet het "waarom" achter de percepties van gebruikers. Open eindteksten in gebruikersreacties bieden rijke kwalitatieve inzichten en identificeren specifieke sterktes, zwaktes en contextuele factoren. Het analyseren van grote volumes van deze reacties is echter kostbaar, inefficiënt en inconsistent bij handmatige verwerking. Bovendien is er een frequente discrepantie tussen kwantitatieve tevredenheidsscores en het sentiment dat in de tekstuele feedback wordt uitgedrukt; bijvoorbeeld kunnen zeer tevreden gebruikers nog steeds negatieve opmerkingen maken over geïsoleerde problemen. De uitdaging ligt in het efficiënt verwerken van deze reacties om bruikbare inzichten te extraheren, terwijl men de veelvoorkomende valkuil vermijdt om negatief sentiment in reacties gelijk te stellen aan algemene ontevredenheid over het product.

Methodologie
De auteurs presenteren een technisch framework dat is ontwikkeld binnen een langdurig UX-meetproject bij SAP SE, bestaande uit drie primaire componenten:

Geautomatiseerde Multi-Label Classificatie:
- Taxonomie-afleiding: Een onderwerpstaxonomie werd afgeleid door middel van steekproefanalyse en interviews met stakeholders, wat resulteerde in tien onderscheidende, collectief uitputtende labels (bijv. Bruikbaarheid, Functionaliteit, Fout, Prestatie, Licentiëring).
- Dataset Creatie: Een trainingscorpus van 2.756 handmatig geannoteerde reacties werd aangemaakt, die later werd uitgebreid naar 8.757 reacties verspreid over 40 producten. De dataset houdt rekening met het multi-label karakter van de reacties (20,86% van de initiële data bevatte meerdere labels).
- Embedding Generatie: De auteurs vergeleken twee embedding-benaderingen: een gefinetuned fastText-model (gebruikmakend van subwoordinformatie) en een gefinetuned Sentence-BERT (SBERT) model (Transformer-architectuur). SBERT vertoonde superieure prestaties en verbeterde de micro-gemiddelde F1-score met 24,58% ten opzichte van fastText.
- Classificatiealgoritme: Een Extreme Gradient Boosting (XGBoost) algoritme werd geselecteerd als de optimale classifier. Het model maakt gebruik van een sequentiële training van binaire classifiers voor elk label om multi-label toewijzing te verwerken. Hyperparameter-tuning werd uitgevoerd via multi-label gestratificeerde $k$ -fold cross-validatie.
- Human-in-the-Loop: Er werd een continu proces ingesteld waarbij menselijke codeurs voorspellingen van het model valideren en corrigeren, wat incrementeel leren mogelijk maakt en modeldrift voorkomt.
Generatieve AI (GenAI) Samenvatting:
- Iteratieve Verfijning: Eerdere pogingen om algemene samenvattingen of aparte positieve/negatieve samenvattingen te genereren, resulteerden in bias, inconsistentie en hallucinaties.
- Gestructureerde Aanpak: De uiteindelijke methodologie stemt de GenAI-generatie af op de vooraf gedefinieerde categorieën. De prompt instrueert de AI om de reacties en hun classificaties te beoordelen en een samenvatting te genereren voor elke categorie die voldoet aan een minimale drempelwaarde van het aantal reacties (bijv. vier reacties).
- Validatiewerkstroom: Het proces omvat het selecteren van letterlijke fragmenten uit de reacties om de gegenereerde samenvattingen te ondersteunen. Cruciaal is dat de selectie van deze fragmenten de werkelijke distributie van het sentiment (positief en negatief) behoudt om het narratief niet te vervormen. Samenvattingen worden beperkt tot de top vier categorieën op basis van volume om beknoptheid te waarborgen.
Sentimentanalyse en Correlatiestudies:
- De auteurs onderzochten de relatie tussen het sentiment op reactieniveau (Positief, Gemengd, Negatief) en kwantitatieve tevredenheidsmetrieken (NPS, Tutorial Quality Score, Product Satisfaction, UX-Lite) met behulp van twee verschillende enquêtes.
- Statistische analyses, inclusief Chi-kwadraattoetsen en conditionele waarschijnlijkheidsberekeningen, werden toegepast om de correlatie tussen sentiment en tevredenheidsscores te bepalen.

Belangrijkste Resultaten

Classificatieprestaties: Het uiteindelijke multi-label classificatiemodel behaalde variërende F1-scores per categorie, variërend van 0,49 voor de heterogene categorie "Overig" tot 0,82 voor "Licentiëring" en 0,76 voor "Prestatie". De categorieën "Bruikbaarheid" en "Functionaliteit", die het meest frequent voorkomen, behaalden respectievelijk F1-scores van 0,64 en 0,61.
Sentiment vs. Tevredenheid:
- Positief Sentiment: Correleert sterk met hoge tevredenheid. In de tutorial-enquête schreven 95% van de Promoters positieve reacties; in de applicatie-enquête rapporteerde 92% van de respondenten met positieve reacties dat zij tevreden of zeer tevreden waren.
- Negatief Sentiment: Is geen betrouwbare indicator voor lage tevredenheid.
  - In de tutorial-enquête werd 47,24% van de gebruikers die negatieve reacties schreven, geclassificeerd als Promoters (zeer tevreden).
  - In de applicatie-enquête rapporteerde 22,15% van de gebruikers die negatieve reacties schreven dat zij tevreden of zeer tevreden waren.
- Lengteverschil: Positieve reacties waren significant korter (gemiddeld 35–53 tekens) vergeleken met negatieve reacties (gemiddeld 153–202 tekens), die vaak specifieke fouten of problemen met de bruikbaarheid beschreven.
Samenvattingsgeneratie: De gestructureerde, op categorie gebaseerde GenAI-aanpak slaagde erin beknopte, gevalideerde samenvattingen te produceren die konden worden geïntegreerd in kwartaalrapportages en dashboards, wat de handmatige inspanning voor het interpreteren van kwalitatieve data aanzienlijk verminderde.

Betekenis en Claims
Het artikel beweert een schaalbare, complementaire aanpak voor UX-evaluatie te demonstreren, waarbij kwantitatieve metrieken robuuste indicatoren zijn van algemene kwaliteit, terwijl kwalitatieve reacties gecontextualiseerde verklaringen en bruikbare inzichten bieden.

De auteurs waarschuwen expliciet tegen het gebruiken van het sentiment in reacties als een proxy voor de algemene producttevredenheid. Hun resultaten geven aan dat een hoog percentage negatieve sentimenten niet moet worden geïnterpreteerd als een indicator van slechte productkwaliteit, aangezien tevreden gebruikers vaak negatieve feedback geven om specifieke, oplosbare problemen te benadrukken. Daarom beargumenteert het artikel dat producttevredenheid expliciet moet worden beoordeeld via enquête-metrieken in plaats van te worden afgeleid uit tekstueel sentiment.

In de praktijk biedt het werk een gevalideerde pijplijn voor productteams om:

Feedback systematisch te categoriseren om trends te monitoren (bijv. het volgen van de afname van klachten over prestaties na systeemverbeteringen).
Executive-ready samenvattingen te genereren met behulp van GenAI zonder onderhevig te zijn aan hallucinaties of bias.
Gebruikersfeedback accuraat te interpreteren door het rapporteren van specifieke problemen los te koppelen van het algemene tevredenheidsniveau.

De auteurs concluderen dat hoewel hun methoden effectief zijn voor hun specifieke context (SAP BTP), de aanpak aanpasbaar is, mits teams hun eigen relevante onderwerp-categorieën definiëren en een rigoureus validatieproces voor AI-gegenereerde inhoud handhaven.

1. De Sorteerhoed (Multi-Label Classificatie)

2. De Samenvatter (Generatieve AI)

3. De "Grummelige Klant" Valstrik (Sentimentanalyse)

De Belangrijkste Les

Meer zoals dit