EventChat: Implementation and user-centric evaluation of a large language model-driven conversational recommender system for exploring leisure events in an SME context

Dit artikel presenteert de implementatie en gebruikersgerichte evaluatie van een door grote taalmodellen aangedreven conversatieaanbevelingssysteem voor evenementen in een MKB-context, waarbij hoge nauwkeurigheid wordt geconstateerd maar aanzienlijke uitdagingen op het gebied van kosten en latentie worden benadrukt die de zakelijke haalbaarheid beperken.

De kern

🎉 EventChat: De slimme, maar dure, reisgids voor kleine bedrijven

Stel je voor dat je een klein café of een lokale theatergroep runt (een KMO, ofwel een klein tot middelgroot bedrijf). Je wilt dat je klanten leuk dingen te doen vinden, zoals concerten of uitjes. Vroeger deden ze dit met een simpele lijst of een filter: "Toon mij concerten in Berlijn". Maar wat als je klanten liever een gesprek voeren? "Ik wil iets rustigs, niet te duur, en graag binnen 10 minuten lopen."

Dat is waar EventChat voor is bedacht. Het is een slimme chatbot die praat met je klanten en voorstellen doet, aangedreven door de nieuwste "brein"-technologie: Large Language Models (LLMs), zoals ChatGPT.

De onderzoekers van de ETH Zürich hebben deze chatbot gebouwd voor een startup in de vrijetijdssector en getest met echte mensen. Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. De Bouwstijl: Een strakke trein vs. een losse zwerm

Er zijn twee manieren om zo'n slimme assistent te bouwen:

• De Agent-methode (De losse zwerm): Je geeft de AI vrijheid om zelf te beslissen welke tools hij gebruikt. Dit is flexibel, maar kan als een zwerm bijen zijn die alle kanten op vliegen. Het wordt snel duur en traag omdat de AI veel "nadenkt" en veel vragen stelt.
• De Stage-methode (De strakke trein): Dit is wat EventChat deed. De AI volgt een vast spoor: eerst begroeten, dan zoeken, dan voorstellen doen, dan antwoorden.
  • De les: Voor kleine bedrijven is de trein beter. Het is voorspelbaar, goedkoper en sneller. De "zwerm" is te duur en onstabiel voor een bedrijf met een krappe portemonnee.

2. De Kosten: De "token-toll"

Het gebruik van deze slimme AI kost geld. Elke zin die de AI leest of schrijft, wordt gemeten in "tokens" (woorden of stukjes woorden).

• De vergelijking: Stel je voor dat de AI een tolpoort is. Elke keer dat hij een zin schrijft, moet je een muntje betalen.
• Het probleem: De duurste stap was het vergelijken van de voorstellen. De AI moest 100 mogelijke concerten bekijken en de beste 10 kiezen. Dit kostte veel tijd en geld (ongeveer 4 cent per gesprek).
• De les: Voor een klein bedrijf is dit een risico. Als je duizenden gesprekken voert, loopt de rekening snel op. De AI is slim, maar hij is ook een dure "hulpkracht".

3. De Snelheid: Wachten op de koffie

De AI moet nadenken voordat hij antwoordt.

• De vergelijking: Het was alsof je bij een barman bestelt en 5 à 6 seconden moet wachten voordat hij je drankje inschenkt. Voor de meeste mensen was dit prima, maar voor sommigen voelde het als een eeuwigheid.
• Het resultaat: De meeste mensen vonden het geen probleem, maar de vertraging was een van de grootste technische uitdagingen.

4. De "Hallucinaties": De leugenaar die te slim is

Soms verzon de AI dingen.

• De vergelijking: Stel je voor dat je een gids vraagt om een restaurant te noemen, en hij zegt: "Probeer het nieuwe restaurant De Gouden Kip!" Maar dat restaurant bestaat niet. De AI "hallucineerde" het bestaan ervan.
• De oorzaak: Omdat de AI alleen op basis van tekst (prompten) werkte en niet echt "wist" wat er in de database zat, kon hij fouten maken. Hij probeerde zo slim te klinken dat hij soms de waarheid opofferde.
• De les: Je kunt niet blindelings vertrouwen op een AI die alleen op basis van instructies werkt. Je hebt "veiligheidsnetten" nodig om te checken of de voorstellen echt bestaan.

5. De Menselijke Factor: Wat de klant echt wil

De onderzoekers vroegen klanten of ze tevreden waren.

• De verrassing: Mensen vonden het heel makkelijk om hun wensen te vertellen (ze vonden het niet veel moeite). Maar als de AI een slecht voorstel deed, waren ze teleurgesteld.
• De knop vs. het gesprek: De app had knoppen om tijd en locatie te kiezen. Maar mensen negeerden die knoppen en typten gewoon: "Ik wil iets overmorgen." De AI moest dit dan zelf uit de tekst halen.
  • De les: Mensen willen praten, niet klikken. Een interface die te veel knoppen heeft, werkt niet altijd zoals bedoeld.

🏁 De Conclusie: Is het de moeite waard?

Ja, maar met een grote maar.

Deze technologie is een revolutie voor kleine bedrijven. Het maakt het mogelijk om een persoonlijke, slimme service te bieden zonder een team van programmeurs in te huren. Het is alsof je een super slimme, maar dure, stagiair hebt die 24/7 werkt.

De drie belangrijkste regels voor kleine bedrijven die dit willen doen:

1. Houd het simpel: Gebruik geen te complexe, vrije AI-systemen. Bouw een strakke trein met vaste stations.
2. Kijk naar je portemonnee: De kosten voor het laten "nadenken" van de AI kunnen oplopen. Zorg dat je verdienmodel dit aankan.
3. Controleer de feiten: Laat de AI nooit zomaar voorstellen doen zonder te checken of ze echt bestaan.

Kortom: EventChat bewijst dat kleine bedrijven mee kunnen met de AI-revolutie, zolang ze maar weten dat ze niet alleen een slimme brein nodig hebben, maar ook een strakke planning en een goed begrip van de kosten.

Technische samenvatting

Probleemstelling

Hoewel Conversational Recommender Systems (CRS) en Large Language Models (LLM's) strategisch waardevol zijn, ontbreekt er tot nu toe onderzoek naar de praktische implementatie en evaluatie binnen het kader van Kleine en Middelgrote Ondernemingen (KMO's). Bestaande frameworks richten zich vaak op geavanceerde technische architecturen (zoals agent-based systemen of fijnafstemming/fine-tuning) in gecontroleerde omgevingen, maar negeren de realistische beperkingen van KMO's:

• Beperkte middelen: KMO's hebben vaak geen budget voor dure modeltraining of complexe infrastructuur.
• Operatieve kosten en latentie: De kosten van API-aanroepen en de wachttijd voor antwoorden zijn kritieke factoren.
• Data-kwaliteit: KMO's werken vaak met data die via web-scraping is verkregen, wat kan leiden tot onvolledige of inconsistente gegevens.
• Ontbrekende evaluatie: Er is geen gestandaardiseerde methode om de gebruikerservaring van LLM-gedreven CRS in de praktijk te meten, noch een duidelijk beeld van de afwegingen tussen kosten, snelheid en kwaliteit.

Methodologie

De auteurs hebben een end-to-end CRS genaamd EventChat ontwikkeld en uitgerold voor een startup in de leisure-industrie (een KMO) in Duitsland. Het systeem is ontworpen om gebruikers te helpen bij het ontdekken van evenementen en activiteiten.

1. Systeemarchitectuur en Ontwerpkeuzes:

• LLM: ChatGPT (via Azure OpenAI Service) werd gebruikt als de kern, gekozen vanwege de beschikbaarheid via Microsoft-startup-credits en de krachtige in-context learning (ICL) mogelijkheden.
• Architectuur: In plaats van een flexibele maar onvoorspelbare "agent-based" architectuur, kozen de auteurs voor een stadium-gebaseerde (stage-based) pipeline. Dit omvat een vaste reeks van vijf acties: Chat, Weigering (Refusal), Zoeken, Aanbevelen en Gerichte Vraag (Targeted Inquiry). Dit verhoogde de stabiliteit en voorspelbaarheid van kosten.
• Leerstrategie: Het systeem maakt gebruik van prompt-based learning (geen fine-tuning) om de behoefte aan grote trainingsdatasets en ML-expertise te elimineren. Technieken zoals Few-Shot CoT (Chain-of-Thought) en ICL werden gebruikt.
• Retrieval-Augmented Generation (RAG):
  • Een kandidatenset wordt gegenereerd via bestaande zoekmachines (Amazon Personalize of vector databases).
  • Re-ranking: ChatGPT fungeert als een ranker die tot 10 items per prompt sorteert op basis van relevantie, gebruikmakend van gestructureerde "event digests" (samenvattingen van database-informatie) in plaats van dynamische SQL-query's.
• Front-end: Een hybride interface (Flutter voor iOS/Android) met chat en knoppen voor tijdselectie en keuzes, waarbij een "visibility detector" de laatst bekeken kaarten doorgeeft aan de LLM voor context.

2. Evaluatiemethode:
Een veldstudie werd uitgevoerd met 83 echte gebruikers. De evaluatie combineerde:

• Subjectieve metrics: Een aangepaste, korte versie van het ResQue-model (Recommender System Quality). Nieuwe constructen zoals Consistentie, Coherentie en Input Processing Performance werden toegevoegd om de conversatiekwaliteit te meten.
• Objectieve metrics: Logdata van de interacties, waaronder latentie (wachtijd), token-gebruik (kostenindicator) en succespercentages van de aanvragen.

Belangrijkste Bijdragen

1. Implementatie van EventChat: Een volledig werkend, resource-efficiënt LLM-gedreven CRS voor een KMO-context, dat laat zien hoe bestaande componenten kunnen worden geïntegreerd zonder dure training.
2. Hergebruik en Validatie van ResQue: Het introduceren en valideren van een herziene ResQue-model specifiek voor LLM-gedreven CRS, inclusief nieuwe dimensies voor conversatiekwaliteit.
3. Empirische inzichten in KMO's: Een gedetailleerde analyse van de afwegingen tussen kosten, latentie en kwaliteit in een productieve omgeving, in plaats van in een laboratorium.
4. Ontwerpprincipes: Het formuleren van vijf praktische ontwerprinicipes voor KMO's die LLM-CRS willen implementeren (zie resultaten).

Resultaten

• Gebruikservaring: 85,5% van de gebruikers rapporteerde een neutrale tot goede aanbevelingsnauwkeurigheid. De algemene tevredenheid en het toekomstige gebruikswaarde waren positief.
• Pijnpunten:
  • Latentie: De mediaanwachttijd was 5,7 seconden per bericht en 13,7 seconden per sessie.
  • Kosten: De gemiddelde kosten bedroegen ongeveer $0,04 per interactie (alleen LLM-tokenkosten). De "re-ranking" fase was de grootste kostenveroorzaker (4,0s latentie, hoge token-gebruik).
  • Kwaliteitsproblemen: Prompt-only learning leidde soms tot het negeren van context (bijv. prijsbeperkingen) of hallucinaties (niet-bestaande evenementen). Gebruikers switchten soms onbedoeld van taal (Engels naar Duits), wat de instructies van de prompt ondermijnde.
• Path Analysis: De analyse bevestigde dat Aanbevelingsnauwkeurigheid en Consistentie positief correleren met Waargenomen Nut, wat op zijn beurt leidt tot Tevredenheid en Intentie tot gebruik.

Significantie en Implicaties

Het artikel biedt cruciale inzichten voor de toepassing van Generatieve AI in het bedrijfsleven, met name voor KMO's:

1. Stabiliteit vs. Flexibiliteit: Voor KMO's is een stadium-gebaseerde architectuur vaak superieur aan complexe agent-systemen vanwege de lagere kosten, voorspelbare latentie en minder kans op fouten.
2. Beperkingen van Prompt-only: Hoewel prompt-based learning goed is voor de start, heeft het beperkingen bij complexe contexten. KMO's moeten rekening houden met het risico van hallucinaties en het missen van details zonder fijnafstemming of extra guardrails.
3. Kostenbewustzijn: Het gebruik van grote LLM's als re-ranker in een RAG-pijplijn kan op productieschaal economisch onhaalbaar worden. Er is een duidelijke afweging nodig tussen kwaliteit en operationele kosten.
4. Interface-ontwerp: Gebruikers neigen ertoe om hun voorkeuren (zoals tijdsperiodes) in de chat te typen in plaats van knoppen te gebruiken, wat suggereert dat hybride interfaces moeten worden ontworpen rondom natuurlijk conversatiegedrag.
5. Theoretische bijdrage: Het artikel bewijst dat bestaande evaluatiemodellen (zoals ResQue) kunnen worden aangepast voor de generatieve AI-ère, mits ze worden aangevuld met nieuwe dimensies voor conversatiekwaliteit en objectieve systeemprestaties.

Kortom, EventChat demonstreert dat LLM-gedreven CRS haalbaar zijn voor KMO's, maar vereist een zorgvuldige balans tussen technische complexiteit, kostenbeheersing en realistische verwachtingen over de prestaties van de AI.