EventChat: Implementation and user-centric evaluation of a large language model-driven conversational recommender system for exploring leisure events in an SME context

Cet article présente la conception et l'évaluation utilisateur d'un système de recommandation conversationnel piloté par un grand modèle de langage pour les PME, révélant une bonne précision des recommandations mais soulignant que les coûts et la latence actuels, notamment liés à l'utilisation de modèles avancés dans une approche RAG, constituent des obstacles majeurs à sa viabilité commerciale.

L'essentiel

🎭 Le Petit Assistant de Loisirs : L'histoire d'EventChat

Imaginez que vous êtes un petit commerçant (une PME) qui organise des concerts, des pièces de théâtre et des activités de loisirs dans une grande ville allemande. Vous avez des milliers d'événements à proposer, mais vos clients sont souvent perdus. Ils ne savent pas quoi choisir, et votre site web est parfois un peu brouillon car les informations sont récupérées automatiquement (comme un robot qui lit des milliers de sites web et fait des erreurs de copier-coller).

C'est là qu'intervient EventChat. C'est un peu comme si vous embauchiez un concierge ultra-intelligent capable de discuter avec vos clients pour leur trouver exactement ce qu'ils cherchent.

Mais ce n'est pas un simple concierge. C'est un concierge entraîné par une Intelligence Artificielle de pointe (un "Grand Modèle de Langage", comme ChatGPT).

🛠️ Comment ça marche ? (Le moteur de la voiture)

Les chercheurs de l'ETH Zurich ont construit ce système en faisant des choix très pratiques, adaptés à une petite entreprise qui a un budget serré.

1. Le Choix du Moteur : Au lieu de construire un moteur de voiture complexe et coûteux de zéro (ce qui demanderait des années et des millions de données), ils ont loué un moteur puissant existant (ChatGPT). C'est comme louer une Ferrari pour faire des courses locales : c'est puissant, mais ça coûte cher en essence.
2. La Méthode "Sans Entraînement" : Habituellement, pour qu'une IA apprenne, il faut lui montrer des milliers d'exemples (comme un étudiant qui révise ses cours). Ici, les chercheurs ont utilisé une astuce : ils ont simplement donné des instructions très claires (des "prompts") à l'IA. C'est comme donner une carte routière détaillée à un chauffeur de taxi au lieu de lui faire refaire le trajet 100 fois. C'est moins cher et plus rapide à mettre en place.
3. Le Système de "Filtres" : Pour éviter que le robot ne parle pendant des heures (ce qui coûterait une fortune), ils ont mis en place un système rigide. Le robot ne peut faire que 5 choses précises : discuter, refuser poliment, chercher, recommander, ou donner des détails. C'est comme un menu à la carte : vous ne pouvez pas commander "un plat inventé", vous devez choisir parmi les options. Cela rend le système plus stable et moins cher.

📊 Le Bilan : Est-ce que ça marche ?

Les chercheurs ont testé ce robot avec de vrais clients pendant quelques mois. Voici ce qu'ils ont découvert, avec des analogies simples :

• ✅ Le Point Fort : C'est utile !
  85 % des gens ont trouvé que les recommandations étaient bonnes. Le robot a réussi à transformer une recherche compliquée en une conversation simple. Les clients se sentaient écoutés.

  • Analogie : C'est comme avoir un ami qui connaît parfaitement la ville et qui vous dit : "Hé, il y a un concert de jazz super cool ce soir, à 10 minutes de chez toi !"

• ⚠️ Le Point Faible : La lenteur et le prix.
  C'est là que ça coince un peu.

  • La Lenteur : Le robot met environ 5 à 6 secondes à répondre. Pour une conversation, c'est comme si votre ami prenait son temps pour réfléchir avant de répondre à chaque phrase. C'est supportable, mais pas instantané.
  • Le Prix : Chaque fois que le robot parle, ça coûte environ 4 centimes d'euro. Si vous avez 1000 clients qui parlent, ça commence à faire une belle facture !
  • Analogie : Imaginez que votre concierge soit un expert très cher qui vous facture 4 centimes chaque fois qu'il ouvre la bouche. C'est efficace, mais si vous l'utilisez trop, votre compte en banque va saigner.

• 🤖 Les Petites Bêtises (Hallucinations) :
  Parfois, le robot invente des événements qui n'existent pas ou oublie des détails importants (comme le prix). C'est comme un ami un peu rêveur qui vous parle d'un restaurant génial... qui a fermé il y a dix ans.

  • Pourquoi ? Parce qu'il n'a pas "lu" tous les détails de votre base de données, il a juste deviné en se basant sur ce qu'on lui a demandé.

💡 Ce que les chercheurs ont appris (Les leçons pour les entreprises)

Cette étude est une mine d'or pour les petites entreprises qui veulent utiliser l'IA :

1. La simplicité gagne : Ne cherchez pas à créer un robot qui fait tout (comme un agent autonome qui planifie toute votre journée). Un robot qui suit un script simple (étape par étape) est plus fiable et moins cher.
2. L'IA pure a des limites : Si vous ne l'entraînez pas avec vos propres données, elle peut faire des erreurs de contexte. Elle a besoin de "gardes-fous" (des vérifications) pour ne pas inventer des choses.
3. Le compromis est inévitable : Vous ne pouvez pas avoir la vitesse de l'éclair, la précision absolue et le prix le plus bas en même temps. Les petites entreprises doivent choisir ce qui est le plus important pour elles.

🏁 En résumé

EventChat est la preuve qu'une petite entreprise peut utiliser la technologie la plus avancée du monde (l'IA générative) pour améliorer l'expérience de ses clients.

C'est comme si vous aviez réussi à équiper votre petit café d'un barista robotique. Il fait de bons cafés, il est sympathique, mais il faut surveiller sa consommation d'électricité et s'assurer qu'il ne verse pas de café sur la table de temps en temps !

L'article conclut que c'est faisable, mais que pour que ça dure, il faudra trouver des moyens de rendre le robot plus rapide et moins cher, tout en l'empêchant de faire des bêtises. C'est un premier pas prometteur vers un futur où chaque petite entreprise aura son propre assistant IA intelligent.

Résumé technique

1. Problématique et Contexte

L'intégration des Grands Modèles de Langage (LLM) dans les systèmes de recommandation conversationnels (CRS) représente une évolution majeure pour les entreprises. Cependant, la recherche actuelle se concentre principalement sur des cadres techniques complexes dans des environnements contrôlés, négligeant souvent les contraintes réelles des Petites et Moyennes Entreprises (PME).

Les PME font face à des défis spécifiques :

• Contraintes de ressources : Manque de données d'entraînement, budgets limités et pénurie de compétences en ingénierie ML.
• Incertitudes opérationnelles : Coûts d'API, latence, et fiabilité des modèles en production.
• Qualité des données : Dans le cas étudié (une startup du secteur des loisirs), les données proviennent en partie de web scraping, entraînant des incohérences et des champs manquants que les moteurs de recherche traditionnels peinent à gérer.

L'objectif de l'article est de combler ce fossé en concevant, déployant et évaluant un CRS piloté par LLM (nommé EventChat) spécifiquement adapté aux contraintes d'une PME, tout en proposant un cadre d'évaluation mis à jour.

2. Méthodologie et Conception du Système

L'étude combine une conception système pragmatique avec une évaluation empirique sur le terrain (field study).

A. Architecture du Système (EventChat)

Contrairement aux approches « agentiques » complexes (qui peuvent être coûteuses et instables), les auteurs ont opté pour une architecture basée sur des étapes (stage-based) et un apprentissage par prompt (prompt-based learning) sans fine-tuning.

• Modèle LLM : Utilisation de ChatGPT (via Azure OpenAI) choisi pour ses capacités de raisonnement et son accessibilité via API, évitant ainsi les coûts de formation de modèles.
• Contrôleur d'actions : Le système fonctionne avec un contrôleur fixe de cinq actions :
  1. Chat : Réponse directe.
  2. Refusal : Rejet de requêtes hors sujet.
  3. Search : Recherche d'événements basée sur des mots-clés.
  4. Recommendation : Suggestions basées sur l'historique.
  5. Targeted Inquiry : Réponses à des questions spécifiques sur un événement.
• Techniques clés :
  • RAG (Retrieval-Augmented Generation) : Le système récupère des candidats depuis une base de données (Amazon Personalize ou vectorielle) puis utilise le LLM pour le re-ranking (réordonnancement) des résultats.
  • Apprentissage par contexte (ICL) : Utilisation de Few-Shot CoT (Chain of Thought) et d'exemples dans le prompt pour guider le modèle, éliminant le besoin de données d'entraînement.
  • Interface Hybride : Combinaison de chat et de boutons (pour la sélection de période et de type de recherche) afin de réduire les itérations et les appels API.
  • Détection de visibilité : Le frontend renvoie au backend les événements que l'utilisateur a effectivement vus pour enrichir le contexte conversationnel.

B. Évaluation Empirique

Une étude de terrain a été menée avec 83 utilisateurs réels sur une application mobile iOS/Android en Allemagne.

• Métriques Subjectives : Utilisation d'un modèle ResQue révisé et raccourci, incluant de nouvelles dimensions pour les CRS (Qualité de l'interaction, Cohérence, Traitement des entrées).
• Métriques Objectives : Analyse des logs pour mesurer la latence, la consommation de tokens (coût) et les taux de réussite des requêtes.

3. Résultats Clés

A. Performance du Système

• Précision perçue : 85,5 % des utilisateurs ont jugé la précision des recommandations comme neutre ou bonne.
• Taux de réussite : 83,1 % des requêtes ont été satisfaites avec succès. Cependant, 15 % des utilisateurs ont signalé une mauvaise qualité de recommandation, souvent due à des événements manquants dans la base de données ou à une mauvaise interprétation des filtres temporels.
• Latence et Coût :
  • Latence médiane : 5,7 secondes par message.
  • Coût médian : 0,04 $ par interaction (basé sur la consommation de tokens).
  • Goulot d'étranglement : L'étape de re-ranking (réduction des candidats) consomme à elle seule la majorité des tokens (23 408 tokens médians) et de la latence (4,0 s), rendant cette approche coûteuse à grande échelle.

B. Limites Identifiées

• Hallucinations et Oublis : Le modèle a parfois ignoré des contraintes contextuelles (ex: prix, dates) ou suggéré des événements inexistants.
• Limites du Prompt-only : L'approche purement basée sur les prompts a montré des limites face à la complexité contextuelle (ex: changement de langue, nuances des préférences utilisateur).
• Comportement Utilisateur : Les utilisateurs ont souvent ignoré les boutons d'interface pour exprimer leurs préférences temporelles dans le chat, ce qui a conduit à des recommandations hors période car le système n'avait pas appliqué les filtres corrects.

C. Validation du Modèle ResQue Révisé

L'analyse par équations structurelles (Path Analysis) a validé que les nouvelles dimensions ajoutées (Cohérence, Traitement des entrées) sont des prédicteurs significatifs de la perception d'utilité et de la satisfaction, confirmant la pertinence du modèle révisé pour les CRS pilotés par LLM.

4. Contributions Principales

1. Implémentation Pragmatique (EventChat) : Démonstration qu'un CRS LLM peut être déployé par une PME avec des ressources limitées, en privilégiant la stabilité et la maîtrise des coûts plutôt que la sophistication algorithmique pure.
2. Évaluation Hybride : Combinaison de métriques objectives (coûts, latence, logs) et subjectives (ResQue) pour offrir une vue holistique de la performance en conditions réelles.
3. Modèle ResQue Adapté : Proposition et validation d'un modèle de court format pour évaluer les systèmes Gen-RecSys, intégrant des dimensions spécifiques aux interactions conversationnelles.
4. Insights Stratégiques pour les PME : Identification des compromis (trade-offs) critiques entre qualité, coût et latence.

5. Signification et Implications

Cet article est significatif car il déplace le débat de la simple performance algorithmique vers la faisabilité opérationnelle pour les PME.

• Pour la gestion : Il met en garde contre l'utilisation de LLMs massifs pour le re-ranking en production, car les coûts et la latence peuvent devenir prohibitifs. Il suggère que les architectures basées sur des étapes fixes sont plus stables et prévisibles que les architectures d'agents autonomes pour les PME.
• Pour la recherche : Il souligne que l'apprentissage par prompt seul a des limites de qualité dans des environnements de production complexes et appelle à des approches hybrides (fine-tuning léger, garde-fous contre les hallucinations).
• Pour l'industrie : Il fournit un cadre reproductible pour évaluer les systèmes de recommandation conversationnels, en insistant sur la nécessité de valider les hypothèses de conception (comme l'utilisation de boutons vs chat) par des données comportementales réelles.

En conclusion, bien que les LLMs offrent un potentiel stratégique immense pour les PME, leur adoption réussie dépendra de la capacité à gérer les compromis coûts/qualité et à adapter les architectures aux contraintes réelles de l'entreprise, plutôt que de viser uniquement l'état de l'art technique.