Assessing Task-based Chatbots: Snapshot and Curated Datasets for Dialogflow
Cet article présente TOFU-D et COD, deux ensembles de données comprenant respectivement 1 788 et 185 chatbots Dialogflow, afin de remédier à la rareté des ressources organisées pour la recherche empirique, tandis qu'une analyse préliminaire révèle des lacunes importantes dans la couverture des tests et des vulnérabilités de sécurité fréquentes qui soulignent la nécessité d'études systématiques multiplateformes sur la qualité et la sécurité des chatbots.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez le monde des chatbots comme une ville immense et bouillonnante. Pendant longtemps, les chercheurs qui étudient comment construire des chatbots meilleurs, plus sûrs et plus fiables ont tenté de naviguer dans cette ville, mais ils travaillaient avec une carte très incomplète. Ils se sont principalement concentrés sur quelques petits quartiers open-source (comme le district « Rasa »), mais ils n'ont pas vraiment exploré le grand centre-ville commercial où vivent les chatbots robustes destinés aux entreprises.
Ce document est comme une équipe d'urbanistes qui a enfin décidé de prendre un instantané de tout ce centre-ville commercial. Voici ce qu'ils ont fait, expliqué simplement :
1. Le grand instantané (TOFU-D)
Les chercheurs se sont rendus sur GitHub (une immense bibliothèque en ligne où les gens stockent leur code) et ont cherché tout ce qui était étiqueté « Dialogflow ». Dialogflow est un outil commercial populaire créé par Google, utilisé par les entreprises pour construire des chatbots.
- La traque : Ils ont commencé avec plus de 12 000 « bâtiments » potentiels (répertoires).
- Le filtre : Ils ont réalisé que beaucoup d'entre eux n'étaient que des terrains vagues ou des chantiers de construction, et non de véritables chatbots. Ils ont filtré le bruit et trouvé 1 788 véritables « bâtiments » de chatbots fonctionnels.
- Le résultat : Ils ont créé un ensemble de données appelé TOFU-D. Voyez cela comme un immense album photo non édité de chaque chatbot qu'ils ont pu trouver dans ce district spécifique à un jour donné. Cela montre la réalité brute : certains sont minuscules, d'autres sont énormes, certains sont désordonnés et d'autres sont brillants.
2. La visite guidée et organisée (COD)
Regarder 1 788 chatbots est accablant, et beaucoup ne sont que des exemples « jouets » ou des prototypes cassés. Pour rendre cela utile pour la recherche sérieuse, l'équipe a créé un second ensemble de données plus petit appelé COD.
- La sélection : Ils ont agi comme des conservateurs de musée. Ils n'ont pas seulement choisi des chatbots au hasard ; ils ont choisi ceux qui faisaient réellement quelque chose d'intéressant. Ils ont cherché des chatbots qui :
- Avaient une véritable conversation (pas seulement une liste de réponses pré-écrites).
- Se connectaient à des services extérieurs (comme un bot de restaurant qui vérifie réellement une base de données de menus).
- Étaient écrits en anglais (pour que les chercheurs puissent les comprendre).
- Étaient suffisamment populaires pour avoir une « étoile » sur leur page GitHub.
- Le résultat : Ils ont fini avec 185 chatbots de haute qualité. C'est leur collection du « Panthéon », conçue pour être les sujets de test parfaits pour étudier comment ces bots fonctionnent et où ils échouent.
3. Ce qu'ils ont découvert dans la ville
En parcourant ces chatbots, les chercheurs ont remarqué certaines choses intéressantes concernant l'« architecture » de cette ville :
- Mélange linguistique : Bien que la plupart des chatbots parlent anglais, la ville est étonnamment diversifiée. Le code derrière eux est écrit dans de nombreuses langues différentes (JavaScript, Python, Java, etc.), contrairement au quartier open-source où tout le monde parle principalement Python.
- Complexité : Les chatbots sélectionnés (COD) étaient beaucoup plus complexes. Ils ne se contentaient pas de dire « Bonjour » et « Au revoir » ; ils accomplissaient réellement des tâches, se connectaient à des services cloud et géraient de vraies données utilisateur.
- La connexion « Google » : De nombreux chatbots ont été construits pour fonctionner de manière transparente avec les propres outils de Google, comme l'Assistant Google, ce qui est une fonctionnalité que l'on voit moins souvent dans le quartier open-source.
4. L'inspection de sécurité (Les contrôles « Bandit » et « Botium »)
Pour voir si ces chatbots étaient sûrs et fiables, les chercheurs ont effectué deux tests rapides, comme un inspecteur de bâtiment et un responsable du contrôle qualité :
- Le contrôle de qualité (Botium) : Ils ont essayé de générer automatiquement des cas de test (comme un robot essayant de parler au chatbot pour voir s'il casse). Ils ont constaté que les tests étaient souvent manquants. Les chatbots étaient excellents pour répondre à des questions simples, mais échouaient souvent lorsque les utilisateurs disaient « Bonjour », essayaient de dire quelque chose d'inattendu ou avaient besoin de se souvenir de ce qui avait été dit précédemment. C'était comme trouver une voiture qui roule très bien sur une route droite, mais qui cale au premier panneau stop.
- Le contrôle de sécurité (Bandit) : Ils ont examiné le code pour détecter les failles de sécurité. Ils ont découvert que de nombreux chatbots avaient des « portes ouvertes ». Par exemple :
- Certains écoutaient les connexions provenant de n'importe quel réseau, et non seulement de ceux qu'ils devraient écouter.
- Certains permettaient l'exécution de code qui ne devrait pas l'être.
- Ils ont également trouvé des erreurs courantes, comme l'oubli de définir des limites de temps pour les requêtes (ce qui peut figer le système) ou l'utilisation de générateurs de nombres aléatoires faibles.
L'essentiel à retenir
Le point principal de ce document est que les chercheurs ne peuvent plus se contenter d'étudier quelques chatbots simples. Le monde des chatbots est vaste et varié. En fournissant ces deux nouveaux ensembles de données — l'instantané massif (TOFU-D) et la liste organisée de haute qualité (COD) — les auteurs donnent à la communauté de recherche une bien meilleure carte et un meilleur ensemble de sujets de test.
Ils ne disent pas que ces chatbots sont parfaits ; en fait, leurs tests montrent qu'ils présentent des défauts importants en matière de test et de sécurité. Mais en ayant une collection claire, large et diversifiée d'exemples réels, les chercheurs peuvent enfin commencer à corriger ces défauts de manière systématique, plutôt que de deviner en se basant sur quelques petits exemples.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.