ShareChat: A Dataset of Chatbot Conversations in the Wild
Ce papier présente ShareChat, un jeu de données à grande échelle et multi-plateforme comprenant 142 808 conversations réelles avec des chatbots, qui préserve les affordances natives des interfaces dans 95 langues afin de permettre une évaluation plus authentique des modèles de langage de grande taille au-delà des benchmarks uniformes et purement textuels.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous étudiez comment les gens parlent aux robots, mais que vous ne les avez jamais observés qu'à travers une simple vitre transparente. Vous voyez les mots qu'ils tapent, mais vous manquez les caractéristiques uniques de la pièce dans laquelle ils se trouvent : les outils spécifiques au mur, la façon dont le robot réfléchit à voix haute, ou les différentes manières dont divers robots sont conçus pour aider.
C'est le problème que les auteurs de cet article, SHARECHAT, tentent de résoudre. Ils ont construit une nouvelle bibliothèque massive de conversations réelles entre des humains et cinq chatbots IA différents (ChatGPT, Perplexity, Grok, Gemini et Claude) pour montrer que là où vous parlez à une IA change comment vous lui parlez.
Voici une explication simple de ce qu'ils ont fait et de ce qu'ils ont découvert :
1. Le problème de la « vitre transparente »
La plupart des études précédentes examinaient les conversations avec l'IA à travers une lentille « taille unique ». Elles éliminaient toutes les caractéristiques uniques de chaque application pour rendre les données identiques.
- L'analogie : Imaginez étudier comment les gens commandent de la nourriture en ne regardant qu'une liste d'ingrédients, en ignorant s'ils se trouvent à un drive de restauration rapide, dans un restaurant assis chic ou dans un camion de nourriture. Vous manquez le contexte !
- La solution : SHARECHAT est comme un enregistrement vidéo haute définition de personnes commandant dans ces cinq endroits. Il conserve le « haut-parleur du drive » (les liens vers les réseaux sociaux de Grok), les « notes spéciales du chef » (les outils de code de Claude) et les « citations du menu » (les liens sources de Perplexity).
2. Qu'y a-t-il dans la bibliothèque ?
Les chercheurs ont collecté 142 808 conversations (plus de 660 000 messages aller-retour) auprès de personnes qui ont volontairement partagé leurs liens de chat en ligne.
- La taille : C'est énorme. Alors que d'autres bibliothèques contenaient des chats courts et hachés (comme un rapide SMS), SHARECHAT contient de longues conversations approfondies où les utilisateurs posent des questions de suivi, changent d'avis et résolvent des problèmes complexes sur de nombreux tours.
- La variété : Elle couvre 95 langues différentes, pas seulement l'anglais.
- La vie privée : Ils ont effacé tous les noms, adresses e-mail et numéros de téléphone des chats afin que personne ne puisse être identifié, comme flouter les visages dans une photo de foule.
3. Trois grandes découvertes (les études de cas)
Les auteurs ont utilisé cette bibliothèque pour mener trois tests spécifiques afin de voir à quel point les robots diffèrent réellement :
A. Le test « As-tu compris ? » (Complétude de la conversation)
Ils ont vérifié si l'IA avait réellement terminé ce que l'utilisateur avait demandé.
- La découverte : Certains robots sont comme des bibliothécaires fiables qui trouvent toujours le livre entier (ChatGPT et Claude). D'autres sont plus comme des moteurs de recherche qui vous donnent une excellente première page mais qui pourraient s'arrêter avant que vous ne trouviez la réponse (Perplexity et Grok). Dans le monde réel, de nombreuses conversations se terminent avec l'utilisateur seulement partiellement satisfait, une nuance que les études précédentes avaient manquée car elles ne regardaient que des questions uniques.
B. Le test « Où as-tu cherché ? » (Ancrage des sources)
Ils ont examiné comment deux robots axés sur la recherche (Grok et Perplexity) trouvaient leurs réponses.
- La découverte : Ils sont comme deux détectives différents.
- Grok est obsédé par les réseaux sociaux. Il cite principalement des publications sur X (Twitter) et des sites d'actualités, agissant comme un fil d'actualité en temps réel.
- Perplexity est un chercheur. Il cite Wikipédia, des revues scientifiques et des forums comme Reddit, agissant comme un bibliothécaire fouillant dans les archives.
- La leçon : Ils ne sont pas simplement des « IA » ; ils sont construits avec des outils différents pour des tâches différentes.
C. Le test « Vitesse de la pensée » (Chronométrage)
Ils ont mesuré le temps qu'il fallait aux utilisateurs pour taper une réponse après que l'IA eut parlé.
- La découverte : Le rythme de la conversation change selon le robot.
- Avec ChatGPT, le robot devient plus rapide à mesure que la conversation avance (peut-être qu'il apprend votre style ou met en cache les réponses).
- Avec Grok, le robot devient plus lent à mesure que la conversation s'allonge (peut-être qu'il est submergé par tout l'historique).
- Cela montre que la « personnalité » du chat ne concerne pas seulement les mots ; c'est aussi le timing et le flux.
4. Pourquoi cela compte
L'article soutient que si nous n'étudions l'IA qu'à travers une lentille générique et épurée, nous manquons la partie la plus importante : la réalité de l'utilisateur.
- La vraie vie est désordonnée : Les gens ne posent pas juste une question et partent. Ils ont de longues conversations sinueuses.
- Les outils comptent : Les utilisateurs traitent différentes IA comme des outils différents. Ils en utilisent une pour le codage, une autre pour les actualités et une autre pour l'écriture créative.
- Un meilleur entraînement : En fournissant aux chercheurs ces données « réelles » avec toutes leurs caractéristiques uniques intactes, nous pouvons construire une meilleure IA qui comprend non seulement quoi dire, mais comment le dire dans le contexte spécifique de l'application dans laquelle elle vit.
En bref : SHARECHAT est une vaste et diverse collection de chats réels avec l'IA qui prouve que nous ne pouvons pas comprendre ces robots en les observant dans le vide. Nous devons les voir dans leur habitat naturel pour comprendre comment ils fonctionnent vraiment.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.