ShareChat: A Dataset of Chatbot Conversations in the Wild
Dieser Beitrag stellt ShareChat vor, einen groß angelegten, plattformübergreifenden Datensatz mit 142.808 realen Chatbot-Gesprächen, der native Schnittstellenfunktionen über 95 Sprachen hinweg bewahrt, um eine authentischere Evaluation von Large Language Models jenseits einheitlicher, rein textbasierter Benchmarks zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie untersuchen, wie Menschen mit Robotern sprechen, aber Sie haben sie bisher nur durch ein einziges, schlichtes Glasfenster beobachtet. Sie sehen die Worte, die sie tippen, aber Sie verpassen die einzigartigen Merkmale des Raums, in dem sie sich befinden: die spezifischen Werkzeuge an der Wand, die Art und Weise, wie der Roboter laut denkt, oder die verschiedenen Möglichkeiten, wie unterschiedliche Roboter entwickelt wurden, um zu helfen.
Das ist das Problem, das die Autoren dieses Papiers, SHARECHAT, zu lösen versuchen. Sie haben eine riesige neue Bibliothek echter Gespräche zwischen Menschen und fünf verschiedenen KI-Chatbots (ChatGPT, Perplexity, Grok, Gemini und Claude) erstellt, um zu zeigen, dass wo Sie mit einer KI sprechen, beeinflusst, wie Sie mit ihr sprechen.
Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und was sie gefunden haben:
1. Das „Glasfenster"-Problem
Die meisten früheren Studien betrachteten KI-Gespräche durch eine „Einheitsgröße"-Brille. Sie entfernten alle einzigartigen Merkmale jeder App, um die Daten gleich aussehen zu lassen.
- Die Analogie: Stellen Sie sich vor, Sie untersuchen, wie Menschen Essen bestellen, indem Sie sich nur eine Liste der Zutaten ansehen und ignorieren, ob sie sich an einem Fast-Food-Drive-thru, einem schicken Sitzrestaurant oder einem Imbisswagen befinden. Sie verpassen den Kontext!
- Die Lösung: SHARECHAT ist wie eine hochauflösende Videoaufnahme von Menschen, die an allen fünf Orten bestellen. Es behält den „Drive-thru-Lautsprecher" (Groks Social-Media-Links), die „Spezialnotizen des Küchenchefs" (Claudes Code-Werkzeuge) und die „Menü-Zitate" (Perplexitys Quellenlinks) bei.
2. Was ist in der Bibliothek?
Die Forscher sammelten 142.808 Gespräche (über 660.000 hin- und hergehende Nachrichten) von Menschen, die freiwillig ihre Chat-Links online geteilt haben.
- Die Größe: Es ist riesig. Während andere Bibliotheken kurze, abgehackte Chats hatten (wie eine schnelle Textnachricht), enthält SHARECHAT lange, tiefgründige Gespräche, bei denen Nutzer Folgefragen stellen, ihre Meinung ändern und komplexe Probleme über viele Runden hinweg lösen.
- Die Vielfalt: Es umfasst 95 verschiedene Sprachen, nicht nur Englisch.
- Der Datenschutz: Sie entfernten alle Namen, E-Mail-Adressen und Telefonnummern aus den Chats, damit niemand identifiziert werden kann, ähnlich wie das Unkenntlichmachen von Gesichtern in einem Gruppenfoto.
3. Drei große Entdeckungen (Die Fallstudien)
Die Autoren nutzten diese Bibliothek, um drei spezifische Tests durchzuführen, um zu sehen, wie unterschiedlich die Roboter wirklich sind:
A. Der „Haben Sie es verstanden?"-Test (Gesprächsvollständigkeit)
Sie prüften, ob die KI tatsächlich das erledigte, was der Nutzer angefordert hatte.
- Das Ergebnis: Einige Roboter sind wie zuverlässige Bibliothekare, die immer das ganze Buch finden (ChatGPT und Claude). Andere sind eher wie Suchmaschinen, die Ihnen eine großartige erste Seite geben, aber möglicherweise aufhören, bevor Sie die Antwort finden (Perplexity und Grok). In der realen Welt enden viele Gespräche damit, dass der Nutzer nur teilweise zufrieden ist – eine Nuance, die frühere Studien verpassten, weil sie nur einzelne Fragen betrachteten.
B. Der „Wo haben Sie gesucht?"-Test (Quellenverankerung)
Sie untersuchten, wie zwei auf Suche ausgerichtete Roboter (Grok und Perplexity) ihre Antworten fanden.
- Das Ergebnis: Sie sind wie zwei verschiedene Detektive.
- Grok ist besessen von Social Media. Es zitiert hauptsächlich Beiträge von X (Twitter) und Nachrichtenseiten und agiert wie ein Echtzeit-Nachrichtenticker.
- Perplexity ist ein Forscher. Es zitiert Wikipedia, wissenschaftliche Zeitschriften und Foren wie Reddit und agiert wie ein Bibliothekar, der durch Archive gräbt.
- Die Lehre: Sie sind nicht nur „KI"; sie sind mit unterschiedlichen Werkzeugen für unterschiedliche Aufgaben gebaut.
C. Der „Geschwindigkeit des Denkens"-Test (Timing)
Sie maßen, wie lange es dauerte, bis Nutzer eine Antwort nach dem Sprechen der KI tippten.
- Das Ergebnis: Der Rhythmus des Gesprächs ändert sich je nach Roboter.
- Bei ChatGPT wird der Roboter im Verlauf des Chats schneller (vielleicht lernt er Ihren Stil oder zwischenspeichert Antworten).
- Bei Grok wird der Roboter langsamer, je länger der Chat wird (vielleicht wird er von der gesamten Historie überwältigt).
- Dies zeigt, dass die „Persönlichkeit" des Chats nicht nur die Worte betrifft; es geht um Timing und Fluss.
4. Warum das wichtig ist
Das Papier argumentiert, dass wir, wenn wir KI nur durch eine generische, entblößte Linse untersuchen, den wichtigsten Teil verpassen: die Realität des Nutzers.
- Das echte Leben ist chaotisch: Menschen stellen nicht nur eine Frage und gehen dann. Sie führen lange, verschlungene Gespräche.
- Werkzeuge sind wichtig: Nutzer behandeln verschiedene KIs als unterschiedliche Werkzeuge. Sie nutzen eine für Programmierung, eine andere für Nachrichten und eine weitere für kreatives Schreiben.
- Besseres Training: Indem wir Forschern diese „Realwelt"-Daten mit allen erhaltenen einzigartigen Merkmalen zur Verfügung stellen, können wir eine bessere KI entwickeln, die nicht nur versteht, was sie sagen soll, sondern auch wie sie es im spezifischen Kontext der App sagen soll, in der sie lebt.
Kurz gesagt: SHARECHAT ist eine riesige, vielfältige Sammlung echter KI-Chats aus der realen Welt, die beweist, dass wir diese Roboter nicht verstehen können, indem wir sie im Vakuum betrachten. Wir müssen sie in ihrem natürlichen Lebensraum sehen, um zu verstehen, wie sie wirklich funktionieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.