Assessing Task-based Chatbots: Snapshot and Curated Datasets for Dialogflow
Dieses Paper führt TOFU-D und COD ein, zwei Datensätze, die jeweils 1.788 bzw. 185 Dialogflow-Chatbots umfassen, um den Mangel an kuratierten Ressourcen für die empirische Forschung zu adressen, während eine vorläufige Analyse signifikante Lücken in der Testabdeckung und häufige Sicherheitsanfälligkeiten aufzeigt, die die Notwendigkeit systematischer Multi-Plattform-Studien zur Qualität und Sicherheit von Chatbots unterstreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Chatbots als eine riesige, geschäftige Stadt vor. Lange Zeit haben Forscher, die untersuchen, wie man bessere, sicherere und zuverlässigere Chatbots baut, versucht, sich in dieser Stadt zurechtzufinden, aber sie haben dabei mit einer sehr unvollständigen Karte geart. Sie haben sich hauptsächlich auf ein paar kleine Open-Source-Viertel konzentriert (wie das „Rasa“-Distrikt), haben aber das große, kommerzielle Stadtzentrum, in dem die schweren, geschäftstauglichen Chatbots leben, nicht wirklich erkundet.
Dieses Paper ist wie ein Team von Stadtplanern, das sich endlich dazu entschieden hat, eine Momentaufnahme dieses gesamten kommerziellen Stadtzentrums zu machen. Hier ist, was sie getan haben, einfach erklärt:
1. Die große Momentaufnahme (TOFU-D)
Die Forscher sind zu GitHub gegangen (einer riesigen Online-Bibliothek, in der Menschen ihren Code speichern) und haben nach allem gesucht, was mit „Dialogflow“ beschriftet war. Dialogflow ist ein beliebtes, kommerzielles Tool von Google, das Unternehmen verwenden, um Chatbots zu bauen.
- Die Jagd: Sie begannen mit über 12.000 potenziellen „Gebäuden“ (Repositories).
- Der Filter: Ihnen wurde klar, dass viele davon nur leere Grundstücke oder Baustellen waren, keine tatsächlichen Chatbots. Sie filterten das Rauschen heraus und fanden 1.788 tatsächliche, funktionierende Chatbot-„Gebäude“.
- Das Ergebnis: Sie erstellten einen Datensatz namens TOFU-D. Betrachten Sie dies als ein massives, ungeschnittenes Fotoalbum von jedem Chatbot, den sie an diesem spezifischen Tag in diesem speziellen Distrikt finden konnten. Es zeigt die rohe Realität: Einige sind winzig, einige sind riesig, einige sind chaotisch und einige sind brillant.
2. Die kuratierte Tour (COD)
Das Betrachten von 1.788 Chatbots ist überwältigend, und viele von ihnen sind nur „Spielereien“ oder kaputte Prototypen. Um dies für die ernsthafte Forschung nützlich zu machen, erstellte das Team einen zweiten, kleineren Datensatz namens COD.
- Die Auswahl: Sie agierten wie ein Museumskurator. Sie wählten nicht einfach wahllos Chatbots aus; sie wften diejenigen aus, die tatsächlich etwas Interessantes taten. Sie suchten nach Chatbots, die:
- Eine echte Konversation führten (nicht nur eine Liste vorgefertigter Antworten).
- Mit externen Diensten verbunden waren (wie ein Restaurant-Bot, der tatsächlich eine Menü-Datenbank prüft).
- Auf Englisch geschrieben waren (damit Forscher sie verstehen können).
- Populär genug waren, um einen „Stern“ auf ihrer GitHub-Seite zu haben.
- Das Ergebnis: Sie endeten bei 185 hochwertigen Chatbots. Dies ist ihre „Hall of Fame“-Sammlung, die als das perfekte Testobjekt dient, um zu untersuchen, wie diese Bots funktionieren und wo sie scheitern.
3. Was sie in der Stadt fanden
Als die Forscher durch diese Chatbots gingen, bemerkten sie einige interessante Dinge über die „Architektur“ dieser Stadt:
- Sprachmix: Während die meisten Chatbots Englisch sprechen, ist die Stadt überraschend vielfältig. Der Code hinter ihnen ist in vielen verschiedenen Sprachen geschrieben (JavaScript, Python, Java usw.), im Gegensatz zum Open-Source-Viertel, wo fast alle hauptsächlich Python sprechen.
- Komplexität: Die kuratierten Chatbots (COD) waren viel komplexer. Sie sagten nicht nur „Hallo“ und „Auf Wiedersehen“; sie führten tatsächlich Aufgaben aus, verbanden sich mit Cloud-Diensten und verarbeiteten echte Nutzerdaten.
- Die „Google“-Verbindung: Viele dieser Chatbots wurden gebaut, um nahtlos mit Googles eigenen Tools zu funktionieren, wie etwa dem Google Assistant, was ein Feature ist, das man im Open-Source-Viertel nicht so oft sieht.
4. Die Sicherheitsinspektion (Die „Bandit“- und „Botium“-Checks)
Um zu sehen, ob diese Chatbots sicher und zuverlässig sind, ließen die Forscher zwei schnelle Tests laufen, wie ein Bauinspektor und ein Qualitätskontrolleur:
- Der Qualitätscheck (Botium): Sie versuchten, automatisch Testfälle zu generieren (wie ein Roboter, der versucht, mit dem Chatbot zu sprechen, um zu sehen, ob er abstürzt). Sie fanden heraus, dass die Tests oft fehlten. Die Chatbots waren großartig darin, einfache Fragen zu beantworten, scheiterten aber oft, wenn Nutzer „Hallo“ sagten, etwas Unerwartetes sagen wollten oder sich an etwas erinnern mussten, das zuvor gesagt wurde. Es war wie das Finden eines Autos, das auf einer geraden Straße super fährt, aber beim ersten Stoppschild liegen bleibt.
- Der Sicherheitscheck (Bandit): Sie suchten im Code nach Sicherheitslücken. Sie fanden heraus, dass viele Chatbots „offene Türen“ hatten. Zum Beispiel:
- Einige hörten auf Verbindungen von jedem Netzwerk, nicht nur von denen, die sie sollten.
- Einige erlaubten das Ausführen von Code, der eigentlich nicht ausgeführt werden sollte.
- Sie fanden auch häufige Fehler, wie das Vergessen von Zeitlimits für Anfragen (was das System einfrieren kann) oder die Verwendung schwacher Zufallszahlengeneratoren.
Das Fazit
Der Kernpunkt dieses Papers ist, dass Forscher nicht mehr einfach nur ein paar einfache Chatbots studieren können. Die Welt der Chatbots ist riesig und vielfältig. Indem sie diese zwei neuen Datensätze bereitstellen – die massive Momentaufnahme (TOFU-D) und die hochwertige kuratierte Liste (COD) – geben die Autoren der Forschungsgemeinschaft eine viel bessere Karte und ein besseres Set an Testobjekten.
Sie sagen nicht, dass diese Chatbots perfekt sind; tatsächlich zeigen ihre Tests, dass sie erhebliche Mängel in der Testung und Sicherheit aufweisen. Aber durch das Vorhandensein einer klaren, großen und vielfältigen Sammlung realer Beispiele können Forscher endlich damit beginnen, diese Mängel systematisch zu beheben, anstatt nur auf Basis weniger kleiner Beispiele zu raten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.