Candidate Attended Dialogue State Tracking Using BERT

Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter-Assistenten, etwa einem digitalen Butler, der Flüge buchen, Restaurants finden oder das Wetter prüfen kann. Damit dieser Roboter hilfreich ist, muss er nicht nur die Wörter verstehen, die Sie sagen, sondern auch das, was Sie in diesem Moment tatsächlich tun wollen. Dies ist die Aufgabe eines „Dialogue State Trackers“ (Dialogzustandsverfolgers). Denken Sie an ihn als eine Kombination aus dem Kurzzeitgedächtnis und der To-do-Liste des Roboters. Jedes Mal, wenn Sie sprechen, muss der Roboter herausfinden: „Fragt der Nutzer nach einer Pizza oder einem Taxi? Will er eine große Peperoni-Pizza oder eine kleine Käse-Pizza? Hat er gerade seine Meinung geändert?“

Der schwierige Teil ist, dass die Welt riesig ist. Es gibt Tausende von verschiedenen Diensten – Kinos, Banken, Busfahrpläne, Musikstreaming – und jeder hat seine eigene, einzigartige Liste von Dingen, nach denen man fragen kann. Traditionell musste man den Roboter lehren, indem man ihm tausende Beispiele von Gesprken über einen neuen Dienst fütterte, wie ein Schüler, der ein Lehrbuch auswendig lernt. Aber was wäre, wenn man den Roboter in der Lage machen wollte, einen brandneuen Dienst, den er noch nie zuvor gesehen hat, sofort zu verstehen, indem er einfach nur eine kurze Beschreibung liest, was dieser Dienst tut? Das ist die große Herausforderung, die dieses Paper angeht: Wie baut man einen Roboter, der im Flug lernen kann, um den Bedarf an massiven Bibliotheken von Übungsdaten für jedes einzelne neue Thema zu minimieren?

---

Die Autoren dieses Papers, Junyuan Zheng, Onkar Salvi und John Chan, schlagen einen cleveren neuen Weg vor, um diese digitalen Assistenten flexibler zu machen. Sie nennen ihr System „Candidate Attended Dialogue State Tracking“ (oder kurz: CA-DST). Anstatt den Roboter zu zwingen, sich spezifische Wörter für jeden möglichen Dienst einzuprägen, haben sie beschlossen, das Gespräch wie ein Logikrätsel zu behanden.

Hier ist die Kernidee: Stellen Sie sich vor, Sie spielen eine Runde „Wer bin ich?“ (oder „20 Fragen“) mit einem Freund, der eine geheime Liste von Regeln kennt. Anstatt dass der Freund jede mögliche Frage auswendig lernt, geben Sie ihm ein Spickzettel, der die Regeln in einfachem Englisch beschreibt. Wenn Sie eine Frage stellen, liest der Freund Ihre Frage und den Spickzettel zusammen, um die Antwort zu finden. Die Autoren verwendeten ein leistungsstarkes KI-Werkzeug namens BERT (das wie ein Super-Leser ist, der bereits fast das gesamte Internet gelesen hat), um dies zu tun. Sie formulierten die Aufgabe als „Natural Language Inference“ (Natürliche Sprachinferenz). In diesem Spiel ist der Satz des Nutzers das „Prämisse“ (die Tatsache) und die möglichen Antworten (wie „einen Flug buchen“ oder „ein Hotel finden“) sind die „Hypothesen“ (Vermutungen). Die Aufgabe der KI besteht darin, den Satz des Nutzers und die Beschreibung der Hypothese zu lesen und zu prüfen, ob sie einander „implizieren“ (entailment) – das heißt, macht der Satz des Nutzers die Hypothese wahr?

Das System arbeitet in zwei Hauptphasen. Zuerst fungiert ein „Slot Tagger“ wie ein Textmarker. Er scannt den Satz des Nutzers, um spezifische Informationen wie ein Datum oder einen Ort zu finden und sie hervorzuheben. Zweitens fungiert der „State Tracker“ wie ein Detektiv. Er nimmt die hervorgehobenen Informationen und vergleicht sie mit einer Liste möglicher Absichten (Intents) und Merkmale (Slots), die in einfachem Englisch beschrieben sind. Da die KI während ihres Trainings bereits so viel Text gelesen hat, kann sie verstehen, dass „starring“ (mitwirkend) in einer Filmbeschreibung mit „actor“ (Schauspieler) verwandt ist, selbst wenn sie noch nie zuvor eine Filmendatenbank gesehen hat. Dies ermöglicht dem System das sogenannte „Zero-Shot Generalization“ (Nullschuss-Verallgemeinerung), was bedeutet, dass es sich mithilfe des vortrainierten Wissens von BERT an neue Domänen anpassen kann, wodurch der Bedarf an umfangreichen neuen Trainingsdaten für diese spezifischen Dienste erheblich reduziert wird.

Die Forscher testeten ihr System mit einem großen Datensatz namens „Schema-Guided Dialogue“ (SGD), der Gespräche über viele verschiedene Dienste enthält. Sie fanden heraus, dass ihre neue Methode bisherige Baseline-Modelle deutlich übertraf. Tatsächlich gelang es ihnen, die „Joint Goal Accuracy“ (einen Wert, der misst, wie perfekt der Roboter den gesamten Gesprächsverlauf verstanden hat) auf dem Entwicklungsdatensatz von 41,1 % auf 83,5 % zu steigen, was eine massive Verbesserung gegenüber dem alten Standard darstellt. Bei Tests auf dem finalen Testdatensatz sank der Wert jedoch auf 69,5 %, was darauf hindeutet, dass die Modelle die Muster aus den Trainingsdaten möglicherweise übermäßig gelernt haben und Schwierigkeiten hatten, sie auf die unordentliche, unvorhersehbare Natur von Gesprächen in der realen Welt anzuwenden.

Das Paper weist auch darauf hin, dass das System noch nicht perfekt ist. Während es bei Diensten gut funktionierte, die es während des Trainings gesehen hatte, sank seine Leistung beim Testdatensatz spürbar. Wenn ein Nutzer beispielsweise sagt: „Ich möchte einen Film mit Mike Colter sehen“, muss das System wissen, dass Mike Colter ein Schauspieler ist und nicht ein Regisseur. Obwohl BERT gut darin ist, Sprache zu verstehen, hat es manchmal Schwierigkeiten mit diesen spezifischen realen Fakten, sofern es nicht über externes Wissen verfügt, das dies untermauert.

Das Paper hebt auch einige andere Hürden hervor. Manchmal wechselt ein Nutzer mitten im Gespräch das Thema, wie zum Beispiel die Frage nach dem Wetter in Toronto und direkt danach die Frage nach einer Hotelbuchung. Das System muss intelligent genug sein, um zu erkennen, dass das „Toronto“ aus dem Wettergespräch wahrscheinlich der Standort für die Hotelbuchung sein sollte. Das System der Autoren versucht dies zu lösen, indem es das Sprachverständnis der KI nutzt, um zu erraten, welche Werte passen, gibt aber auch zu, dass dies nicht immer robust genug ist, insbesondere bei komplexen Aufgaben wie der Flugbuchung, bei denen sich das Ziel basierend auf dem Datum ändern kann.

Zusammenfassend lässt sich sagen, dass die Autoren vorschlagen, dass wir durch die Verwendung eines vortrainierten „Super-Lesers“ (BERT) und die Behandlung des Problems als Logikrätsel Dialogsysteme bauen können, die wesentlich skalierbarer und anpassungsfähiger sind. Sie haben gezeigt, dass dieser Ansatz gut funktioniert und bestehende Methoden verbessert, warnen jedoch auch davor, dass noch Arbeit geleistet werden muss, um diese Systeme in jeder Situation wirklich robust zu machen. Der Weg zu einem Roboter, der jede Konversation mühelos bewältigen kann, wird klarer, ist aber noch nicht ganz gelöst.