Building Korean linguistic resource for NLU data generation of banking app CS dialog system

Dieser Beitrag stellt die Erstellung des Financial Annotated Dataset (FIAD) vor, einer koreanischen linguistischen Ressource, die aus Bewertungen von Banking-Apps und lokalen Grammatikgraphen abgeleitet wird und zur Generierung annotierter Trainingsdaten dient, die die Leistung verschiedener NLU-Modelle in Dialogsystemen für den Bankkundenservice erheblich verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie er mit Menschen spricht, die wegen ihrer Bankkonten verärgert oder verwirrt sind. Dafür benötigt der Roboter ein „Lehrbuch" voller Beispiele dessen, was Menschen tatsächlich sagen. Doch hier liegt das Problem: Echte Menschen sind chaotisch. Sie verwenden Slang, werden wütend, nutzen unterschiedliche Höflichkeitsgrade und sagen dasselbe auf tausend verschiedene Arten. Genug echte Beispiele von Hand zu sammeln, ist wie der Versuch, jeden einzelnen Regentropfen eines Sturms mit einem Eimer aufzufangen – es dauert ewig und ist unglaublich teuer.

Dieser Artikel stellt eine Lösung namens FIAD (Financial Annotated Dataset) vor. Betrachten Sie FIAD nicht als Eimer voller Regen, sondern als eine hochtechnologische „Satzfabrik".

So funktioniert die Fabrik, aufgeteilt in einfache Schritte:

1. Der Bauplan (Datenanalyse)

Zunächst haben die Forscher nicht einfach geraten, was Menschen sagen. Sie gingen zur „Quelle": Sie analysierten über 126.000 Bewertungen von Banking-Apps. Sie konzentrierten sich auf die unzufriedenen Bewertungen (niedrige Scores), denn dort sagen Menschen am ehesten: „Reparieren Sie das!" oder „Das kann ich nicht machen!" Sie nutzten ein Computerwerkzeug, um diese Bewertungen in ihre kleinsten Bausteine (Wörter und Grammatikteile) zu zerlegen, um zu sehen, welche Muster sich ergaben.

2. Die drei Förderbänder (Ressourcenerstellung)

Anstatt Sätze einzeln zu schreiben, bauten sie eine Maschine mit drei Hauptförderbändern. Jedes Band fügt einen spezifischen Teil zum Satz hinzu:

• Band A: Das „Was" (THEMA)
  Dieses Band hält die Substantive. Es verfügt über zwei Fächer:

  • Entitäten: Spezifische Namen wie „Kakao Bank" oder „Toss App".
  • Merkmale: Allgemeine Bankwörter wie „Darlehen", „Konto" oder „Geschwindigkeit".
  • Vergleich: Dies ist wie eine Kiste mit Lego-Steinen. Sie können einen roten Stein (Kakao Bank) oder einen blauen Stein (Toss App) auswählen, aber sie haben alle dieselbe Form (ein Substantiv).

• Band B: Die „Aktion" (EREIGNIS)
  Dieses Band hält die Verben und die Logik. Es entscheidet, welche Aktion stattfindet, wie „erstellen", „senden" oder „kaufen".

  • Der intelligente Filter: Dieses Band ist intelligent. Es weiß, dass man ein Konto „erstellen" kann, aber keine Geschwindigkeit. Es prüft die Regeln, um sicherzustellen, dass die Aktion zum Substantiv passt. Wenn Sie versuchen, „erstellen" neben „Geschwindigkeit" zu setzen, lehnt die Maschine dies ab.

• Band C: Der „Ton" (DISKURSMARKER)
  Dies ist der einzigartigste Teil. Im Koreanischen verändert die Art und Weise, wie man einen Satz beendet, seine Bedeutung und den Höflichkeitsgrad. Dieses Band fügt den „Geschmack" hinzu.

  • Es kann eine höfliche Endung hinzufügen („Könnten Sie bitte...?"), einen direkten Befehl („Machen Sie es!") oder eine Frage („Können Sie...?").
  • Es verarbeitet auch Honorifikative (Respektsstufen). Genau wie Sie mit Ihrem Chef anders sprechen als mit Ihrem besten Freund, kann dieses Band Sätze generieren, die formell, höflich oder umgangssprachlich sind.

3. Das Fließband (Datengenerierung)

Jetzt geschieht die Magie. Die Maschine verbindet diese drei Bänder.

• Sie wählt ein Substantiv von Band A.
• Sie wählt eine passende Aktion von Band B.
• Sie wickelt alles in einen bestimmten Ton von Band C ein.

Da die Maschine diese Teile auf Millionen von Arten mischen und kombinieren kann, kann sie 60 Billionen mögliche Sätze generieren! Allerdings verwenden die Forscher nicht alle davon. Sie nutzen eine Formel, um zuerst die natürlichsten und kürzeren Sätze auszuwählen (da Menschen normalerweise versuchen, kurz zu sein).

4. Die Probefahrt (Experimente)

Die Forscher nahmen die von dieser Fabrik generierten Sätze und nutzten sie, um ein KI-Modell (ein digitales Gehirn) zu trainieren, Bankanfragen zu verstehen.

• Das Ergebnis: Die KI lernte sehr gut. Sie konnte etwa 95 % der Zeit korrekt erraten, was der Benutzer wollte (die „Absicht"), und konnte etwa 86 % der Zeit die spezifischen Details (die „Entität", wie welche Bank oder welches Produkt) korrekt identifizieren.
• Der Vergleich: Sie testeten verschiedene „Gehirne" (vorab trainierte Modelle), um zu sehen, welches mit diesen neuen Daten am besten funktioniert. Das Modell, das ein spezifisches koreanisches Sprachgedächtnis (KorBERT) verwendete, schnitt am besten ab.

Das Fazit

Der Artikel behauptet, dass man statt hundert Menschen einzustellen, um tausende Sätze von Hand zu schreiben, ein linguistisches Rezeptbuch (FIAD) erstellen kann. Dieses Buch enthält die Grammatikregeln, den Bankwortschatz und die Regeln der Höflichkeit. Indem man diesen Regeln folgt, kann man automatisch einen riesigen, hochwertigen „Kuchen" aus Trainingsdaten backen. Dies ermöglicht es, einen Banking-Chatbot schnell, günstig und präzise darin zu unterrichten, koreanische Kunden zu verstehen, ohne warten zu müssen, dass echte Menschen jede einzelne Variation einer Anfrage eintippen.

Technische Zusammenfassung

Technische Zusammenfassung: Aufbau einer koreanischen linguistischen Ressource für die NLU-Datengenerierung eines Banking-App-CS-Dialogsystems

Problemstellung
Task-orientierte Dialogsysteme (TOD) sind stark auf das Natural Language Understanding (NLU) angewiesen, um Benutzerabsichten zu klassifizieren und semantische Slots zu füllen. Die Entwicklung robuster NLU-Modelle für die koreanische Sprache, insbesondere im Bereich des Bankkundenservice (CS), wird jedoch durch einen Mangel an öffentlich verfügbaren annotierten Trainingsdaten behindert. Bestehende Ressourcen sind oft englischzentriert, durch Datenschutzbeschränkungen limitiert oder durch Crowdsourcing generiert, was Rauschen einführt und die notwendige linguistische Vielfalt vermissen lässt. Darüber hinaus weisen koreanische Anfrageäußerungen komplexe Muster auf, die spezifische Diskursmarker, Höflichkeitsformen und performative Prädikate beinhalten, die ohne domänenspezifische linguistische Ressourcen schwer zu erfassen sind. Die Kernherausforderung besteht darin, einen groß angelegten, hochwertigen und linguistisch vielfältigen annotierten Datensatz zu generieren, der die spezifischen syntaktischen und semantischen Einschränkungen koreanischer Bankdialoge widerspiegelt, ohne die prohibitiven Kosten manueller Annotationen in Kauf nehmen zu müssen.

Methodik
Die Studie schlägt den Aufbau von FIAD (Financial Annotated Dataset) vor, einer linguistischen Ressource, die zur Generierung annotierter Trainingsdaten für Banking-CS-Dialogsysteme konzipiert ist. Die Methodik folgt einem dreiphasigen Prozess:

1. Datenanalyse: Die Autoren analysierten ein Korpus von 126.598 Banking-App-Bewertungen (mit Fokus auf Bewertungen mit niedrigen Scores, die Anfragen und Beschwerden enthalten), um mittels TF-IDF-Gewichtung und des morphologischen Analysators Mecab-Ko Kernschlüsselwörter, Substantive, Prädikate und Flexionsendungen zu extrahieren.
2. Ressourcenaufbau: Basierend auf der Analyse wurde FIAD in drei modulare Komponenten strukturiert, die als Local Grammar Graphs (LGGs) dargestellt werden:
   • TOPIC: Unterteilt in ENTITY (Namensentitäten wie Banknamen und Produktnamen) und FEATURE (Gemeinsubstantive, die sich auf Dienstleistungen wie „Darlehen" oder „Geschwindigkeit" beziehen). Diese Module definieren die zu füllenden Slots.
   • EVENT: Enthält prädikative Muster (Verben), die spezifische TOPIC-Module basierend auf semantischen Einschränkungen aufrufen (z. B. erfordert „erstellen" eine „Bankkonto"-Entität, keine „Geschwindigkeit"-Entität).
   • DISCOURSE-MARKER: Kodiert Mehrwortausdrücke (MWEs), die Sprechakte (Informationsanfrage, Handlungsanfrage, Unzufriedenheit usw.), Satzarten (Aussagesatz, Imperativ, Interrogativ, suggestiv) und koreanische Höflichkeitssysteme (sechs Sprechstile von formell hapsyo-Stil bis informell hay-Stil) repräsentieren.
3. Datengenerierung: Die drei Komponenten werden über Linking-LGGs kombiniert, um Äußerungen zu generieren. Das System erkundet Übergänge in endlichen Zustands-Transducern (FSTs), die aus den LGGs kompiliert wurden. Um Natürlichkeit und Effizienz zu gewährleisten, priorisiert eine Gewichtsformel kürzere Äußerungen, und Konjugationsregeln aus dem Dictionnaire Électronique du Coreen (DECO) werden auf Verben angewendet. Dieser Prozess ermöglicht die Generierung von etwa 60 Billionen potenziellen Äußerungsmustern, aus denen spezifische Teilmengen basierend auf gewünschter Größe und linguistischen Merkmalen generiert werden können.

Hauptbeiträge

• FIAD-Ressource: Die Schaffung einer modularen, LGG-basierten linguistischen Ressource speziell für den koreanischen Bankensektor, die in der Lage ist, diverse, grammatikalisch korrekte und semantisch annotierte Äußerungen zu generieren.
• Linguistische Abdeckung: Die explizite Modellierung koreanischspezifischer linguistischer Phänomene, einschließlich des agglutinierenden Charakters der Sprache, komplexer Höflichkeitssysteme und diverser Diskursmarker für Anfragen, die in der standardmäßigen template-basierten Generierung oft übersehen werden.
• Skalierbarkeit und Flexibilität: Ein System, das es Forschern ermöglicht, die Größe des generierten Datensatzes und linguistische Merkmale (z. B. Höflichkeitsgrade, spezifische Entitätstypen) durch die Auswahl bestimmter Module anzupassen und somit eine zeiteffiziente Alternative zu Crowdsourcing oder manueller Sammlung bietet.

Experimentelle Ergebnisse
Die Autoren bewerteten die Nützlichkeit von FIAD-generierten Daten, indem sie NLU-Modelle mit dem RASA-Framework und dem DIET-Klassifikator (Dual Intent Entity Transformers) trainierten.

• Baseline-Vergleich: Ein auf FIAD-Daten trainiertes DIET-Modell (ohne vortrainierte BERT-Einbettungen) erreichte einen Intent-F1-Score von 0,9142 und einen Entity-F1-Score von 0,8377. Dies übertraf ein Baseline-DIET+BERT-Modell, das auf einem anderen NLU-Benchmark-Datensatz trainiert wurde, in der Intent-Klassifikation, obwohl die Entitätsextraktion etwas niedriger ausfiel, was auf die Komplexität der TOPIC-Kombinationen zurückgeführt wird.
• Vortrainierte Einbettungen: Die Integration vortrainierter koreanischer BERT-Modelle verbesserte die Leistung erheblich.
  • DIET+KorBERT erreichte den höchsten Intent-Extraktions-F1-Score (0,95).
  • DIET+KoBERT erreichte den höchsten Entity-Extraktions-F1-Score (0,86).
  • Die Ergebnisse zeigen, dass FIAD-generierte Daten Modelle effektiv darin schulen, Absichten und Entitäten zu extrahieren, wobei Leistungssteigerungen in Kombination mit vortrainierten Einbettungen beobachtet wurden.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass FIAD eine praktische und effiziente Lösung für den Aufbau von NLU-Trainingsdaten in datenarmen Domänen bietet. Durch den Einsatz von Local Grammar Graphs zur Kodierung linguistischer Einschränkungen und koreanischer Höflichkeitsformen generiert die Ressource große Mengen „typischer und grammatikalisch passender" Äußerungen mit reduzierten Personal- und Zeitkosten im Vergleich zu traditionellen Datensammlungsmethoden. Die Studie kommt zu dem Schluss, dass die modulare Struktur von FIAD Flexibilität für den Aufbau umfangreicher Trainingsdaten bietet, die auf spezifische Ziele zugeschnitten sind, und dass die experimentellen Ergebnisse bestätigen, dass Modelle, die auf diesen synthetischen Daten trainiert wurden, die für koreanische Banking-Kundenservice-Dialogsysteme erforderlichen semantischen Extraktionsaufgaben effektiv bewältigen können.