Building Korean linguistic resource for NLU data generation of banking app CS dialog system

Dit artikel presenteert de constructie van het Financieel Geannoteerde Dataset (FIAD), een Koreaanse linguïstische bron afgeleid van bank-appbeoordelingen en Lokale Grammaticagrafen, die wordt gebruikt om geannoteerde trainingsdata te genereren die de prestaties van diverse NLU-modellen in dialogsystemen voor bankklantenservice aanzienlijk verbetert.

De kern

Stel je voor dat je probeert een robot te leren hoe hij met mensen moet praten die boos of verward zijn over hun bankrekeningen. Om dit te doen, heeft de robot een "handboek" nodig vol met voorbeelden van wat mensen werkelijk zeggen. Maar hier zit het probleem: echte mensen zijn rommelig. Ze gebruiken straattaal, ze raken boos, ze gebruiken verschillende niveaus van beleefdheid en ze zeggen hetzelfde op duizend verschillende manieren. Het handmatig verzamelen van genoeg echte voorbeelden is als proberen elke enkele regendruppel in een storm met een emmer te vangen; het duurt eeuwen en is ontzettend duur.

Dit artikel introduceert een oplossing genaamd FIAD (Financial Annotated Dataset). Denk aan FIAD niet als een emmer regen, maar als een high-tech "zin-fabriek".

Zo werkt de fabriek, opgesplitst in eenvoudige stappen:

1. Het Blauwdruk (Data-analyse)

Ten eerste gokten de onderzoekers niet zomaar wat mensen zeggen. Ze gingen naar de "bron": ze keken naar meer dan 126.000 recensies van bank-apps. Ze richtten zich op de ontevreden recensies (lage scores), want daar zeggen mensen het meest waarschijnlijk: "Maak dit op!" of "Dat kan ik niet doen!" Ze gebruikten een computergereedschap om deze recensies op te snijden in hun kleinste bouwstenen (woorden en grammaticale onderdelen) om te zien welke patronen naar voren kwamen.

2. De Drie Transportbanden (Ressourcenconstructie)

In plaats van zinnen één voor één te schrijven, bouwden ze een machine met drie hoofdtransportbanden. Elke band voegt een specifiek onderdeel toe aan de zin:

• Band A: Het "Wat" (ONDERWERP)
  Deze band bevat de zelfstandige naamwoorden. Het heeft twee bakken:

  • Entiteiten: Specifieke namen zoals "Kakao Bank" of "Toss App".
  • Functies: Algemene banktermen zoals "lening", "rekening" of "snelheid".
  • Analogie: Dit is als een doos met Lego-blokjes. Je kunt een rood blokje kiezen (Kakao Bank) of een blauw blokje (Toss App), maar ze hebben allemaal dezelfde vorm (een zelfstandig naamwoord).

• Band B: De "Actie" (GEBEURTENIS)
  Deze band bevat de werkwoorden en de logica. Het bepaalt welke actie plaatsvindt, zoals "aanmaken", "sturen" of "kopen".

  • De slimme filter: Deze band is slim. Het weet dat je een rekening kunt "aanmaken", maar je kunt geen "snelheid" "aanmaken". Het controleert de regels om ervoor te zorgen dat de actie overeenkomt met het zelfstandig naamwoord. Als je probeert "aanmaken" naast "snelheid" te plaatsen, verwierpt de machine het.

• Band C: De "Toon" (DISCURSIEVE MARKER)
  Dit is het meest unieke deel. In het Koreaans verandert de manier waarop je een zin beëindigt, de betekenis en het beleefdheidsniveau. Deze band voegt de "smaak" toe.

  • Het kan een beleefde uitgang toevoegen ("Zou u alstublieft...?"), een direct bevel ("Doe het!"), of een vraag ("Kunt u...?").
  • Het behandelt ook eervormen (respectniveaus). Net zoals je anders met je baas praat dan met je beste vriend, kan deze band zinnen genereren die formeel, beleefd of informeel zijn.

3. De Assemblagelijn (Data-generatie)

Nu gebeurt de magie. De machine verbindt deze drie banden.

• Het kiest een zelfstandig naamwoord van Band A.
• Het kiest een passende actie van Band B.
• Het wikkelt het geheel in een specifieke toon van Band C.

Omdat de machine deze onderdelen op miljoenen manieren kan mixen en matchen, kan het 60 biljoen mogelijke zinnen genereren! De onderzoekers gebruiken echter niet allemaal. Ze gebruiken een formule om eerst de meest natuurlijk klinkende, kortere zinnen te kiezen (omdat mensen meestal proberen beknopt te zijn).

4. De Proefrit (Experimenten)

De onderzoekers namen de zinnen die door deze fabriek waren gegenereerd en gebruikten ze om een AI-model (een digitaal brein) te trainen om bankverzoeken te begrijpen.

• Het Resultaat: De AI leerde zeer goed. Het kon ongeveer 95% van de tijd correct raden wat de gebruiker wilde (de "Intentie") en kon ongeveer 86% van de tijd de specifieke details correct identificeren (de "Entiteit", zoals welke bank of welk product).
• De Vergelijking: Ze testten verschillende "hersenen" (vooraf getrainde modellen) om te zien welke het beste werkte met deze nieuwe data. Het model dat een specifiek Koreaans taalmind (KorBERT) gebruikte, presteerde het beste.

De Conclusie

Het artikel beweert dat je in plaats van honderden mensen in te huren om duizenden zinnen handmatig te schrijven, een taalkundig receptenboek (FIAD) kunt bouwen. Dit boek bevat de grammaticaregels, de woordenschat van het bankwezen en de regels van beleefdheid. Door deze regels te volgen, kun je automatisch een enorme, hoogwaardige "taart" van trainingsdata bakken. Dit stelt je in staat om een bankchatbot snel, goedkoop en nauwkeurig Koreaanse klanten te laten begrijpen, zonder dat je hoeft te wachten tot echte mensen elke mogelijke variatie van een verzoek intypen.

Technische samenvatting

Technische Samenvatting: Opbouwen van een Koreaanse Taalbron voor NLU-Data-Generatie van een Klantenservice-Dialogsysteem voor een Bankapp

Probleemstelling
Opdrachtgerichte dialogsystemen (TOD) zijn sterk afhankelijk van Natural Language Understanding (NLU) om gebruikersintenties te classificeren en semantische slots in te vullen. Het ontwikkelen van robuuste NLU-modellen voor de Koreaanse taal, met name binnen het domein van de klantenservice (CS) van banken, wordt echter gehinderd door een schaarste aan publiek beschikbare, geannoteerde trainingsdata. Bestaande bronnen zijn vaak Engels-gericht, beperkt door privacyregels of gegenereerd via crowdsourcing, wat ruis introduceert en de nodige taalkundige diversiteit mist. Bovendien vertonen Koreaanse verzoek-uitingen complexe patronen met specifieke discoursmarkers, eerbewijzen en performative werkwoorden die moeilijk te vangen zijn zonder domeinspecifieke taalkundige bronnen. De kernuitdaging bestaat uit het genereren van een groot, hoogwaardig en taalkundig divers geannoteerd dataset dat de specifieke syntactische en semantische beperkingen van Koreaanse bankdialogen weerspiegelt, zonder de verbodsdrempel van handmatige annotatiekosten te hoeven betalen.

Methodologie
De studie stelt de constructie voor van FIAD (Financial Annotated Dataset), een taalbron die is ontworpen om geannoteerde trainingsdata te genereren voor dialogsystemen voor bankklantenservice. De methodologie volgt een proces in drie fasen:

1. Data-analyse: De auteurs analyseerden een corpus van 126.598 recensies van bankapps (met focus op recensies met lage scores die verzoeken en klachten bevatten) om kernwoorden, zelfstandige naamwoorden, werkwoorden en vervoegingsuiteinden te extraheren met behulp van TF-IDF-gewichting en de Mecab-Ko morfologische analyzer.
2. Constructie van bronnen: Op basis van de analyse werd FIAD gestructureerd in drie modulaire componenten, weergegeven als Local Grammar Graphs (LGG's):
   • TOPIC: Onderverdeeld in ENTITY (naamlijke entiteiten zoals banknamen en productnamen) en FEATURE (gewone zelfstandige naamwoorden gerelateerd aan diensten zoals "lening" of "snelheid"). Deze modules definiëren de in te vullen slots.
   • EVENT: Bevat predicatieve patronen (werkwoorden) die specifieke TOPIC-modules oproepen op basis van semantische beperkingen (bijvoorbeeld: "aanmaken" vereist een "bankrekening"-entiteit, geen "snelheid"-entiteit).
   • DISCOURSE-MARKER: Encodeert meerwoordige uitdrukkingen (MWE's) die spraakhandelingen vertegenwoordigen (informatieverzoek, actieverzoek, ontevredenheid, enz.), zinssoorten (declaratief, imperatief, interrogatief, suggestief) en het Koreaanse eerbewijssysteem (zes spreekstijlen variërend van formeel hapsyo-stijl tot informeel hay-stijl).
3. Data-generatie: De drie componenten worden gecombineerd via Linking-LGG's om uitingen te genereren. Het systeem verkent overgangen in Finite-State Transducers (FST's) die zijn gecompileerd vanuit de LGG's. Om natuurlijkheid en efficiëntie te waarborgen, prioriteert een wegingsformule kortere uitingen, en worden vervoegingsregels uit het Dictionnaire Électronique du Coreen (DECO) toegepast op werkwoorden. Dit proces maakt het mogelijk ongeveer 60 biljoen potentiële uitingpatronen te genereren, waaruit specifieke subsets kunnen worden gegenereerd op basis van de gewenste grootte en taalkundige kenmerken.

Belangrijkste bijdragen

• FIAD-bron: De creatie van een modulaire, op LGG gebaseerde taalbron specifiek voor het Koreaanse bankdomein, die in staat is diverse, grammaticaal correcte en semantisch geannoteerde uitingen te genereren.
• Taalkundige dekking: De expliciete modellering van Koreaans-specifieke taalkundige fenomenen, waaronder het agglutinerende karakter van de taal, complexe eerbewijssystemen en diverse discoursmarkers voor verzoeken, die vaak over het hoofd worden gezien bij standaard op sjablonen gebaseerde generatie.
• Schaalbaarheid en flexibiliteit: Een systeem dat onderzoekers toestaat de grootte van het gegenereerde dataset en de taalkundige kenmerken (bijvoorbeeld beleefdheidsniveaus, specifieke entiteitstypen) aan te passen door specifieke modules te selecteren, wat een tijdefficiënt alternatief biedt voor crowdsourcing of handmatige verzameling.

Experimentele resultaten
De auteurs evalueerden de bruikbaarheid van door FIAD gegenereerde data door NLU-modellen te trainen met het RASA-framework en de DIET-classifier (Dual Intent Entity Transformers).

• Baseline-vergelijking: Een DIET-model getraind op FIAD-data (zonder vooringestelde BERT-embeddings) behaalde een intentie F1-score van 0,9142 en een entiteit F1-score van 0,8377. Dit presteerde beter dan een baseline DIET+BERT-model getraind op een ander NLU-benchmarkdataset wat betreft intentieclassificatie, hoewel de entiteitsextractie iets lager was, wat wordt toegeschreven aan de complexiteit van TOPIC-combinaties.
• Vooringestelde embeddings: Het integreren van vooringestelde Koreaanse BERT-modellen verbeterde de prestaties aanzienlijk.
  • DIET+KorBERT behaalde de hoogste intentie-extractie F1-score (0,95).
  • DIET+KoBERT behaalde de hoogste entiteits-extractie F1-score (0,86).
  • De resultaten tonen aan dat door FIAD gegenereerde data modellen effectief traint om intenties en entiteiten te extraheren, met prestatiewinst die wordt waargenomen wanneer gecombineerd met vooringestelde embeddings.

Betekenis en claims
Het artikel claimt dat FIAD een praktische en efficiënte oplossing biedt voor het construeren van NLU-trainingsdata in domeinen met een tekort aan data. Door gebruik te maken van Local Grammar Graphs om taalkundige beperkingen en Koreaanse eerbewijzen te coderen, genereert de bron enorme hoeveelheden "typische en grammaticaal geschikte" uitingen met verminderde arbeids- en tijdkosten in vergelijking met traditionele dataverzamelingsmethoden. De studie concludeert dat de modulaire structuur van FIAD flexibiliteit biedt voor het opbouwen van uitgebreide trainingsdata die zijn toegespitst op specifieke doelen, en dat de experimentele resultaten bevestigen dat modellen getraind op deze synthetische data de semantische extractietaken die nodig zijn voor Koreaanse bankklantenservice-dialogsystemen effectief kunnen uitvoeren.