Building Korean linguistic resource for NLU data generation of banking app CS dialog system

Ce papier présente la construction du Jeu de Données Financières Annotées (FIAD), une ressource linguistique coréenne dérivée d'avis d'applications bancaires et de Graphes de Grammaire Locale, utilisée pour générer des données d'entraînement annotées qui améliorent significativement les performances de divers modèles de compréhension du langage naturel dans les systèmes de dialogue pour le service client bancaire.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment parler à des personnes en colère ou confuses concernant leurs comptes bancaires. Pour ce faire, le robot a besoin d'un « manuel » rempli d'exemples de ce que les gens disent réellement. Mais voici le problème : les vraies personnes sont désordonnées. Elles utilisent de l'argot, elles se fâchent, elles emploient différents niveaux de politesse et elles disent la même chose de mille façons différentes. Collecter suffisamment d'exemples réels à la main, c'est comme essayer de capturer chaque goutte de pluie dans une tempête avec un seau : cela prend une éternité et coûte incroyablement cher.

Ce document présente une solution appelée FIAD (Financial Annotated Dataset). Considérez FIAD non pas comme un seau de pluie, mais comme une usine à phrases de haute technologie.

Voici comment fonctionne l'usine, décomposé en étapes simples :

1. Le Plan (Analyse des données)

D'abord, les chercheurs n'ont pas simplement deviné ce que les gens disent. Ils sont allés à la « source » : ils ont examiné plus de 126 000 avis sur des applications bancaires. Ils se sont concentrés sur les avis mécontents (notes basses) car c'est là que les gens sont le plus susceptibles de dire : « Réparez ça ! » ou « Je ne peux pas faire ça ! ». Ils ont utilisé un outil informatique pour découper ces avis en leurs plus petits blocs de construction (mots et éléments grammaticaux) afin de voir quels motifs émergeaient.

2. Les Trois Bandes Transporteuses (Construction des ressources)

Au lieu d'écrire des phrases une par une, ils ont construit une machine avec trois bandes transporteuses principales. Chaque bande ajoute une partie spécifique à la phrase :

• Bande A : Le « Quoi » (SUJET)
  Cette bande contient les noms. Elle possède deux bacs :

  • Entités : Noms spécifiques comme « Kakao Bank » ou « Toss App ».
  • Fonctionnalités : Mots bancaires généraux comme « prêt », « compte » ou « rapidité ».
  • Analogie : C'est comme une boîte de briques Lego. Vous pouvez choisir une brique rouge (Kakao Bank) ou une brique bleue (Toss App), mais elles ont toutes la même forme (un nom).

• Bande B : L'« Action » (ÉVÉNEMENT)
  Cette bande contient les verbes et la logique. Elle décide quelle action se produit, comme « créer », « envoyer » ou « acheter ».

  • Le Filtre Intelligent : Cette bande est intelligente. Elle sait que vous pouvez « créer » un compte, mais vous ne pouvez pas « créer » une rapidité. Elle vérifie les règles pour s'assurer que l'action correspond au nom. Si vous essayez de mettre « créer » à côté de « rapidité », la machine le rejette.

• Bande C : Le « Ton » (MARQUEUR DISCURSIF)
  C'est la partie la plus unique. En coréen, la façon dont vous terminez une phrase change son sens et son niveau de politesse. Cette bande ajoute la « saveur ».

  • Elle peut ajouter une fin polie (« Pourriez-vous s'il vous plaît... ? »), un ordre direct (« Faites-le ! ») ou une question (« Pouvez-vous... ? »).
  • Elle gère également les honorifiques (niveaux de respect). Tout comme vous parlez différemment à votre patron qu'à votre meilleur ami, cette bande peut générer des phrases formelles, polies ou familières.

3. La Chaîne de Montage (Génération de données)

Maintenant, la magie opère. La machine connecte ces trois bandes.

• Elle choisit un nom sur la bande A.
• Elle choisit une action correspondante sur la bande B.
• Elle l'enveloppe dans un ton spécifique provenant de la bande C.

Comme la machine peut mélanger et assortir ces parties de millions de façons, elle peut générer 60 billions de phrases possibles ! Cependant, les chercheurs ne les utilisent pas toutes. Ils utilisent une formule pour sélectionner d'abord les phrases les plus naturelles et les plus courtes (car les gens essaient généralement d'être brefs).

4. L'Essai Routier (Expériences)

Les chercheurs ont pris les phrases générées par cette usine et les ont utilisées pour entraîner un modèle d'IA (un cerveau numérique) à comprendre les demandes bancaires.

• Le Résultat : L'IA a très bien appris. Elle pouvait correctement deviner ce que l'utilisateur voulait (l'« Intention ») environ 95 % du temps et pouvait correctement identifier les détails spécifiques (l'« Entité », comme quelle banque ou quel produit) environ 86 % du temps.
• La Comparaison : Ils ont testé différents « cerveaux » (modèles pré-entraînés) pour voir lequel fonctionnait le mieux avec ces nouvelles données. Le modèle utilisant un cerveau spécifique de langue coréenne (KorBERT) a obtenu les meilleurs résultats.

La Conclusion

L'article affirme que, au lieu d'embaucher des centaines de personnes pour écrire des milliers de phrases à la main, vous pouvez construire un livre de recettes linguistiques (FIAD). Ce livre contient les règles de grammaire, le vocabulaire bancaire et les règles de politesse. En suivant ces règles, vous pouvez cuire automatiquement un énorme « gâteau » de haute qualité de données d'entraînement. Cela vous permet d'enseigner à un chatbot bancaire à comprendre les clients coréens rapidement, à moindre coût et avec précision, sans avoir à attendre que de vrais humains tapent chaque variation d'une demande.

Résumé technique

Résumé Technique : Construction d'une Ressource Linguistique Coréenne pour la Génération de Données NLU d'un Système de Dialogue de Service Client d'Application Bancaire

Énoncé du Problème
Les systèmes de dialogue orientés vers des tâches (TOD) reposent fortement sur la compréhension du langage naturel (NLU) pour classifier les intentions des utilisateurs et remplir les slots sémantiques. Cependant, le développement de modèles NLU robustes pour la langue coréenne, en particulier dans le domaine du service client (CS) bancaire, est entravé par la rareté des données d'entraînement annotées disponibles publiquement. Les ressources existantes sont souvent centrées sur l'anglais, soumises à des restrictions de confidentialité ou générées par la foule, ce qui introduit du bruit et manque de diversité linguistique nécessaire. De plus, les énoncés de requête en coréen présentent des schémas complexes impliquant des marqueurs discursifs spécifiques, des systèmes d'honorifiques et des prédicats performatifs, difficiles à capturer sans ressources linguistiques spécifiques au domaine. Le défi central réside dans la génération d'un ensemble de données annotées à grande échelle, de haute qualité et linguistiquement diversifié, reflétant les contraintes syntaxiques et sémantiques spécifiques aux dialogues bancaires coréens, sans encourir les coûts prohibitifs de l'annotation manuelle.

Méthodologie
L'étude propose la construction de FIAD (Financial Annotated Dataset), une ressource linguistique conçue pour générer des données d'entraînement annotées pour les systèmes de dialogue de service client bancaire. La méthodologie suit un processus en trois phases :

1. Analyse des Données : Les auteurs ont analysé un corpus de 126 598 avis sur l'application bancaire (en se concentrant sur les avis à faible score contenant des demandes et des plaintes) pour extraire les mots-clés principaux, les noms, les prédicats et les terminaisons flexionnelles en utilisant la pondération TF-IDF et l'analyseur morphologique Mecab-Ko.
2. Construction de la Ressource : Sur la base de l'analyse, FIAD a été structuré en trois composants modulaires représentés sous forme de Graphes de Grammaire Locale (LGG) :
   • TOPIC : Divisé en ENTITY (entités nommées telles que les noms de banques et les noms de produits) et FEATURE (noms communs liés aux services comme « prêt » ou « rapidité »). Ces modules définissent les slots à remplir.
   • EVENT : Contient des schémas prédicatifs (verbes) qui invoquent des modules TOPIC spécifiques en fonction de restrictions sémantiques (par exemple, « créer » nécessite une entité « compte bancaire », et non une entité « vélocité »).
   • DISCOURSE-MARKER : Encode des expressions multi-mots (MWE) représentant des actes de parole (Demande d'information, Demande d'action, Insatisfaction, etc.), des types de phrases (déclaratif, impératif, interrogatif, suggestif) et les systèmes d'honorifiques coréens (six styles de parole allant du style formel hapsyo au style informel hay).
3. Génération de Données : Les trois composants sont combinés via des Linking-LGG pour générer des énoncés. Le système explore les transitions dans les Transducteurs à États Finis (FST) compilés à partir des LGG. Pour assurer le naturel et l'efficacité, une formule de pondération privilégie les énoncés plus courts, et des règles de conjugaison issues du Dictionnaire Électronique du Coréen (DECO) sont appliquées aux verbes. Ce processus permet de générer environ 60 billions de motifs d'énoncés potentiels, parmi lesquels des sous-ensembles spécifiques peuvent être générés en fonction de la taille désirée et des caractéristiques linguistiques.

Contributions Clés

• Ressource FIAD : La création d'une ressource linguistique modulaire basée sur les LGG, spécifiquement pour le domaine bancaire coréen, capable de générer des énoncés diversifiés, grammaticalement corrects et sémantiquement annotés.
• Couverture Linguistique : La modélisation explicite des phénomènes linguistiques spécifiques au coréen, notamment le caractère agglutinant de la langue, les systèmes complexes d'honorifiques et les marqueurs discursifs diversifiés pour les demandes, souvent négligés dans la génération basée sur des modèles standards.
• Évolutivité et Flexibilité : Un système permettant aux chercheurs d'ajuster la taille de l'ensemble de données généré et ses caractéristiques linguistiques (par exemple, niveaux de politesse, types d'entités spécifiques) en sélectionnant des modules spécifiques, offrant une alternative efficace en termes de temps par rapport à la collecte par la foule ou manuelle.

Résultats Expérimentaux
Les auteurs ont évalué l'utilité des données générées par FIAD en entraînant des modèles NLU utilisant le framework RASA et le classifieur DIET (Dual Intent Entity Transformers).

• Comparaison avec la Référence : Un modèle DIET entraîné sur des données FIAD (sans embeddings BERT pré-entraînés) a obtenu un score F1 d'intention de 0,9142 et un score F1 d'entité de 0,8377. Cela a surpassé un modèle de référence DIET+BERT entraîné sur un autre ensemble de données de référence NLU pour la classification des intentions, bien que l'extraction d'entités ait été légèrement inférieure, attribué à la complexité des combinaisons TOPIC.
• Embeddings Pré-entraînés : L'intégration de modèles BERT coréens pré-entraînés a considérablement amélioré les performances.
  • DIET+KorBERT a obtenu le score F1 d'extraction d'intention le plus élevé (0,95).
  • DIET+KoBERT a obtenu le score F1 d'extraction d'entité le plus élevé (0,86).
  • Les résultats démontrent que les données générées par FIAD entraînent efficacement les modèles à extraire les intentions et les entités, avec des gains de performance observés lorsqu'ils sont combinés à des embeddings pré-entraînés.

Signification et Revendications
L'article revendique que FIAD fournit une solution pratique et efficace pour la construction de données d'entraînement NLU dans des domaines où les données sont rares. En tirant parti des Graphes de Grammaire Locale pour encoder les contraintes linguistiques et les honorifiques coréens, la ressource génère d'énormes quantités d'énoncés « typiques et grammaticalement adaptés » avec des coûts de main-d'œuvre et de temps réduits par rapport aux méthodes traditionnelles de collecte de données. L'étude conclut que la structure modulaire de FIAD offre de la flexibilité pour construire des données d'entraînement étendues adaptées à des objectifs spécifiques, et que les résultats expérimentaux confirment que les modèles entraînés sur ces données synthétiques peuvent gérer efficacement les tâches d'extraction sémantique requises pour les systèmes de dialogue de service client bancaire coréen.