Building Korean linguistic resource for NLU data generation of banking app CS dialog system

Questo articolo presenta la costruzione del Financial Annotated Dataset (FIAD), una risorsa linguistica coreana derivata da recensioni di applicazioni bancarie e da Local Grammar Graphs, utilizzata per generare dati di addestramento annotati che migliorano significativamente le prestazioni di vari modelli NLU nei sistemi dialogici di servizio clienti bancari.

L'essenziale

Immagina di dover insegnare a un robot come parlare con persone arrabbiate o confuse riguardo ai loro conti bancari. Per farlo, il robot ha bisogno di un "manuale" pieno di esempi di ciò che le persone dicono realmente. Ma ecco il problema: le persone reali sono disordinate. Usano lo slang, si arrabbiano, impiegano diversi livelli di cortesia e dicono la stessa cosa in mille modi diversi. Raccogliere a mano abbastanza esempi reali è come cercare di catturare ogni singola goccia di pioggia durante un temporale con un secchio: richiede un'eternità ed è incredibilmente costoso.

Questo articolo introduce una soluzione chiamata FIAD (Financial Annotated Dataset). Pensa a FIAD non come a un secchio di pioggia, ma come a una fabbrica di frasi ad alta tecnologia.

Ecco come funziona la fabbrica, scomposta in passaggi semplici:

1. Il Progetto (Analisi dei Dati)

Innanzitutto, i ricercatori non hanno semplicemente indovinato cosa dicono le persone. Sono andati alla "fonte": hanno esaminato oltre 126.000 recensioni di app bancarie. Si sono concentrati sulle recensioni infelici (punteggi bassi) perché è lì che le persone sono più propense a dire: "Risolvi questo!" o "Non posso farlo!". Hanno utilizzato uno strumento informatico per ridurre queste recensioni ai loro mattoni fondamentali più piccoli (parole e parti grammaticali) per osservare quali modelli emergevano.

2. I Tre Nastri Trasportatori (Costruzione delle Risorse)

Invece di scrivere le frasi una per una, hanno costruito una macchina con tre nastri trasportatori principali. Ogni nastro aggiunge una parte specifica alla frase:

• Nastro A: Il "Cosa" (TOPICO)
  Questo nastro contiene i sostantivi. Ha due contenitori:

  • Entità: Nomi specifici come "Kakao Bank" o "App Toss".
  • Caratteristiche: Parole bancarie generali come "prestito", "conto" o "velocità".
  • Analogia: È come una scatola di mattoncini Lego. Puoi scegliere un mattoncino rosso (Kakao Bank) o un mattoncino blu (App Toss), ma hanno tutti la stessa forma (un sostantivo).

• Nastro B: L'"Azione" (EVENTO)
  Questo nastro contiene i verbi e la logica. Decide quale azione sta avvenendo, come "creare", "inviare" o "acquistare".

  • Il Filtro Intelligente: Questo nastro è intelligente. Sa che puoi "creare" un conto, ma non puoi "creare" una velocità. Controlla le regole per assicurarsi che l'azione corrisponda al sostantivo. Se provi a mettere "creare" accanto a "velocità", la macchina lo rifiuta.

• Nastro C: Il "Tono" (MARCATORE DISCORSIVO)
  Questa è la parte più unica. In coreano, il modo in cui termini una frase ne cambia il significato e il livello di cortesia. Questo nastro aggiunge il "sapore".

  • Può aggiungere una fine cortese ("Potresti per favore...?"), un comando diretto ("Fallo!") o una domanda ("Puoi...?").
  • Gestisce anche gli onorifici (livelli di rispetto). Proprio come potresti parlare diversamente al tuo capo rispetto al tuo migliore amico, questo nastro può generare frasi che sono formali, cortesi o informali.

3. La Catena di Montaggio (Generazione dei Dati)

Ora avviene la magia. La macchina collega questi tre nastri.

• Sceglie un sostantivo dal Nastro A.
• Sceglie un'azione corrispondente dal Nastro B.
• Avvolge il tutto in un tono specifico dal Nastro C.

Poiché la macchina può mescolare e abbinare queste parti in milioni di modi, può generare 60 trilioni di frasi possibili! Tuttavia, i ricercatori non ne utilizzano tutte. Usano una formula per selezionare prima le frasi più brevi e che suonano più naturali (perché le persone solitamente cercano di essere concise).

4. La Prova Stradale (Esperimenti)

I ricercatori hanno preso le frasi generate da questa fabbrica e le hanno utilizzate per addestrare un modello di intelligenza artificiale (un cervello digitale) a comprendere le richieste bancarie.

• Il Risultato: L'IA ha imparato molto bene. Ha potuto indovinare correttamente cosa voleva l'utente (l'"Intento") circa il 95% delle volte e ha potuto identificare correttamente i dettagli specifici (l'"Entità", come quale banca o quale prodotto) circa l'86% delle volte.
• Il Confronto: Hanno testato diversi "cervelli" (modelli pre-addestrati) per vedere quale funzionava meglio con questi nuovi dati. Il modello che utilizzava un cervello specifico per la lingua coreana (KorBERT) ha ottenuto i risultati migliori.

La Conclusione

L'articolo afferma che, invece di assumere centinaia di persone per scrivere migliaia di frasi a mano, puoi costruire un libro di ricette linguistiche (FIAD). Questo libro contiene le regole grammaticali, il vocabolario bancario e le regole della cortesia. Seguendo queste regole, puoi cuocere automaticamente una gigantesca e di alta qualità "torta" di dati di addestramento. Questo ti permette di insegnare a un chatbot bancario a comprendere i clienti coreani rapidamente, economicamente e con precisione, senza dover attendere che esseri umani reali digitino ogni singola variazione di una richiesta.

Sommario tecnico

Riepilogo Tecnico: Costruzione di una Risorsa Linguistica Coreana per la Generazione di Dati NLU del Sistema Dialogico CS di un'App Bancaria

Enunciato del Problema
I sistemi di dialogo orientati al compito (TOD) dipendono fortemente dalla Comprensione del Linguaggio Naturale (NLU) per classificare le intenzioni dell'utente e riempire gli slot semantici. Tuttavia, lo sviluppo di modelli NLU robusti per la lingua coreana, in particolare nel dominio del servizio clienti (CS) bancario, è ostacolato dalla scarsità di dati di addestramento annotati disponibili pubblicamente. Le risorse esistenti sono spesso incentrate sull'inglese, soggette a restrizioni sulla privacy o generate tramite crowdsourcing, il che introduce rumore e manca della necessaria diversità linguistica. Inoltre, gli enunciati di richiesta in coreano presentano modelli complessi che coinvolgono specifici marcatori discorsivi, forme onorifiche e predicati performativi, difficili da catturare senza risorse linguistiche specifiche per il dominio. La sfida principale consiste nel generare un dataset annotato su larga scala, di alta qualità e linguisticamente diversificato che rifletta i vincoli sintattici e semantici specifici dei dialoghi bancari coreani, senza incorrere nei costi proibitivi dell'annotazione manuale.

Metodologia
Lo studio propone la costruzione di FIAD (Financial Annotated Dataset), una risorsa linguistica progettata per generare dati di addestramento annotati per sistemi dialogici CS bancari. La metodologia segue un processo in tre fasi:

1. Analisi dei Dati: Gli autori hanno analizzato un corpus di 126.598 recensioni di app bancarie (concentrandosi sulle recensioni a punteggio basso contenenti richieste e lamentele) per estrarre parole chiave principali, sostantivi, predicati e desinenze flesse utilizzando la ponderazione TF-IDF e l'analizzatore morfologico Mecab-Ko.
2. Costruzione della Risorsa: Sulla base dell'analisi, FIAD è stato strutturato in tre componenti modulari rappresentati come Grafici Grammaticali Locali (LGG):
   • TOPIC: Diviso in ENTITY (entità nominate come nomi di banche e nomi di prodotti) e FEATURE (sostantivi comuni relativi a servizi come "prestito" o "velocità"). Questi moduli definiscono gli slot da riempire.
   • EVENT: Contiene pattern predicativi (verbi) che invocano moduli TOPIC specifici in base a restrizioni semantiche (ad esempio, "creare" richiede un'entità "conto bancario", non un'entità "velocità").
   • DISCOURSE-MARKER: Codifica espressioni multi-parola (MWE) che rappresentano atti linguistici (Richiesta di Informazioni, Richiesta di Azione, Insoddisfazione, ecc.), tipi di frase (dichiarativa, imperativa, interrogativa, suggestiva) e i sistemi onorifici coreani (sei stili di discorso che vanno dallo stile formale hapsyo allo stile informale hay).
3. Generazione dei Dati: I tre componenti sono combinati tramite Linking-LGG per generare enunciati. Il sistema esplora le transizioni nei Trasformatori a Stato Finito (FST) compilati dagli LGG. Per garantire naturalezza ed efficienza, una formula di ponderazione dà priorità agli enunciati più brevi e vengono applicate regole di coniugazione tratte dal Dictionnaire Électronique du Coreen (DECO) ai verbi. Questo processo consente la generazione di circa 60 trilioni di pattern di enunciati potenziali, dai quali è possibile generare sottoinsiemi specifici in base alla dimensione desiderata e alle caratteristiche linguistiche.

Contributi Chiave

• Risorsa FIAD: La creazione di una risorsa linguistica modulare basata su LGG specificamente per il dominio bancario coreano, capace di generare enunciati diversificati, grammaticalmente corretti e semanticamente annotati.
• Copertura Linguistica: La modellazione esplicita di fenomeni linguistici specifici del coreano, inclusa la natura agglutinante della lingua, complessi sistemi onorifici e marcatori discorsivi diversificati per le richieste, che vengono spesso trascurati nella generazione basata su modelli standard.
• Scalabilità e Flessibilità: Un sistema che permette ai ricercatori di regolare la dimensione del dataset generato e le caratteristiche linguistiche (ad esempio, livelli di cortesia, tipi specifici di entità) selezionando moduli specifici, offrendo un'alternativa efficiente in termini di tempo rispetto al crowdsourcing o alla raccolta manuale.

Risultati Sperimentali
Gli autori hanno valutato l'utilità dei dati generati da FIAD addestrando modelli NLU utilizzando il framework RASA e il classificatore DIET (Dual Intent Entity Transformers).

• Confronto con la Linea di Base: Un modello DIET addestrato su dati FIAD (senza incorporamenti BERT pre-addestrati) ha raggiunto un punteggio F1 per l'intento di 0,9142 e un punteggio F1 per l'entità di 0,8377. Ciò ha superato un modello DIET+BERT di base addestrato su un diverso dataset di benchmark NLU nella classificazione delle intenzioni, sebbene l'estrazione delle entità fosse leggermente inferiore, attribuita alla complessità delle combinazioni TOPIC.
• Incorporamenti Pre-addestrati: L'integrazione di modelli BERT coreani pre-addestrati ha migliorato significativamente le prestazioni.
  • DIET+KorBERT ha raggiunto il punteggio F1 più alto per l'estrazione delle intenzioni (0,95).
  • DIET+KoBERT ha raggiunto il punteggio F1 più alto per l'estrazione delle entità (0,86).
  • I risultati dimostrano che i dati generati da FIAD addestrano efficacemente i modelli all'estrazione di intenzioni ed entità, con guadagni di prestazioni osservati quando combinati con incorporamenti pre-addestrati.

Significato e Affermazioni
Il documento afferma che FIAD fornisce una soluzione pratica ed efficiente per la costruzione di dati di addestramento NLU in domini con scarsità di dati. Sfruttando i Grafici Grammaticali Locali per codificare vincoli linguistici e onorifici coreani, la risorsa genera enormi quantità di enunciati "tipici e grammaticalmente corretti" con costi di manodopera e tempo ridotti rispetto ai metodi tradizionali di raccolta dati. Lo studio conclude che la struttura modulare di FIAD offre flessibilità per costruire dati di addestramento estesi su misura per obiettivi specifici, e i risultati sperimentali confermano che i modelli addestrati su questi dati sintetici possono gestire efficacemente i compiti di estrazione semantica richiesti per i sistemi dialogici di servizio clienti bancario coreano.