Building Korean linguistic resource for NLU data generation of banking app CS dialog system

Este artigo apresenta a construção do Conjunto de Dados Financeiros Anotados (FIAD), um recurso linguístico coreano derivado de avaliações de aplicativos bancários e Grafos de Gramática Local, utilizado para gerar dados de treinamento anotados que melhoram significativamente o desempenho de diversos modelos de NLU em sistemas de diálogo de atendimento ao cliente bancário.

O essencial

Imagine que você está tentando ensinar um robô a falar com pessoas que estão irritadas ou confusas sobre suas contas bancárias. Para fazer isso, o robô precisa de um "manual" repleto de exemplos do que as pessoas realmente dizem. Mas aqui está o problema: as pessoas reais são bagunçadas. Elas usam gírias, ficam irritadas, usam diferentes níveis de polidez e dizem a mesma coisa de mil maneiras diferentes. Coletar exemplos reais suficientes à mão é como tentar capturar cada gota de chuva de uma tempestade com um balde — leva uma eternidade e é incrivelmente caro.

Este artigo apresenta uma solução chamada FIAD (Conjunto de Dados Financeiros Anotados). Pense no FIAD não como um balde de chuva, mas como uma "fábrica de frases" de alta tecnologia.

Veja como a fábrica funciona, dividida em etapas simples:

1. O Projeto (Análise de Dados)

Primeiro, os pesquisadores não apenas adivinharam o que as pessoas dizem. Eles foram à "fonte": analisaram mais de 126.000 avaliações de aplicativos bancários. Eles focaram nas avaliações infelizes (pontuações baixas) porque é ali que as pessoas têm mais probabilidade de dizer: "Consertem isso!" ou "Não consigo fazer aquilo!". Eles usaram uma ferramenta computacional para decompor essas avaliações em seus menores blocos de construção (palavras e fragmentos gramaticais) para observar quais padrões surgiam.

2. As Três Esteiras (Construção de Recursos)

Em vez de escrever frases uma por uma, eles construíram uma máquina com três esteiras principais. Cada esteira adiciona uma parte específica à frase:

• Esteira A: O "O Quê" (TÓPICO)
  Esta esteira contém os substantivos. Ela possui dois compartimentos:

  • Entidades: Nomes específicos como "Kakao Bank" ou "Aplicativo Toss".
  • Recursos: Palavras gerais de bancos como "empréstimo", "conta" ou "velocidade".
  • Analogia: Isso é como uma caixa de blocos de Lego. Você pode escolher um bloco vermelho (Kakao Bank) ou um bloco azul (Aplicativo Toss), mas todos têm o mesmo formato (um substantivo).

• Esteira B: A "Ação" (EVENTO)
  Esta esteira contém os verbos e a lógica. Ela decide qual ação está ocorrendo, como "criar", "enviar" ou "comprar".

  • O Filtro Inteligente: Esta esteira é inteligente. Ela sabe que você pode "criar" uma conta, mas não pode "criar" uma velocidade. Ela verifica as regras para garantir que a ação corresponda ao substantivo. Se você tentar colocar "criar" ao lado de "velocidade", a máquina rejeita.

• Esteira C: O "Tom" (MARCADOR DISCURSIVO)
  Esta é a parte mais única. No coreano, como você termina uma frase altera seu significado e nível de polidez. Esta esteira adiciona o "sabor".

  • Ela pode adicionar um final polido ("Você poderia por favor...?"), um comando direto ("Faça isso!") ou uma pergunta ("Você pode...?").
  • Ela também lida com honoríficos (níveis de respeito). Assim como você pode falar de maneira diferente com seu chefe versus seu melhor amigo, esta esteira pode gerar frases que são formais, polidas ou casuais.

3. A Linha de Montagem (Geração de Dados)

Agora, a mágica acontece. A máquina conecta essas três esteiras.

• Ela escolhe um substantivo da Esteira A.
• Ela escolhe uma ação correspondente da Esteira B.
• Ela envolve tudo em um tom específico da Esteira C.

Como a máquina pode misturar e combinar essas partes de milhões de maneiras, ela pode gerar 60 trilhões de frases possíveis! No entanto, os pesquisadores não usam todas elas. Eles usam uma fórmula para escolher primeiro as frases mais naturais e curtas (porque as pessoas geralmente tentam ser breves).

4. O Teste de Direção (Experimentos)

Os pesquisadores pegaram as frases geradas por essa fábrica e as usaram para treinar um modelo de IA (um cérebro digital) para entender solicitações bancárias.

• O Resultado: A IA aprendeu muito bem. Ela conseguiu adivinhar corretamente o que o usuário queria (a "Intenção") cerca de 95% das vezes e conseguiu identificar corretamente os detalhes específicos (a "Entidade", como qual banco ou qual produto) cerca de 86% das vezes.
• A Comparação: Eles testaram diferentes "cérebros" (modelos pré-treinados) para ver qual funcionava melhor com esses novos dados. O modelo que usava um cérebro específico de língua coreana (KorBERT) teve o melhor desempenho.

A Conclusão

O artigo afirma que, em vez de contratar centenas de pessoas para escrever milhares de frases à mão, você pode construir um livro de receitas linguístico (FIAD). Este livro contém as regras gramaticais, o vocabulário bancário e as regras de polidez. Seguindo essas regras, você pode assar automaticamente um "bolo" massivo e de alta qualidade de dados de treinamento. Isso permite ensinar um chatbot bancário a entender clientes coreanos de forma rápida, barata e precisa, sem precisar esperar que humanos reais digitem cada variação possível de uma solicitação.

Resumo técnico

Resumo Técnico: Construção de Recurso Linguístico Coreano para Geração de Dados de NLU de Sistema de Diálogo de Atendimento ao Cliente de Aplicativo Bancário

Declaração do Problema
Sistemas de diálogo orientados a tarefas (TOD) dependem fortemente da Compreensão de Linguagem Natural (NLU) para classificar intenções do usuário e preencher slots semânticos. No entanto, o desenvolvimento de modelos NLU robustos para a língua coreana, particularmente no domínio de atendimento ao cliente (CS) bancário, é impedido pela escassez de dados de treinamento anotados publicamente disponíveis. Recursos existentes são frequentemente centrados no inglês, restritos por privacidade ou gerados via crowdsourcing, o que introduz ruído e carece da diversidade linguística necessária. Além disso, enunciados de solicitação em coreano exibem padrões complexos envolvendo marcadores discursivos específicos, honoríficos e predicados performativos que são difíceis de capturar sem recursos linguísticos específicos do domínio. O desafio central é gerar um conjunto de dados anotado em grande escala, de alta qualidade e linguisticamente diversificado que reflita as restrições sintáticas e semânticas específicas dos diálogos bancários coreanos, sem incorrer nos custos proibitivos da anotação manual.

Metodologia
O estudo propõe a construção do FIAD (Financial Annotated Dataset), um recurso linguístico projetado para gerar dados de treinamento anotados para sistemas de diálogo de CS bancário. A metodologia segue um processo de três fases:

1. Análise de Dados: Os autores analisaram um corpus de 126.598 avaliações de aplicativos bancários (focando em avaliações de baixa pontuação contendo solicitações e reclamações) para extrair palavras-chave centrais, substantivos, predicados e terminações flexionais usando ponderação TF-IDF e o analisador morfológico Mecab-Ko.
2. Construção de Recursos: Com base na análise, o FIAD foi estruturado em três componentes modulares representados como Grafos de Gramática Local (LGGs):
   • TÓPICO: Dividido em ENTIDADE (entidades nomeadas como nomes de bancos e nomes de produtos) e CARACTERÍSTICA (substantivos comuns relacionados a serviços como "empréstimo" ou "velocidade"). Esses módulos definem os slots a serem preenchidos.
   • EVENTO: Contém padrões predicativos (verbos) que invocam módulos TÓPICO específicos com base em restrições semânticas (por exemplo, "criar" requer uma entidade "conta bancária", não uma entidade "velocidade").
   • MARCADOR-DISCURSIVO: Codifica expressões de múltiplas palavras (MWEs) representando atos de fala (Solicitação de Informação, Solicitação de Ação, Insatisfação, etc.), tipos de sentença (declarativa, imperativa, interrogativa, sugestiva) e sistemas de honoríficos coreanos (seis estilos de fala, variando do formal estilo hapsyo ao informal estilo hay).
3. Geração de Dados: Os três componentes são combinados via LGGs de Ligação para gerar enunciados. O sistema explora transições em Transdutores de Estado Finito (FSTs) compilados a partir dos LGGs. Para garantir naturalidade e eficiência, uma fórmula de ponderação prioriza enunciados mais curtos, e regras de conjugação do Dictionnaire Électronique du Coreen (DECO) são aplicadas aos verbos. Este processo permite a geração de aproximadamente 60 trilhões de padrões de enunciados potenciais, dos quais subconjuntos específicos podem ser gerados com base no tamanho desejado e nas características linguísticas.

Principais Contribuições

• Recurso FIAD: A criação de um recurso linguístico modular baseado em LGG especificamente para o domínio bancário coreano, capaz de gerar enunciados diversos, gramaticalmente corretos e semanticamente anotados.
• Cobertura Linguística: A modelagem explícita de fenômenos linguísticos específicos do coreano, incluindo a natureza aglutinante da língua, sistemas complexos de honoríficos e marcadores discursivos diversos para solicitações, que são frequentemente negligenciados na geração baseada em modelos padrão.
• Escalabilidade e Flexibilidade: Um sistema que permite aos pesquisadores ajustar o tamanho do conjunto de dados gerado e as características linguísticas (por exemplo, níveis de polidez, tipos específicos de entidades) selecionando módulos específicos, oferecendo uma alternativa eficiente em termos de tempo ao crowdsourcing ou à coleta manual.

Resultados Experimentais
Os autores avaliaram a utilidade dos dados gerados pelo FIAD treinando modelos NLU usando o framework RASA e o classificador DIET (Dual Intent Entity Transformers).

• Comparação com Linha de Base: Um modelo DIET treinado em dados FIAD (sem embeddings BERT pré-treinados) alcançou uma pontuação F1 de intenção de 0,9142 e uma pontuação F1 de entidade de 0,8377. Isso superou um modelo DIET+BERT de linha de base treinado em um conjunto de dados de benchmark NLU diferente na classificação de intenções, embora a extração de entidades tenha sido ligeiramente inferior, atribuída à complexidade das combinações de TÓPICO.
• Embeddings Pré-treinados: A integração de modelos BERT coreanos pré-treinados melhorou significativamente o desempenho.
  • DIET+KorBERT alcançou a maior pontuação F1 de extração de intenção (0,95).
  • DIET+KoBERT alcançou a maior pontuação F1 de extração de entidade (0,86).
  • Os resultados demonstram que os dados gerados pelo FIAD treinam efetivamente modelos para extrair intenções e entidades, com ganhos de desempenho observados quando combinados com embeddings pré-treinados.

Significado e Alegações
O artigo alega que o FIAD fornece uma solução prática e eficiente para a construção de dados de treinamento NLU em domínios com escassez de dados. Ao aproveitar Grafos de Gramática Local para codificar restrições linguísticas e honoríficos coreanos, o recurso gera grandes quantidades de enunciados "típicos e gramaticalmente adequados" com custos reduzidos de força de trabalho e tempo em comparação com métodos tradicionais de coleta de dados. O estudo conclui que a estrutura modular do FIAD oferece flexibilidade para construir dados de treinamento extensos adaptados a objetivos específicos, e os resultados experimentais confirmam que modelos treinados nesses dados sintéticos podem lidar efetivamente com as tarefas de extração semântica necessárias para sistemas de diálogo de atendimento ao cliente bancário coreano.