Building Korean linguistic resource for NLU data generation of banking app CS dialog system

本文介绍了金融标注数据集（FIAD）的构建，该数据集是一种源自银行应用评论和本地语法图的韩语语言资源，用于生成标注训练数据，从而显著提升各类自然语言理解模型在银行客服对话系统中的性能。

要点

想象一下，你正在教一个机器人如何与那些因银行账户问题而愤怒或困惑的人交谈。为此，机器人需要一本充满人们实际说话示例的“教科书”。但问题在于：真实的人是杂乱无章的。他们使用俚语，会生气，使用不同程度的礼貌用语，并且会用成千上万种不同的方式表达同一件事。手工收集足够的真实示例，就像试图在暴风雨中用桶接住每一滴雨水——既耗时又极其昂贵。

本文介绍了一种名为FIAD（金融标注数据集）的解决方案。请将 FIAD 想象成不是装满雨水的桶，而是一个高科技的“句子工厂”。

以下是该工厂的运作方式，分解为简单步骤：

1. 蓝图（数据分析）

首先，研究人员并非凭空猜测人们会说什么。他们深入“源头”：分析了超过 126,000 条银行应用评论。他们重点关注不满意的评论（低分），因为人们最有可能在那里说“修好这个！”或“我做不到那个！”。他们使用计算机工具将这些评论拆解为最小的构建模块（单词和语法片段），以观察出现了哪些模式。

2. 三条传送带（资源构建）

他们并非逐句编写，而是构建了一台拥有三条主要传送带的机器。每条传送带为句子添加特定的部分：

• 传送带 A：“什么”（主题）
  这条传送带存放名词。它有两个料斗：

  • 实体：具体名称，如"Kakao Bank"或"Toss App"。
  • 特征：通用银行词汇，如“贷款”、“账户”或“速度”。
  • 类比：这就像一盒乐高积木。你可以挑选一块红色积木（Kakao Bank）或一块蓝色积木（Toss App），但它们都是相同的形状（名词）。

• 传送带 B：“动作”（事件）
  这条传送带存放动词和逻辑。它决定正在发生什么动作，例如“创建”、“发送”或“购买”。

  • 智能过滤器：这条传送带很智能。它知道你可以“创建”一个账户，但不能“创建”一个速度。它会检查规则，确保动作与名词匹配。如果你试图将“创建”放在“速度”旁边，机器会拒绝它。

• 传送带 C：“语气”（话语标记）
  这是最独特的部分。在韩语中，句子的结尾方式会改变其含义和礼貌程度。这条传送带添加“风味”。

  • 它可以添加礼貌的结尾（“您能请……吗？”）、直接的命令（“去做！”）或疑问句（“你能……吗？”）。
  • 它还能处理敬语（尊敬等级）。正如你对老板说话的方式可能与对最好朋友说话的方式不同一样，这条传送带可以生成正式、礼貌或随意的句子。

3. 装配线（数据生成）

现在，奇迹发生了。机器将这三条传送带连接起来。

• 它从传送带 A 挑选一个名词。
• 它从传送带 B 挑选一个匹配的动作。
• 它用传送带 C 的特定语气将其包裹起来。

由于机器可以以数百万种方式混合搭配这些部分，它可以生成60 万亿种可能的句子！然而，研究人员并不使用所有这些句子。他们使用一个公式优先挑选听起来最自然、更短的句子（因为人们通常力求简洁）。

4. 试驾（实验）

研究人员利用该工厂生成的句子来训练一个 AI 模型（数字大脑），使其能够理解银行请求。

• 结果：AI 学习得非常好。它能够在约**95%的情况下正确猜测用户想要什么（“意图”），并能够在约86%**的情况下正确识别具体细节（“实体”，如哪家银行或哪个产品）。
• 对比：他们测试了不同的“大脑”（预训练模型），以查看哪种模型与这种新数据配合得最好。使用特定韩语语言大脑（KorBERT）的模型表现最佳。

结论

该论文声称，与其雇佣数百人手写数千个句子，不如构建一本语言食谱书（FIAD）。这本书包含了语法规则、银行词汇和礼貌规则。遵循这些规则，你可以自动烘焙出大量高质量的训练数据“蛋糕”。这使得你能够快速、廉价且准确地教会银行聊天机器人理解韩国客户，而无需等待真实人类输入请求的每一种变体。

技术摘要

技术摘要：构建用于银行应用客服对话系统 NLU 数据生成的韩语语言资源

问题陈述
面向任务的对话（TOD）系统高度依赖自然语言理解（NLU）来分类用户意图并填充语义槽。然而，为韩语开发鲁棒的 NLU 模型，特别是在银行客服（CS）领域，受到公开可用的标注训练数据稀缺的阻碍。现有资源往往以英语为中心、受隐私限制或通过众包生成，这会引入噪声并缺乏必要的语言多样性。此外，韩语请求语句表现出复杂的模式，涉及特定的话语标记、敬语和施为谓词，若没有特定领域的语言资源，很难捕捉这些特征。核心挑战在于生成大规模、高质量且语言多样化的标注数据集，以反映韩语银行对话特定的句法和语义约束，同时避免承担人工标注的高昂成本。

方法论
本研究提出了构建FIAD（金融标注数据集），这是一种专为银行客服对话系统生成标注训练数据而设计的语言资源。该方法遵循三阶段流程：

1. 数据分析：作者分析了 126,598 条银行应用评论语料（重点关注包含请求和投诉的低分评论），利用 TF-IDF 权重和 Mecab-Ko 形态分析器提取核心关键词、名词、谓词和词尾变化。
2. 资源构建：基于分析，FIAD 被构建为三个模块化组件，表示为局部语法图（LGGs）：
   • TOPIC（主题）：分为ENTITY（实体）（如银行名称和产品名称等命名实体）和FEATURE（特征）（与“贷款”或“速度”等服务相关的普通名词）。这些模块定义了待填充的槽位。
   • EVENT（事件）：包含谓词模式（动词），这些模式基于语义限制调用特定的 TOPIC 模块（例如，“创建”需要“银行账户”实体，而不是“速度”实体）。
   • DISCOURSE-MARKER（话语标记）：编码代表言语行为（信息请求、行动请求、不满等）、句子类型（陈述句、祈使句、疑问句、建议句）以及韩语敬语系统（从正式体 hapsyo-style 到非正式体 hay-style 的六种语体）的多词表达（MWEs）。
3. 数据生成：这三个组件通过**Linking-LGGs（连接局部语法图）**组合以生成语句。系统探索编译自 LGGs 的有限状态转换器（FSTs）中的转换。为确保自然性和效率，加权公式优先考虑较短的语句，并应用《韩语电子词典》（DECO）中的动词变位规则。此过程允许生成约 60 万亿种潜在的语句模式，可根据所需规模和语言特征生成特定的子集。

主要贡献

• FIAD 资源：创建了一种专为韩语银行领域设计的模块化、基于 LGG 的语言资源，能够生成多样化、语法正确且语义标注的语句。
• 语言覆盖：明确建模了韩语特有的语言现象，包括语言的黏着性、复杂的敬语系统以及用于请求的多样化话语标记，这些在基于模板的标准生成中常被忽视。
• 可扩展性与灵活性：该系统允许研究人员通过选择特定模块来调整生成数据集的规模和语言特征（例如礼貌程度、特定实体类型），提供了一种比众包或人工收集更节省时间的替代方案。

实验结果
作者通过使用 RASA 框架和 DIET（双意图实体转换器）分类器训练 NLU 模型，评估了 FIAD 生成数据的效用。

• 基线比较：在 FIAD 数据上训练的 DIET 模型（未使用预训练 BERT 嵌入）实现了0.9142的意图 F1 分数和0.8377的实体 F1 分数。在意图分类方面，这优于在不同 NLU 基准数据集上训练的基线 DIET+BERT 模型，尽管实体提取略低，这归因于 TOPIC 组合的复杂性。
• 预训练嵌入：集成预训练的韩语 BERT 模型显著提高了性能。
  • DIET+KorBERT 实现了最高的意图提取 F1 分数（0.95）。
  • DIET+KoBERT 实现了最高的实体提取 F1 分数（0.86）。
  • 结果表明，FIAD 生成的数据能有效训练模型以提取意图和实体，当与预训练嵌入结合时，性能提升明显。

意义与主张
本文主张，FIAD 为数据稀缺领域的 NLU 训练数据构建提供了实用且高效的解决方案。通过利用局部语法图来编码语言约束和韩语敬语，该资源能够生成大量“典型且语法恰当”的语句，与传统数据收集方法相比，减少了人力和时间成本。研究结论指出，FIAD 的模块化结构为构建针对特定目标的大规模训练数据提供了灵活性，实验结果证实，在此合成数据上训练的模型能够有效处理韩语银行客服对话系统所需的语义提取任务。