Building Korean linguistic resource for NLU data generation of banking app CS dialog system

본 논문은 은행 앱 리뷰와 지역 문법 그래프에서 파생된 한국어 언어 자원인 금융 주석 데이터셋 (FIAD) 의 구축을 제시하며, 이는 은행 고객 서비스 대화 시스템에서 다양한 NLU 모델의 성능을 크게 향상시키는 주석付き 학습 데이터를 생성하는 데 사용됩니다.

핵심

당신이 로봇에게 화가 나거나 은행 계좌에 대해 혼란스러운 사람들과 어떻게 대화해야 하는지 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 사람들이 실제로 무엇을 말하는지 예시가 가득한 '교과서'가 필요합니다. 하지만 여기서 문제가 발생합니다. 실제 사람들은 엉망입니다. 그들은 은어를 사용하고, 화를 내며, 다양한 수준의 공손함을 사용하고, 같은 말을 천 가지 다른 방식으로 말합니다. 손으로 충분한 실제 예시를 수집하는 것은 폭풍우 속에서 양동이로 빗방울 하나하나를 다 잡으려는 것과 같습니다. 시간이 무한히 걸리고 비용이 어마어마하게 듭니다.

이 논문은 FIAD(Financial Annotated Dataset, 금융 주석 데이터셋) 라는 해결책을 제시합니다. FIAD 를 빗방울을 담은 양동이가 아니라 **고급 기술의 '문장 공장'**으로 생각하세요.

다음은 이 공장이 작동하는 방식을 간단한 단계로 나눈 것입니다:

1. 설계도 (데이터 분석)

먼저, 연구자들은 사람들이 무엇을 말하는지 단순히 추측하지 않았습니다. 그들은 '원천'으로 갔습니다: 은행 앱에 대한 12 만 6 천 개 이상의 리뷰를 살펴보았습니다. 그들은 불만스러운 리뷰 (낮은 점수) 에 집중했는데, 사람들이 "이걸 고쳐 줘!" 또는 "그걸 할 수 없어!"라고 말할 가능성이 가장 높은 곳이 바로 그곳이기 때문입니다. 그들은 컴퓨터 도구를 사용하여 이러한 리뷰를 가장 작은 구성 요소 (단어와 문법 조각) 로 잘게 나누어 어떤 패턴이 나타나는지 확인했습니다.

2. 세 개의 컨베이어 벨트 (자원 구축)

문장을 하나씩 작성하는 대신, 그들은 세 가지 주요 컨베이어 벨트가 있는 기계를 구축했습니다. 각 벨트는 문장에 특정 부분을 추가합니다:

• 벨트 A: '무엇' (주제)
  이 벨트는 명어를 담고 있습니다. 두 개의 상자가 있습니다:

  • 개체: "카카오뱅크"나 "토스 앱"과 같은 구체적인 이름.
  • 특징: "대출", "계좌", "속도"와 같은 일반적인 은행 관련 단어.
  • 비유: 이는 레고 블록 상자 같은 것입니다. 당신은 빨간 블록 (카카오뱅크) 이나 파란 블록 (토스 앱) 을 고를 수 있지만, 모두 같은 모양 (명사) 입니다.

• 벨트 B: '행동' (사건)
  이 벨트는 동사와 논리를 담고 있습니다. "생성하다", "보내다", "구매하다"와 같은 어떤 행동이 일어나고 있는지 결정합니다.

  • 스마트 필터: 이 벨트는 똑똑합니다. 당신은 '계좌'를 '생성'할 수는 있지만 '속도'를 '생성'할 수는 없다는 것을 알고 있습니다. 행동이 명사와 일치하는지 규칙을 확인합니다. 만약 "속도" 옆에 "생성"을 넣으려 한다면 기계는 이를 거부합니다.

• 벨트 C: '톤' (담화 표지)
  이것이 가장 독특한 부분입니다. 한국어에서는 문장을 어떻게 끝내느냐에 따라 의미와 공손함의 수준이 달라집니다. 이 벨트는 '맛'을 더합니다.

  • 공손한 종결 ("부탁할 수 있을까요?"), 직접적인 명령 ("해 주세요!"), 또는 질문 ("할 수 있나요?") 을 추가할 수 있습니다.
  • 또한 존댓말(존경 수준) 을 처리합니다. 상사에게 말하든 친한 친구에게 말하든 다르게 말하는 것처럼, 이 벨트는 격식체, 공손한 말투, 또는 반말을 생성할 수 있는 문장을 만들어냅니다.

3. 조립 라인 (데이터 생성)

이제 마법이 일어납니다. 기계가 이 세 개의 벨트를 연결합니다.

• 벨트 A 에서 명사를 선택합니다.
• 벨트 B 에서 일치하는 행동을 선택합니다.
• 벨트 C 의 특정 톤으로 모두를 감쌉니다.

기계는 이러한 부분들을 수백만 가지 방식으로 섞어 맞출 수 있으므로 60 조 개의 가능한 문장을 생성할 수 있습니다! However, the researchers don't use all of them. They use a formula to pick the most natural-sounding, shorter sentences first (because people usually try to be brief).

4. 시운전 (실험)

연구자들은 이 공장에서 생성된 문장을 가져와 AI 모델 (디지털 두뇌) 을 훈련시켜 은행 관련 요청을 이해하도록 했습니다.

• 결과: AI 는 매우 잘 학습했습니다. 사용자가 무엇을 원하는지 (의도) 를 약 **95%**의 정확도로 올바르게 추측할 수 있었고, 특정 세부 사항 (어떤 은행이나 어떤 제품인지와 같은 개체) 을 약 **86%**의 정확도로 올바르게 식별할 수 있었습니다.
• 비교: 그들은 이 새로운 데이터와 가장 잘 작동하는 "두뇌"(사전 훈련된 모델) 가 무엇인지 확인하기 위해 다양한 두뇌를 테스트했습니다. 특정 한국어 언어 두뇌 (KorBERT) 를 사용한 모델이 가장 잘 수행했습니다.

결론

이 논문은 수백 명의 사람을 고용하여 수천 개의 문장을 손으로 작성하는 대신, 언어적 레시피 책(FIAD) 을 구축할 수 있다고 주장합니다. 이 책에는 문법 규칙, 은행 관련 어휘, 그리고 공손함의 규칙이 담겨 있습니다. 이러한 규칙을 따름으로써 방대하고 고품질의 훈련 데이터라는 거대한 "케이크"를 자동으로 구울 수 있습니다. 이를 통해 은행 챗봇이 모든 요청의 모든 변형을 실제 인간이 입력할 때까지 기다릴 필요 없이, 빠르고 저렴하며 정확하게 한국 고객들을 이해하도록 가르칠 수 있습니다.

기술 요약

기술 요약: 은행 앱 CS 대화 시스템을 위한 NLU 데이터 생성용 한국어 언어 자원 구축

문제 제기
작업 지향형 대화 (TOD) 시스템은 사용자 의도를 분류하고 의미적 슬롯을 채우기 위해 자연어 이해 (NLU) 에 크게 의존합니다. 그러나 특히 은행 고객 서비스 (CS) 도메인 내에서 한국어용 견고한 NLU 모델을 개발하는 것은 공개적으로 이용 가능한 주석 처리된 학습 데이터의 부족으로 인해 방해받고 있습니다. 기존 자원들은 종종 영어 중심이거나, 개인정보 보호 제한을 받거나, 크라우드소싱을 통해 생성되어 노이즈를 유발하고 필요한 언어적 다양성이 결여되어 있습니다. 더 나아가 한국어 요청 발화는 특정 담화 마커, 존칭, 그리고 수행적 술어를 포함하는 복잡한 패턴을 보이며, 이는 도메인 특화 언어 자원이 없으면 포착하기 어렵습니다. 핵심적인 과제는 수동 주석 처리의 prohibitive 비용을 치르지 않으면서도 한국어 은행 대화의 특정 통사적 및 의미적 제약을 반영하는 대규모 고품질 언어적 다양성을 갖춘 주석 처리된 데이터셋을 생성하는 것입니다.

방법론
본 연구는 은행 CS 대화 시스템을 위한 주석 처리된 학습 데이터를 생성하기 위해 설계된 언어 자원인 FIAD(금융 주석 데이터셋) 구축을 제안합니다. 방법론은 다음 세 단계 프로세스를 따릅니다:

1. 데이터 분석: 저자들은 TF-IDF 가중치와 Mecab-Ko 형태소 분석기를 사용하여 핵심 키워드, 명사, 술어, 그리고 활용 어미를 추출하기 위해 126,598 개의 은행 앱 리뷰 코퍼스 (요청과 불만을 포함한 낮은 점수 리뷰에 중점) 를 분석했습니다.
2. 자원 구축: 분석을 바탕으로 FIAD 는 **지역 문법 그래프 (Local Grammar Graphs, LGGs)**로 표현된 세 가지 모듈 구성 요소로 구조화되었습니다:
   • TOPIC: ENTITY(은행 이름 및 제품 이름과 같은 고유명사) 와 FEATURE("대출" 또는 "속도"와 같은 서비스 관련 일반명사) 로 나뉩니다. 이러한 모듈들은 채워져야 할 슬롯을 정의합니다.
   • EVENT: 의미적 제약에 기반하여 특정 TOPIC 모듈을 호출하는 술어 패턴 (동사) 을 포함합니다 (예: "생성"은 "속도"가 아닌 "계좌" 엔티티를 필요로 함).
   • DISCOURSE-MARKER: 화행 (정보 요청, 행동 요청, 불만족 등), 문장 유형 (서술문, 명령문, 의문문, 제안문), 그리고 한국어 존칭 체계 (공식적인 합쇼체부터 비공식적인 해요체까지 여섯 가지 화법) 를 나타내는 다단어 표현 (MWEs) 을 인코딩합니다.
3. 데이터 생성: 세 가지 구성 요소는 Linking-LGGs를 통해 결합되어 발화를 생성합니다. 시스템은 LGGs 로부터 컴파일된 유한 상태 전이기 (Finite-State Transducers, FSTs) 의 전이를 탐색합니다. 자연스러움과 효율성을 보장하기 위해 가중치 공식은 더 짧은 발화를 우선시하며, 동사에는 Dictionnaire Électronique du Coreen(DECO) 의 활용 규칙이 적용됩니다. 이 과정을 통해 약 60 조 개의 잠재적 발화 패턴이 생성될 수 있으며, 원하는 크기와 언어적 특성에 따라 특정 부분 집합을 생성할 수 있습니다.

주요 기여

• FIAD 자원: 한국어 은행 도메인 전용으로 설계된 모듈식 LGG 기반 언어 자원을 구축하여, 다양하고 문법적으로 정확하며 의미적으로 주석 처리된 발화를 생성할 수 있게 합니다.
• 언어적 포괄성: 표준 템플릿 기반 생성에서 종종 간과되는 한국어의 교착성, 복잡한 존칭 체계, 그리고 요청을 위한 다양한 담화 마커와 같은 한국어 특유의 언어 현상을 명시적으로 모델링합니다.
• 확장성과 유연성: 연구자가 특정 모듈을 선택하여 생성된 데이터셋의 크기와 언어적 특성 (예: 공손함 수준, 특정 엔티티 유형) 을 조정할 수 있게 하는 시스템으로, 크라우드소싱이나 수동 수집에 비해 시간 효율적인 대안을 제공합니다.

실험 결과
저자들은 RASA 프레임워크와 DIET(Dual Intent Entity Transformers) 분류기를 사용하여 NLU 모델을 학습시킴으로써 FIAD 로 생성된 데이터의 유용성을 평가했습니다.

• 베이스라인 비교: FIAD 데이터로 학습된 DIET 모델 (사전 학습된 BERT 임베딩 없이) 은 의도 F1 점수 0.9142와 엔티티 F1 점수 0.8377을 달성했습니다. 이는 다른 NLU 벤치마크 데이터셋으로 학습된 베이스라인 DIET+BERT 모델보다 의도 분류에서 더 우수한 성과를 보였으나, 엔티티 추출은 TOPIC 조합의 복잡성으로 인해 약간 낮았습니다.
• 사전 학습 임베딩: 사전 학습된 한국어 BERT 모델을 통합하면 성능이 크게 향상되었습니다.
  • DIET+KorBERT는 가장 높은 의도 추출 F1 점수 (0.95) 를 달성했습니다.
  • DIET+KoBERT는 가장 높은 엔티티 추출 F1 점수 (0.86) 를 달성했습니다.
  • 이러한 결과는 FIAD 로 생성된 데이터가 의도와 엔티티를 추출하는 모델을 효과적으로 학습시킨다는 것을 보여주며, 사전 학습된 임베딩과 결합될 때 성능 향상이 관찰되었습니다.

의의 및 주장
본 논문은 FIAD 가 데이터가 부족한 도메인에서 NLU 학습 데이터를 구축하기 위한 실용적이고 효율적인 해결책을 제공한다고 주장합니다. 지역 문법 그래프를 활용하여 언어적 제약과 한국어 존칭을 인코딩함으로써, 이 자원은 기존 데이터 수집 방법에 비해 인력과 시간 비용을 줄이면서 방대한 양의 "전형적이고 문법적으로 적합한" 발화를 생성합니다. 연구는 FIAD 의 모듈식 구조가 특정 목적에 맞춘 광범위한 학습 데이터 구축에 유연성을 제공하며, 실험 결과는 이 합성 데이터로 학습된 모델이 한국어 은행 고객 서비스 대화 시스템에 필요한 의미 추출 작업을 효과적으로 처리할 수 있음을 확인한다고 결론지었습니다.