Candidate Attended Dialogue State Tracking Using BERT

기술 요약: BERT를 이용한 후보 어텐션 기반 대화 상태 추적 (Candidate Attended Dialogue State Tracking using BERT)

문제 정의
태스크 지향 대화 시스템(예: 가상 비서)은 대화 턴 전반에 걸쳐 사용자의 신념 상태(belief state)를 유지하기 위해 대화 상태 추적(DST)에 크게 의존합니다. 기존의 모듈형 파이프라인은 효과적이었으나, 훈련 데이터가 제한적이거나 없는 새로운 도메인 또는 서비스로 확장할 때 상당한 확장성 문제를 겪습니다. 기존 방식들은 수작업으로 제작된 온톨로지, 디렉셔널라이제이션(delexicalization), 또는 고정된 후보 리스트에 의존하는 경우가 많으며, 이는 관측되지 않은 슬롯 값이나 서비스로 일반화하는 능력을 제한합니다. 저자들은 스키마 가이드 대화 시스템에서 제공되는 자연어 설명을 활용하여, 추가적인 훈련 없이도 새로운 도메인에 적응할 수 있는 제로샷 일반화(zero-shot generalization)가 가능한 확장 가능한 프레임워크의 필요성을 다룹니다.

방법론
제안된 시스템인 **Candidate Attended Dialogue State Tracking (CA-DST)**는 DST를 자연어 추론(NLI) 문제로 정의합니다. 이 시스템은 사전 학습된 BERT 모델을 사용하여 의도(intent)와 슬롯(slot)의 자연어 설명을 인코딩함으로써, 도메인 특화 훈련 없이도 문맥적 관계를 이해할 수 있도록 합니다. 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 자연어 이해(NLU) - 슬롯 태거(Slot Tagger):

   • 이 모듈은 사용자 발화에서 언급된 비범주형 슬롯 값을 식별합니다.
   • 시스템 및 사용자 발화를 인코딩하여 토큰 수준의 표현을 얻기 위해 BERT 기반 인코더를 사용합니다.
   • 슬롯 설명으로부터 유도된 요약 임베딩([CLS] 토큰 기반)을 토큰 표현과 결합합니다.
   • 양방향 LSTM이 이 시퀀스를 처리하여 슬롯 값을 예측하기 위한 IOB(Inside, Outside, Beginning) 태그를 예측하며, 이를 위해 소프트맥스 분류기를 사용합니다.

2. 대화 상태 추적(DST):
   DST 모듈은 전제-가설(premise-hypothesis) 쌍의 BERT 임베딩을 활용하여 활성 의도, 요청된 슬롯, 그리고 슬롯 값을 예측하는 세 가지 하위 모듈을 갖습니다:

   • 의도 분류기(Intent Classifier): 사용자의 의도가 변경되었는지, 변경되지 않았는지, 또는 "NONE"인지를 예측합니다. 사용자 발화와 의도 설명을 하나의 쌍으로 취급하며, 이전 시스템 액트(system acts)의 원-핫 인코딩을 포함합니다.
   • 요청된 슬롯 탐지기(Requested Slot Detector): 사용자 발화와 슬롯 설명 사이의 함의(entailment)를 계산하여 사용자가 요청하는 슬롯을 결정합니다.
   • 후보 추적 및 분류기(Candidate Tracker & Classifier):
     • 각 슬롯에 대해 "don't care" 후보와 비범주형 슬롯의 경우 최근 $K$개의 후보를 포함하는 후보 집합을 유지합니다.
     • 후보 집합에 대한 분포를 예측하기 위해 어텐션 메커니즘을 사용합니다. 모델은 사용자 발화와 슬롯 설명으로부터 쿼리(query) 벡터를 생성하고, 후보 값(또는 슬롯-값 쌍)으로부터 키(key) 벡터를 생성합니다.
     • 어텐션 메커니즘은 로짓(logits)을 계산하여 가장 확률이 높은 후보를 선택하며, 이는 가설을 후보 값으로 하는 NLI 작업처럼 효과적으로 작동합니다.

주요 기여

• NLI를 통한 제로샷 일반화: 본 논문은 DST를 자연어 추론 문제로 구성함으로써, 모델이 사전 학습된 BERT의 의미론적 이해를 활용하여 재학습 없이도 관측되지 않은 도메인과 서비스에 일반화할 수 있음을 제안합니다.
• 스키마 가이드 아키텍처: 시스템은 모든 의도와 슬롯에 자연어 설명이 동반되어 모델의 주요 입력 역할을 하는 SGD 데이터셋의 스키마를 명시적으로 활용합니다.
• 후보 어텐션 메커니즘(Candidate Attended Mechanism): 단순한 고정 리스트나 구간 추출(span extraction)에 의존하는 대신, 현재 대화 문맥 및 슬롯 설명에 대해 슬롯 값을 동적으로 평가하는 어텐션 기반 후보 분류기를 도입했습니다.
• 결합 훈련(Joint Training): 의도 분류기, 요청된 슬롯 탐지기, 후보 분류기는 현재 턴에서 어떤 슬롯이 나타나는지에 대한 잘못된 예측에 패널티를 주는 결합 목표 손실(joint goal loss)과 함께 공동으로 훈련됩니다.

실험 결과
시스템은 제8회 대화 시스템 기술 챌린지를 위해 도입된 대규모 코퍼스인 Schema-Guided Dialogue (SGD) 데이터셋에서 평가되었습니다.

• 성능: CA-DST 시스템은 활성 의도 정확도(Active Intent Accuracy), 요청된 슬서 F1(Requested Slot F1), 그리고 결합 목표 정확도(Joint Goal Accuracy) 측면에서 베이스라인(Rastogi et al., 2019)보다 유의미한 개선을 보였습니다. 특히, 결합 목표 정확도는 베이스라인에 비해 거의 두 배 가까이 높았습니다.
• 절제 연구(Ablation Studies):
  • 쌍 인코딩(Pair Encoding): 사용자 발화를 슬롯/의도 설명과 쌍으로 인코딩하여 BERT에 입력하는 것이, 각각을 따로 인코딩한 후 임베딩을 융합하는 것보다 더 나은 결합 목표 정확도를 보였습니다.
  • 어텐션 메커니즘: 후보 분류기의 어텐션 기반 바이리니어(bi-linear) 레이어를 피드포워드(feed-forward) 레이어로 교체했을 때 성능이 크게 하락하였으며, 이는 후보 선택을 위한 어텐션 메커니즘의 중요성을 확인시켜 줍니다.
• 관찰된 한계점: 관측된 서비스에서는 성능이 강력했으나, 테스트 세트의 미관측 서비스에서는 개발 세트에 비해 결합 목표 정확도가 눈에 띄게 감소하여 오버피팅(overfitting) 가능성을 시사했습니다. 저자들은 복잡한 의미론적 상관관계(예: 문맥에 따라 "배우(actor)"와 "감독(director)"을 구분하는 문제) 및 도메인 간 슬롯 전이(예: 날씨 질의에서 호텔 예약으로 도시 정보를 추론하는 문제)의 어려움을 언급했습니다.

의의 및 주장
본 논문은 BERT와 같은 사전 학습된 모델을 활용하고 DST를 NLI 문제로 구성함으로써, 노동 집약적인 데이터 수집 및 주석 작업 없이도 새로운 서비스와 도메인에 빠르게 적응할 수 있는 확장 가능한 대화 시스템을 구축할 수 있다고 주장합니다. 저자들은 자신들의 연구를 전통적인 온톨로지 기반 방식이 실패하는 미관측 도메인 시나리오를 중심으로, 태스크 지향 대화 시스템의 확장성 병목 현상을 해결하기 위한 단계로 위치시킵니다. SGD 데이터셋에 대한 결과는 자연어 설명을 입력으로 사용하여 제로샷 일반화를 달성하는 데 있어 자연어 설명 활용의 효과성을 입증합니다.