LiCQA : A Lightweight Complex Question Answering System

1. 문제 정의 (Problem Definition)

• 복합 질문의 난제: 기존 질문 응답 (QA) 시스템은 주로 단일 문서 내에 답이 포함된 단순 사실적 질문 (Factoid questions) 에 최적화되어 있습니다. 그러나 여러 문서에 걸쳐 분산된 정보를 종합해야 하는 '복합 질문 (Complex Questions)' (예: "누가 노벨상을 받았지만 맨해튼 프로젝트에 참여했는가?") 을 처리하는 것은 여전히 어려운 과제입니다.
• 기존 방법의 한계:
  • 지식 그래프 (KG) 기반: 지식의 불완전성과 실시간 업데이트의 어려움으로 인해 범용 QA 시스템 구축에 제약이 있습니다.
  • 지도 학습 (Supervised) 기반: 최신 신경망 모델 (BERT, RoBERTa 등) 은 높은 성능을 보이지만, 대량의 인간 주석 데이터와 GPU 와 같은 고비용 연산 자원을 필요로 합니다. 이는 실시간 응용 및 저자원 환경에서 비효율적입니다.
• 목표: 대규모 학습 데이터나 고비용 연산 자원을 사용하지 않으면서도, 여러 문서에 걸친 증거를 기반으로 복합 질문에 효과적이고 효율적으로 답변할 수 있는 경량 (Lightweight) QA 시스템 개발.

2. 방법론 (Methodology)

저자들은 LiCQA라는 비지도 (Unsupervised) QA 모델을 제안했습니다. 이 시스템은 학습 데이터 없이 코퍼스 (문서 집합) 의 증거에 기반하여 작동하며, 다음과 같은 4 단계 파이프라인을 가집니다.

가. 질문 유형 분류 (Question Type Classification)

• 주어진 질문의 답변 유형 (예: PERSON, LOCATION, DATE 등) 을 예측합니다.
• 기법 비교: 전통적인 머신러닝 (SVM, 특징 벡터: NE, Lemma, POS 태그) 과 신경망 (Universal Sentence Encoder, USE) 방식을 비교 실험했습니다. 결과 SVM 기반 분류기가 약간 더 우수한 성능을 보였습니다.

나. 답변 추출 및 필터링 (Answer Extraction and Filtering)

• 문서 검색: 질문을 키워드로 사용하여 검색 엔진 (또는 미리 준비된 문서 집합) 에서 관련 문서 $D$를 검색합니다.
• 개체명 인식 (NER): Flair 라이브러리를 사용하여 문서 내의 개체명 (Named Entities) 을 추출합니다.
• 타입 매핑: 질문 분류기에서 예측한 답변 유형과 Flair 가 부여한 OntoNotes 5 태그를 매핑 테이블을 통해 일치시킵니다. (예: LOCATION 유형 질문 $\rightarrow$ GPE, LOC, ORG 태그 필터링)

다. 답변 점수화 (Answer Scoring)

후보 답변 개체들의 관련성을 점수화하는 핵심 단계입니다.

• 문서 빈도 (Document Frequency, df): 개체가 원하는 타입으로 문서에 등장하는 빈도를 계산하여 초기 필터링 (상위 100 개) 에 활용합니다.
• 의미적 유사도 (Semantic Similarity): 질문 $Q$와 해당 개체가 포함된 문장 $S_e$ 사이의 코사인 유사도를 계산합니다.
  • 임베딩 방식: InferSent (GloVe + Bi-LSTM) 와 Sentence-BERT (BERT/RoBERTa 기반) 를 비교했습니다. InferSent 이 대부분의 경우 더 좋은 성능을 보였습니다.
  • 점수 집계 방식:
    1. 단순 평균 (Simple averaging)
    2. 문서별 최상위 문장 평균 (Averaging over best matching sentence)
    3. 최상위 단일 문장 (Max-score): 각 개체에 대해 질문과 가장 유사한 하나의 문장 점수만 사용. (이 방식이 가장 우수했습니다.)

라. 답변 랭킹 (Answer Ranking)

• 최종 점수는 의미적 유사도 점수와 **정규화된 문서 빈도 (df)**의 조합으로 결정됩니다.
• 결합 방식: 가중 합 (Weighted addition) 과 단순 곱셈 (Simple multiplication) 을 비교했습니다. 단순 곱셈 (comb-score)* 방식이 가장 좋은 성능을 보였습니다.
• 최종적으로 점수가 가장 높은 상위 5 개 개체를 순위가 부여된 목록으로 반환합니다.

3. 주요 기여 (Key Contributions)

1. 비지도 학습 기반의 복합 QA: 대규모 주석 데이터 없이도 복합 질문에 대응 가능한 시스템을 제안했습니다.
2. 경량화 및 효율성: 고비용의 엔드 - 투 - 엔드 딥러닝 모델을 피하면서도, 기존 최첨단 시스템보다 훨씬 낮은 지연 시간 (Latency) 을 달성했습니다.
3. 성능 검증: 복잡한 질문 데이터셋 (WikiAnswers, Google Trends) 에서 기존 최첨단 시스템 (QUEST, DrQA) 보다 뛰어난 성능을 입증했습니다.
4. 동점 처리 (Tie-aware) 평가 지표 도입: 여러 정답이 존재할 수 있는 복합 질문의 특성을 반영하기 위해, 기존 지표 (MRR, P@1, Hit@5) 를 동점을 고려하도록 수정한 변형 지표 (tMRR, tP@1, tHit@5) 를 적용하여 공정한 평가를 수행했습니다.

4. 실험 결과 (Results)

• 데이터셋: WikiAnswers (CQ-W) 와 Google Trends (CQ-T) 에서 각각 150 개의 복합 질문을 사용했습니다. 검색 결과의 변형을 고려하기 위해 Top10 문서와 계층적 샘플링 (Strata-1~5) 으로 구성된 문서 집합을 사용했습니다.
• 성능 비교 (CQ-W 기준 Top10):
  • MRR (평균 역순위): LiCQA(0.432) 는 두 번째로 좋은 시스템인 QUEST(0.355) 보다 21.6% 향상되었습니다.
  • Hit@5 (상위 5 위 내 정답 포함률): LiCQA(0.646) 는 QUEST(0.376) 보다 71.8% 크게 향상되었습니다.
  • 통계적 유의성: LiCQA 는 DrQA, QUEST, 그리고 그래프 기반 시스템 (BFS, ShortestPaths) 대비 대부분의 문서 세트에서 통계적으로 유의미한 (p < 0.05) 성능 향상을 보였습니다.
• 동점 처리 지표 (Tie-aware Metrics) 평가:
  • QUEST 는 동일한 랭크에 많은 오답을 포함시키는 경향이 있어 기존 지표상으로는 과대평가되었습니다. 동점 처리 지표 (tMRR, tHit@5) 를 적용했을 때 LiCQA 의 우위가 더욱 뚜렷하게 나타났습니다.
  • 특히 tHit@5 에서 LiCQA 는 QUEST 대비 약 80~100% 이상의 개선을 보였습니다.
• 지연 시간 (Latency) 분석:
  • LiCQA 는 QUEST 와 DrQA 대비 평균 8 배 이상 빠른 처리 속도를 기록했습니다. (QUEST 는 실시간 지식 그래프 구축에 많은 시간이 소요됨).

5. 의의 및 결론 (Significance)

• 실용성: LiCQA 는 고비용의 GPU 클러스터나 방대한 학습 데이터 없이도, 일반 CPU 환경에서 실시간에 가까운 속도로 복합 질문에 대한 정확한 답변을 제공할 수 있음을 입증했습니다.
• 연구 방향: 복잡한 질문을 해결하기 위해 지식 그래프나 거대 신경망에 의존하는 기존 패러다임에서 벗어나, 텍스트 코퍼스 기반의 효율적인 비지도 접근법의 유효성을 재확인했습니다.
• 향후 작업: 답변 추출 모듈을 개선하기 위해 저차원 벡터로 복잡한 개념을 표현하는 최신 임베딩 모델들을 추가로 탐색할 계획입니다.

요약하자면, LiCQA 는 **효율성 (Lightweight)**과 **효과성 (High Performance)**을 동시에 달성하여, 제한된 자원을 가진 환경에서도 복합적인 정보 검색 및 질문 응답이 가능하게 하는 획기적인 시스템입니다.