Bangla Key2Text: Text Generation from Keywords for a Low Resource Language

1. 문제 정의 (Problem Statement)

• 저자원 언어 (Low-Resource Language) 의 한계: 벵골어 (Bangla) 는 전 세계적으로 7 번째로 많이 사용되는 언어임에도 불구하고, 자연어 생성 (NLG) 과 같은 고급 NLP 작업을 위한 고품질 데이터셋과 리소스가 부족합니다.
• 키워드 기반 텍스트 생성의 부재: 영어, 중국어, 일본어 등에서는 키워드에서 텍스트를 생성하는 (Key2Text) 연구가 활발하지만, 벵골어에서는 관련 대규모 데이터셋이나 연구가 전무했습니다.
• 일반 LLM 의 성능 저하: 대규모 언어 모델 (LLM) 은 일반적인 텍스트 생성에서는 우수하지만, 벵골어와 같은 저자원 언어에서는 순서 없는 키워드 입력을 받았을 때 문맥을 이해하거나 일관된 문장을 생성하는 데 있어 파인튜닝 (Fine-tuning) 이나 컨텍스트 학습 (In-context learning) 없이서는 성능이 현저히 떨어집니다.

2. 방법론 (Methodology)

이 연구는 세 가지 주요 단계로 구성된 파이프라인을 제안합니다.

가. 데이터셋 구축 (Dataset Construction)

• Bangla Key2Text 데이터셋: 260 만 개의 벵골어 뉴스 기사에서 추출한 260 만 개의 키워드 - 텍스트 쌍으로 구성된 대규모 데이터셋을 구축했습니다.
• 데이터 분할: 학습용 (200 만), 검증용 (50 만), 테스트용 (10 만) 으로 분할되었으며, 추가적으로 1 만 개의 데이터에 대해 인간이 직접 키워드를 추출하여 평가용 세트를 만들었습니다.
• 통계: 평균 텍스트당 약 9.38 개의 키워드와 15.14 개의 단어를 포함하며, 키워드와 텍스트 길이의 비율은 약 0.60 입니다.

나. 키워드 추출 (Keyword Extraction)

• BERT 기반 추출기: 수동으로 260 만 개의 텍스트에서 키워드를 추출하는 것은 불가능하므로, 자동 추출 시스템을 개발했습니다.
  • 스코어링 (Scoring): 사전 학습된 BanglaBERT 모델을 사용하여 각 단어의 임베딩과 텍스트 전체의 평균 임베딩 간의 코사인 유사도 (Cosine Similarity) 를 계산하여 중요도 점수를 부여합니다.
  • 선택 (Selection): 텍스트 길이에 따라 가변적인 임계값 (Threshold) 을 적용하여 상위 키워드를 선택합니다 (짧은 텍스트는 높은 비율의 키워드 추출).
  • 성능: TextRank, YAKE 및 다른 BERT 기반 모델들과 비교하여 BanglaBERT 기반 추출기가 MRR, mAP, nDCG 지표에서 가장 우수한 성능을 보였습니다.

다. 텍스트 생성 (Text Generation)

• 모델 파인튜닝: 추출된 200 만 개의 키워드 - 텍스트 쌍을 사용하여 두 가지 시퀀스 - 투 - 시퀀스 (Seq2Seq) 모델을 파인튜닝했습니다.
  • mT5: 다국어 T5 모델.
  • BanglaT5: 벵골어에 특화된 T5 모델.
• 생성 설정: AdamW 옵티마이저, OneCycleLR 스케줄러를 사용하며, Greedy, Beam Search, Top-p, Top-k 등 다양한 디코딩 기법을 실험하여 최적의 설정을 찾았습니다.

3. 주요 기여 (Key Contributions)

1. Bangla Key2Text 데이터셋 공개: 벵골어 키워드 - 텍스트 생성을 위한 최초의 대규모 (260 만 쌍) 벤치마크 데이터셋을 공개했습니다.
2. 자동 키워드 추출 파이프라인: 컨텍스트에 중요한 벵골어 키워드를 식별하기 위한 BERT 기반 추출기를 개발하고 검증했습니다.
3. 베이스라인 모델 및 평가: mT5 와 BanglaT5 를 파인튜닝하여 벤치마크 성능을 확립하고, 4 비트 양자화된 오픈소스 LLM(Phi, Gemma, LLaMA 등) 과의 제로샷 (Zero-shot) 비교를 통해 파인튜닝의 중요성을 입증했습니다.
4. 다양한 평가: 표준 NLG 지표, 인간 평가, 보지 못한 데이터 (Unseen data), 방언 (Dialect) 데이터, 교차 언어 (Cross-lingual) 입력에 대한 일반화 성능을 광범위하게 평가했습니다.

4. 실험 결과 (Results)

• 파인튜닝 vs 제로샷 LLM:
  • 파인튜닝된 BanglaT5와 mT5는 4 비트 양자화된 일반 목적 LLM 들 (Phi-3.5, Mistral, LLaMA-3.1 등) 보다 모든 지표에서 압도적으로 우수한 성능을 보였습니다.
  • 특히 일반 LLM 들은 키워드와 무관한 짧은 문장이나 불연속적인 텍스트를 생성하는 경향이 있었으나, 파인튜닝 모델은 키워드에 충실한 일관된 문장을 생성했습니다.
• 성능 지표:
  • BERTScore: BanglaT5 가 91.51%, mT5 가 91.06% 로 높은 의미적 유사성을 보였습니다.
  • ROUGE-L: BanglaT5 가 43.20%, mT5 가 45.15% 를 기록했습니다.
  • WER (Word Error Rate): 상대적으로 높게 나왔으나 (BanglaT5: 79.98%), 이는 동일한 키워드에서 여러 가지 유효한 문장이 생성될 수 있기 때문이며, BERTScore 와의 상관관계로 볼 때 의미적 정확도는 높음을 시사합니다.
• 디코딩 기법: mT5 는 Top-p sampling에서, BanglaT5 는 Beam Search에서 가장 좋은 성능을 보였습니다.
• 일반화 및 방언:
  • 학습 데이터에 포함되지 않은 Prothom Alo 뉴스 기사에서도 높은 성능을 유지했습니다.
  • 방언 (Dialect) 데이터에서는 성능이 제한적이었으며, 이는 방언별 데이터와 파인튜닝이 필요함을 시사합니다.
• 교차 언어 (Cross-lingual): 영어와 벵골어가 섞인 키워드를 입력했을 때, 모델은 주로 벵골어 텍스트를 생성하는 교차 언어 전이 능력을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 처리의 새로운 기준: 이 연구는 벵골어 NLP 분야에서 키워드 기반 텍스트 생성을 위한 표준 벤치마크와 리소스를 제공함으로써, 향후 연구의 기반을 마련했습니다.
• 효율적인 접근법: 거대하고 계산 비용이 많이 드는 LLM 을 사용하는 대신, 특정 작업에 맞게 파인튜닝된 상대적으로 작은 모델 (mT5, BanglaT5) 이 저자원 언어 환경에서 더 효과적이고 재현 가능한 해결책임을 입증했습니다.
• 향후 과제:
  • 생성된 텍스트가 모든 키워드를 포함하지 못하는 문제 (Constrained Generation) 해결.
  • 방언 및 비공식적 언어에 대한 성능 향상.
  • 유해 콘텐츠 필터링 및 윤리적 안전성 강화.
  • 교차 언어 생성 전략의 심층 연구.

이 논문은 벵골어와 같은 저자원 언어에서 고품질의 자연어 생성을 달성하기 위해 대규모 데이터셋 구축과 작은 모델의 파인튜닝이 필수적임을 강조하며, 해당 분야의 연구와 응용에 중요한 기여를 하고 있습니다.