NCTB-QA: A Large-Scale Bangla Educational Question Answering Dataset and Benchmarking Performance

이 논문은 답이 없는 질문에 대한 불확실성을 해결하고 저자원 언어 환경에서 강건한 성능을 입증하기 위해 방글라데시 국가 교육과정 교재에서 추출한 대규모 답변 가능/불가능 균형 데이터셋인 NCTB-QA 를 제안하고, 이를 통해 BERT 등 트랜스포머 기반 모델의 미세 조정 효과를 검증합니다.

핵심

이 논문은 방글라데시의 교육 시스템을 디지털 시대에 맞춰 혁신하기 위해 만든 **'NCTB-QA'**라는 새로운 프로젝트를 소개합니다. 어렵게 들릴 수 있지만, 사실은 아주 친근한 비유로 설명할 수 있습니다.

📚 비유: "지식 도서관의 새로운 사서"

상상해 보세요. 방글라데시에는 1 학년에서 10 학년까지의 모든 교과서가 담긴 거대한 지식 도서관이 있습니다. 이 도서관에는 8 만 7 천 개가 넘는 질문과 답이 숨어있죠.

하지만 문제는 이 도서관을 관리하는 **로봇 사서 (AI)**들이 아직 초보라는 것입니다.

1. 기존의 문제 (망가진 로봇):
   이전까지 만들어진 방글라데시용 AI 들은 "정답이 없어도 무조건 대답을 해야 한다"는 버릇이 있었습니다. 마치 학생이 시험을 볼 때, 정답을 모르면 임의로 지어내서 적어내는 것과 같습니다. 이를 **'할루시네이션 (환각)'**이라고 하는데, 교육 현장에서는 매우 위험합니다. 틀린 정보를 배우면 학생들의 혼란만 가중되기 때문이죠.

2. 새로운 해결책 (NCTB-QA 데이터셋):
   연구진들은 이 문제를 해결하기 위해 **방글라데시 국가 교육 과정 (NCTB)**의 공식 교과서 50 권을 모두 긁어모아 거대한 **'훈련용 교재'**를 만들었습니다. 이것이 바로 NCTB-QA입니다.

   • 특이점 1: 단순히 정답만 있는 문제가 아니라, **"이 질문은 이 지문으로 답할 수 없다"**는 것을 가르치는 **'불가능 질문'**도 40% 이상 포함했습니다.
   • 특이점 2: 이 교재는 AI 가 "정답이 없으면 '모르겠다'고 말하는 법"을 배우도록 설계되었습니다.

🧠 어떻게 훈련되었나요? (세 명의 학생)

연구진들은 이 새로운 교재로 세 가지 다른 AI 모델 (BERT, RoBERTa, ELECTRA) 을 훈련시켰습니다. 이들을 마치 세 명의 학생이라고 생각해 보세요.

• BERT (열심히 공부한 학생): 처음엔 방글라데시 언어에 익숙하지 않아 엉뚱한 답을 많이 냈습니다. 하지만 이 새로운 교재로 **미세 조정 (Fine-tuning)**을 받자, 실력이 313%나 급상승했습니다. 마치 처음엔 글자도 못 읽던 아이가 독서 훈련을 통해 명문대생이 된 것처럼요.
• RoBERTa (이미 실력 있는 학생): 처음부터 실력이 좋았지만, 새로운 교재로 더 발전할 여지는 조금 적었습니다.
• ELECTRA (중간 실력의 학생): 꾸준히 실력을 키워 좋은 성적을 거두었습니다.

📊 결과는 어땠나요?

이 실험을 통해 얻은 중요한 교훈은 두 가지입니다.

1. "모르겠다"는 것도 답이다:
   AI 가 정답이 없는 질문에 대해 "이 지문에는 답이 없습니다"라고 정직하게 말할 수 있게 되었습니다. 이는 교육용 AI 가 학생을 속이지 않고 신뢰를 얻는 데 필수적인 능력입니다.
2. 전문 분야 훈련이 필수:
   일반적인 영어로 훈련된 AI 를 방글라데시 교육 현장에 바로 가져오면 실수가 많습니다. 하지만 방글라데시 교과서라는 '전문 교재'로 훈련을 시키면, AI 는 놀라울 정도로 똑똑해집니다.

🚀 앞으로의 전망

이 연구는 방글라데시뿐만 아니라, 전 세계적으로 **자원이 부족한 언어 (저자원 언어)**를 사용하는 교육 현장에서 AI 가 어떻게 활용될 수 있는지 보여줍니다.

• 미래의 가능성: 이 데이터에는 '생각의 과정 (Chain-of-Thought)'을 기록한 자료도 포함되어 있어, 앞으로는 AI 가 단순히 답만 알려주는 것이 아니라 **"왜 이 답이 맞는지"**를 설명해 주는 튜터로 발전할 수 있습니다.
• 한계와 도전: 아직은 텍스트만 다루지만, 앞으로는 교과서의 그림이나 표도 이해할 수 있도록 발전시킬 계획입니다.

💡 한 줄 요약

"NCTB-QA 는 방글라데시 AI 가 교과서를 완벽하게 이해하고, 모르는 문제는 정직하게 '모른다'고 말할 수 있도록 만든 거대한 교육 훈련 교재입니다."

이 프로젝트는 AI 가 학생들의 신뢰를 얻는 '훌륭한 선생님'이 되기 위한 첫걸음이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 저자원 언어의 QA 한계: 고자원 언어 (영어 등) 에 비해 저자원 언어인 벵골어 (Bangla) 의 질문 응답 (QA) 시스템은 데이터 부족과 교육적 콘텐츠의 부재로 인해 발전이 더딥니다.
• 답변 불가능한 질문 (Unanswerable Questions) 처리의 부재: 기존 벵골어 QA 데이터셋은 대부분 답변 가능한 질문 (Answerable) 만 포함하거나, 답변 불가능한 질문의 비율이 매우 낮습니다. 이로 인해 모델은 문맥에 정답이 없을 때도 확신을 가지고 잘못된 답변을 생성하는 '할루시네이션 (Hallucination)' 현상을 보입니다.
• 교육적 신뢰성 저하: 교육 환경에서 잘못된 답변은 학습자를 혼란스럽게 하고 자동화 시스템에 대한 신뢰를 떨어뜨립니다.
• 기존 데이터셋의 한계: 기존 벵골어 데이터셋 (BanglaRQA, TigerLLM 등) 은 규모가 작거나, 답변 불가능한 질문이 없거나, 적대적 (Adversarial) 인 방해 요소가 부족하여 견고한 모델 평가에 한계가 있었습니다.

2. 방법론 (Methodology)

가. 데이터셋 구축 (NCTB-QA Construction)

• 데이터 소스: 방글라데시 국가 커리큘럼 및 교과서 위원회 (NCTB) 가 발행한 1~10 학년용 50 권의 교과서에서 추출.
• 규모: 총 87,805 개의 질문 - 답변 쌍 (10,070 개의 문맥 세그먼트 기반).
• 균형 잡힌 분포:
  • 답변 가능 (Answerable): 57.25% (50,270 개)
  • 답변 불가능 (Unanswerable): 42.75% (37,535 개)
  • 의미: 모델이 답변 추출 능력과 답변 불가능 여부 판단 능력을 동시에 학습하도록 설계.
• 생성 파이프라인:
  1. 자동 수집: 웹 스크래핑을 통해 Markdown 형식의 교과서 자동 수집 및 중복 제거.
  2. 콘텐츠 정제: 페이지 번호, 포맷팅 노이즈 제거 후, 의미론적 일관성을 유지하도록 2,000 자 내외의 세그먼트로 분할 (Overlap 500 자).
  3. QA 생성: Gemini 2.5 Pro를 활용하여 각 문맥당 2~15 개의 질문 생성.
     • 답변 가능한 질문: 문맥 내 텍스트 스패닝 (Extractive) 기반.
     • 답변 불가능한 질문: 문맥과 주제적 관련성은 있으나 정답이 없는 '적대적 (Adversarial)' 인 방해 요소 (Distractors) 를 포함하도록 설계.
  4. 품질 관리: 자동 유효성 검사를 통해 정답 오프셋 확인, 중복 질문 제거 등 수행.

나. 실험 설정 (Experimental Setup)

• 모델: 세 가지 트랜스포머 기반 인코더 모델 (BERT-base-cased, RoBERTa-base, ELECTRA-base-discriminator) 을 미세 조정 (Fine-tuning).
• 전처리: SQuAD 2.0 포맷 적용, 긴 문맥 처리를 위한 슬라이딩 윈도우 (Stride 300, Max 2000 토큰) 적용.
• 평가 지표:
  • Exact Match (EM): 정규화 후 정답과 완전히 일치하는지.
  • F1 Score: 토큰 수준의 정밀도 (Precision) 와 재현율 (Recall) 의 조화 평균.
  • BERTScore: 생성된 답변과 정답 간의 의미적 유사성 측정 (벵골어 코드 bn 사용).

3. 주요 기여 (Key Contributions)

1. 대규모 교육용 벵골어 QA 데이터셋 (NCTB-QA): 8 만 개 이상의 QA 쌍을 포함하며, 답변 가능/불가능 질문의 균형을 맞춘 최초의 대규모 벤치마크.
2. 적대적 예시 포함: 단순한 사실 확인을 넘어, 문맥을 이해하고 논리적으로 답변 불가능을 판단해야 하는 복잡한 사례 포함.
3. Chain-of-Thought (CoT) 주석: 데이터셋에 추론 과정 (CoT) 이 포함된 주석을 포함하여 향후 생성형 모델 연구에 활용 가능하도록 준비.
4. 포괄적인 벤치마킹: 다양한 트랜스포머 모델의 성능을 평가하고, 저자원 환경에서의 미세 조정의 중요성을 입증.

4. 실험 결과 (Results)

• 미세 조정의 효과: 모든 모델에서 미세 조정 전후로 성능이 비약적으로 향상됨.
  • BERT: F1 점수가 0.150 에서 0.620으로 증가 (313% 상대적 개선). EM 점수도 0.059 에서 0.509 로 향상.
  • RoBERTa: 제로샷 (Zero-shot) 성능이 가장 높았으나 (F1 0.428), 미세 조정 후 F1 0.469 로 소폭 향상. 의미적 유사성 (BERTScore) 은 크게 개선됨.
  • ELECTRA: F1 점수 0.406 에서 0.550 으로 35.5% 개선.
• 질문 유형별 성능:
  • BERT 는 비교 (Comparative) 및 인과 (Causal) 질문에서 미세 조정 후 가장 큰 개선을 보임.
  • RoBERTa 와 ELECTRA 는 사전 학습된 표현력이 좋아 특정 추론 유형에서 초기 성능이 높았으나, 미세 조정의 추가적 이득은 상대적으로 작았음.
• 답변 불가능 판단: 모든 모델이 답변 불가능한 질문에 대해 높은 정확도 (F1 0.82~0.98) 를 보이며, 할루시네이션을 효과적으로 억제하는 것을 확인.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 연구의 전환점: 벵골어 NLP 연구에 대규모, 고품질, 균형 잡힌 교육용 데이터셋을 제공하여 추론 기반 QA 연구의 기반을 마련함.
• 교육 기술 (EdTech) 적용 가능성: 방글라데시 국가 교육 과정과 밀접하게 연결되어 있어, 자동 평가 시스템 및 개인화 학습 도구 개발에 직접적으로 활용 가능.
• 모델 적응의 중요성: 영어 기반 사전 학습 모델이라도 벵골어 특유의 언어적 특징 (SOV 어순, 접미사 등) 과 교육적 도메인을 반영하기 위해서는 **도메인 특화 미세 조정 (Domain-specific Fine-tuning)**이 필수적임을 입증.
• 향후 과제: 현재 추출형 (Extractive) 모델에 국한된 평가이므로, 생성형 모델 (Generative Models) 과 CoT 주석을 활용한 연구, 그리고 텍스트뿐만 아니라 다이어그램 및 표를 포함한 멀티모달 벤치마크로 확장 필요.

이 논문은 벵골어 자연어 처리 분야에서 교육적 맥락의 QA 시스템 개발을 위한 새로운 표준 벤치마크를 제시하며, 저자원 언어 환경에서의 견고한 AI 모델 구축에 중요한 이정표가 됩니다.