Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark

1. 연구 배경 및 문제 정의 (Problem)

• 언어 편향과 데이터 부족: 최근 대규모 언어 모델 (LLM) 의 발전은 주로 영어와 같은 고자원 언어 (High-resourced languages) 에 집중되어 있습니다. 다국어 모델이 등장하고 있지만, 훈련 데이터의 불균형, 언어 간 문법/구문 차이 무시, 그리고 소수 언어의 사회·문화적 맥락 왜곡 등의 한계가 있습니다.
• 그리스어 NLP 의 현황: 그리스어는 고유한 알파벳, 풍부한 형태론 (morphology), 복잡한 구문으로 인해 NLP 모델 구축이 어렵습니다. 기존 연구는 그리스어 LLM 과 데이터셋이 부족하며, 특히 커뮤니티 기반의 질문 답변 (QA) 데이터셋이 부재합니다.
• 연구 목적: 단일 언어 (Monolingual) 모델과 다국어 (Multilingual) 모델이 그리스어 QA 작업에서 어떻게 수행되는지 비교 평가하고, 그리스어 특유의 사회적·문화적 맥락을 반영한 새로운 벤치마크를 구축하는 것입니다.

2. 주요 기여 (Key Contributions)

이 연구는 다음과 같은 세 가지 핵심 기여를 제공합니다:

1. DemosQA 데이터셋 구축:
   • Reddit 의 r/greece 서브레딧에서 수집된 사용자 질문과 커뮤니티가 선정한 답변을 기반으로 한 최초의 그리스어 QA 데이터셋입니다.
   • "δῆμος (Demos, 국민)"에서 유래한 이름처럼, 커뮤니티 리뷰를 통해 사회적·문화적 zeitgeist(시대정신) 를 포착합니다.
   • 총 600 개의 정제된 질문과 4 개의 후보 답변, 1 개의 정답으로 구성되며, 오프라인 필터링을 통해 품질을 보장합니다.
2. 메모리 효율적 평가 프레임워크:
   • 4 비트 모델 양자화 (4-bit quantization) 기술을 적용하여 고사양 GPU 없이도 상용 하드웨어에서 LLM 을 평가할 수 있는 프레임워크를 제안했습니다.
   • 이는 정확도 손실을 최소화하면서 하드웨어 요구 사항을 대폭 낮춥니다.
3. 포괄적인 LLM 평가:
   • 11 개의 단일 언어 및 다국어 LLM 을 6 개의 그리스어 QA 데이터셋 (기존 5 개 + DemosQA) 에서 평가했습니다.
   • 3 가지 프롬프트 전략 (Instruction, Role, Zero-shot Chain-of-Thought) 을 적용하여 모델 성능을 다각도로 분석했습니다.

3. 방법론 (Methodology)

A. 데이터 수집 및 전처리 (DemosQA)

• 소스: Reddit r/greece 서브레딧의 '질문 (ερωτήσεις)' 카테고리.
• 수집: PRAW 라이브러리를 사용하여 API 제한을 준수하며 키워드 기반 크롤링 수행.
• 필터링:
  • 최소 5 개의 업보트와 5 개의 답변이 있는 게시물만 선정.
  • 성인 콘텐츠, 중복, 이미지-only 게시물 제거.
  • 수동 큐레이션: 오프라인 필터링을 통해 혐오 표현 제거, 질문과 본문 통합, 가장 관련성 높은 4 개의 댓글을 후보 답변으로 선정, 정답은 최고 업보트 답변으로 지정.
  • 답변 순서 무작위화 (LLM 의 선택 편향 방지).

B. 평가 대상 모델

• 단일 언어 (그리스어 특화): Llama Krikri 8B, Meltemi 7B v1.5.
• 다국어 모델: Gemma 2 9B, Llama 3.1 8B, Mistral NeMo 12B, Ministral 8B, EuroLLM 9B, Aya Expanse 8B, Teuken 7B 등.
• 비교 대상 (상용): GPT-4o mini (OpenAI API).

C. 실험 설정

• 하드웨어: 12GB VRAM NVIDIA GPU, 4-bit 양자화 적용 (bitsandbytes).
• 프롬프트 전략:
  1. Instruction: 모델에게 최선의 답변을 선택하도록 지시.
  2. Role: 모델에게 "그리스어 언어 모델" 역할을 부여한 후 답변 선택 지시.
  3. Chain-of-Thought (CoT): 역할 부여 후 단계별 추론을 요구.
• 평가 지표: 정확도 (Accuracy), 규칙 기반 파싱을 통해 추출.

4. 실험 결과 (Results)

• 전체 성능 순위:

  • GPT-4o mini가 대부분의 데이터셋에서 가장 높은 정확도를 보였습니다.
  • **Llama Krikri 8B (그리스어 특화)**와 **Gemma 2 9B (다국어)**가 오픈 가중치 모델 중 가장 우수한 성능을 보이며 GPT-4o mini 와 유사한 결과를 기록했습니다.
  • Teuken 7B는 모든 모델 중 가장 낮은 성능을 보였습니다.

• 데이터셋별 특징:

  • 전문 분야 (의료, 공무원 시험, 교육): GPT-4o mini 가 오픈 가중치 모델을 압도적으로 능가했습니다 (전문 지식 부족).
  • 일반/사회적 분야 (DemosQA, Greek Truthful QA): Llama Krikri 8B 와 Gemma 2 9B 가 GPT-4o mini 와 경쟁 가능한 성능을 보였습니다. 특히 DemosQA 에서 Llama Krikri 8B 는 GPT-4o mini 와 동급의 성능을 기록했습니다.

• 프롬프트 전략 영향:

  • GPT-4o mini: 단순한 지시 (Instruction) 프롬프트에서 가장 잘 작동했습니다.
  • 오픈 가중치 모델: 역할 부여 (Role) 프롬프트가 성능 향상에 도움이 되었습니다.
  • CoT (Chain-of-Thought): 추론 능력이 높은 모델에는 도움이 되었으나, 오픈 가중치 모델의 경우 할루시네이션 (Hallucination) 으로 인해 오히려 정확도가 하락하는 경우가 많았습니다.

5. 결론 및 의의 (Significance)

• 연구 질문 (RQ) 답변:

  • RQ1: 오픈 가중치 단일 언어 모델 (Llama Krikri 8B) 이 다국어 모델보다 그리스어 QA 에서 일관되게 우세하거나 경쟁력 있는 성능을 보입니다.
  • RQ2: 최신 오픈 가중치 모델은 특정 데이터셋에서 상용 모델 (GPT-4o mini) 과의 성능 격차를 크게 좁혔습니다.
  • RQ3: 프롬프트 전략은 모델에 따라 다르며, 오픈 모델은 역할 부여가, GPT-4o 는 단순 지시가 효과적입니다.
  • RQ4: 소셜 미디어 기반의 커뮤니티 리뷰를 통해 고품질의 인간 큐레이션 QA 데이터셋 구축이 가능합니다.

• 의의:

  • DemosQA는 그리스어 NLP 연구에 중요한 벤치마크를 제공하며, 기존 번역 기반 데이터셋의 한계를 보완합니다.
  • 메모리 효율적 프레임워크는 고사양 하드웨어가 없는 연구자들도 LLM 을 평가할 수 있게 하여 연구의 민주화를 촉진합니다.
  • 이 연구는 저자원 언어 (Under-resourced languages) 를 위한 LLM 개발의 중요성을 강조하며, 향후 지역 방언이나 고전 그리스어 등을 포함한 훈련 데이터의 필요성을 제기합니다.

이 논문은 그리스어와 같은 저자원 언어에서 LLM 의 성능을 체계적으로 평가할 수 있는 방법론과 데이터를 제공함으로써, 다국어 AI 의 형평성과 문화적 적합성을 높이는 데 기여합니다.