GRDD+: An Extended Greek Dialectal Dataset with Cross-Architecture Fine-tuning Evaluation

이 논문은 크레타, 키프로스, 폰토스, 북부 그리스어 등 기존 데이터를 확장하고 6 가지 새로운 그리스 방언을 추가하여 총 10 개 방언 637 만 단어로 구성된 대규모 데이터셋 'GRDD+'를 구축하고, 이를 통해 다양한 LLM 아키텍처의 미세 조정 성능을 최첨단 모델과 비교 평가한 연구를 소개합니다.

핵심

1. 문제 상황: "표준어만 아는 AI 의 고민"

지금까지 인공지능 (LLM) 은 주로 '표준 그리스어'라는 **메인 스트림 (주류)**만 배웠습니다. 마치 서울 사투리를 전혀 모르는 사람이 제주도 사투리나 전라도 사투리를 듣고 "이게 무슨 말이지?"라고 헤매는 것과 비슷합니다.

그리스에는 크레타, 키프로스, 폰토스 등 지역마다 고유한 **방언 (사투리)**이 아주 풍부하게 존재합니다. 하지만 컴퓨터가 이 방언들을 배우기 위한 '교과서 (데이터)'가 거의 없었습니다. AI 는 방언을 배우려 해도 책이 없어서 공부할 수 없었던 셈이죠.

2. 해결책: "GRDD+ 라는 거대한 방언 도서관"

저자들은 이 문제를 해결하기 위해 **GRDD+(그리스 방언 데이터셋 플러스)**라는 새로운 도서관을 지었습니다.

• 기존 도서관 (GRDD): 이미 있던 4 개 방언 (크레타, 키프로스, 폰토스, 북부 그리스) 의 자료를 더 넓고 깊게 확장했습니다.
• 새로운 책장 추가: 이제까지 디지털로 거의 기록되지 않았던 6 가지 희귀 방언을 추가했습니다.
  • 예를 들어: 이탈리아에서 쓰이는 '그리코', 프랑스 코르시카 섬에서 사라져가는 '그레코 - 코르시칸', 고대 그리스어와 가장 가까운 '차코니아' 등입니다.
• 규모: 이 도서관에는 약 637 만 단어가 담겨 있습니다. 이는 그리스 방언을 연구하는 데 있어 전례 없는 거대한 규모입니다.

3. 실험: "AI 학생들의 방언 시험"

이제 이 거대한 도서관을 바탕으로 AI 학생들을 시험에 붙였습니다.

• 학생들 (모델):

  1. 일반 학생 (Base Models): 방언을 전혀 배우지 않은 AI. (사실 방언을 전혀 못 합니다.)
  2. 특별 교육 받은 학생 (Fine-tuned Models): GRDD+ 도서관에서 열심히 공부한 AI.
  3. 천재 영재 (Frontier Models): 구글, 오픈AI, 앤트로픽 같은 거대 기업들이 만든 최신 AI. (이미 많은 것을 알고 있을 것 같지만, 방언은 어떨까?)

• 시험 방식:
  AI 들에게 "크레타 사투리로 짧은 이야기를 써줘"라고 시켰습니다. 그리고 그 지역 출신 원어민들이 AI 가 쓴 글을 읽고 점수를 매겼습니다. (1 점: 완전히 엉터리 ~ 5 점: 원어민이 쓴 것처럼 자연스러움)

4. 놀라운 결과: "작은 책으로도 천재를 이긴다?"

이 실험에서 몇 가지 재미있는 사실이 밝혀졌습니다.

1. 공부의 힘: 방언 데이터를 통해 '특별 교육'을 받은 AI 는, 아무것도 배우지 않은 AI 보다 약 1.5~2 점이나 점수가 크게 올랐습니다. 즉, 좋은 데이터가 있다면 AI 는 금방 방언을 배울 수 있다는 뜻입니다.
2. 천재의 한계: 최신 '천재 AI'(Claude, Gemini 등) 들도 방언을 잘 하기는 했지만, 특별히 훈련받은 작은 AI가 특정 방언에서는 오히려 더 잘하는 경우도 있었습니다.
   • 비유: 아무리 지능이 높은 천재라도, 특정 지역의 사투리를 몰르면 현지인처럼 말하기 어렵습니다. 하지만 그 지역의 사투리를专门적으로 공부한 일반 학생이 더 자연스럽게 말할 수 있습니다.
3. 데이터 양 vs 질의 역설:
   • 북부 그리스 방언은 학습 데이터가 가장 적었습니다 (약 333 개 예시). 그런데도 AI 가 아주 잘했습니다.
   • 반면 폰토스 방언은 데이터가 12 배 더 많았지만, AI 의 점수는 더 낮았습니다.
   • 이유: 아마도 북부 그리스 방언은 표준어와 비슷해서 적은 데이터로도 금방 이해한 반면, 폰토스 방언은 너무 달라서 많은 데이터가 필요했기 때문일 것입니다.

5. 결론: "왜 이 연구가 중요한가?"

이 논문은 **"작은 규모의 고품질 데이터만으로도 AI 가 지역 방언을 잘 다룰 수 있다"**는 것을 증명했습니다.

• 문화 보존: 사라져가는 희귀 방언을 디지털로 보존할 수 있게 되었습니다.
• 공정한 AI: 표준어만 쓰는 AI 가 아니라, 모든 지역 사람이 편하게 대화할 수 있는 AI 를 만들 수 있는 발판이 되었습니다.
• 미래: 이제 이 데이터를 바탕으로 AI 가 방언으로 시를 쓰거나, 소설을 쓰거나, 심지어 번역기를 만드는 등 다양한 일을 할 수 있게 될 것입니다.

한 줄 요약:

"그리스의 다양한 사투리를 모아 거대한 도서관을 만들고, AI 에게 가르쳐 보니, 적은 데이터로도 AI 가 현지인처럼 자연스럽게 사투리를 구사할 수 있게 되었다는 놀라운 발견!"

기술 요약

1. 문제 정의 (Problem)

현대 그리스어는 지리적 지역에 따라 풍부한 방언 변이 (dialectal variation) 를 보이지만, 이러한 방언을 위한 계산 자원 (computational resources) 은 매우 부족합니다.

• LLM 의 한계: 대규모 언어 모델 (LLM) 은 자원이 풍부한 언어에서는 뛰어난 성능을 보이지만, 그리스어와 같이 자원이 부족한 언어의 방언 (POS 태깅, 방언 식별 등) 에서는 제로샷 (zero-shot) 전이 성능조차 미흡하며, 미세 조정 (fine-tuning) 된 결과에 비해 성능이 현저히 떨어집니다.
• 데이터 부족: 기존에 그리스어 방언을 위한 대규모 공개 데이터셋은 매우 제한적이었으며, 특히 크리타 (Cretan), 키프로스 (Cypriot), 폰토스 (Pontic), 북부 그리스어 등 주요 방언 외의 소수 방언 (그리스 - 코르시카어, 그리코, 트사코니아어 등) 에 대한 데이터는 거의 존재하지 않았습니다.

2. 방법론 (Methodology)

2.1. 확장된 데이터셋 구축 (GRDD+)

기존의 GRDD (Greek Dialectal Dataset) 를 확장하여 GRDD+ 를 구축했습니다.

• 확장 범위: 기존 4 개 방언 (크리타, 폰토스, 북부 그리스어, 키프로스) 의 데이터를 대폭 보강하고, 6 개의 새로운 방언/변이를 추가했습니다.
  • 새로운 변이: 그리스 - 코르시카어 (Greco-Corsican), 그리코 (Griko, 남이탈리아 그리스어), 마니오트 (Maniot), 헤프타네시안 (Heptanesian, 이오니아 제도), 트사코니아어 (Tsakonian), 카타레부사 (Katharevusa, 순화어).
• 데이터 수집: 블로그, 웹사이트, 문학 작품 (노래, 시, 민담), OCR 을 통해 스캔된 공개 도서 등에서 수집했습니다.
• 전처리: 숫자, URL, 특수문자, 중복 줄, 불필요한 공백을 제거하고 정제했습니다.
• 규모: 총 6,374,939 단어, 10 개 방언/변이로 구성되었으며, 이는 현재까지 가장 크고 다양한 그리스어 방언 데이터셋입니다.

2.2. 파인튜닝 실험 설계

• 데이터 구성: 원시 텍스트를 슬라이딩 윈도우 (100 단어 단위) 로 분할하여 프롬프트 - 완성 (prompt-completion) 쌍을 생성했습니다. 각 예시에는 해당 방언을 지시하는 그리스어 지시문 (예: "크리타 방언으로 작성하세요") 을 포함시켰습니다. 총 20,116 개의 학습 예제를 생성했습니다.
• 모델 아키텍처:
  • 베이스 모델: Llama-3-8B, Llama-3.1-8B, Krikri-8B (그리스어 특화 모델).
  • 최신 모델 (비교 대상): Claude-3.7-Sonnet, Gemini-2.5, ChatGPT-5.
• 학습 설정: 효율적인 학습을 위해 LoRA (Low-Rank Adaptation) 기법을 사용했습니다. 학습은 AWS A100 GPU 환경에서 3 에포크 (epochs) 수행되었으며, 학습 데이터의 분포는 크리타 (44.8%), 키프로스 (32.8%), 폰토스 (20.8%), 북부 (1.7%) 로 불균형합니다.

2.3. 평가 방법

• 평가 지표: 5 점 척도 (1: 완전히 비자연적 ~ 5: 원어민 수준) 로 native speaker(원어민 화자) 가 생성된 텍스트를 평가했습니다.
• 프로토콜: 각 방언별로 7 가지 다른 프롬프트 (짧은 이야기, 대화, 창의적 글쓰기 등) 를 사용하여 총 63 개의 생성물을 평가했습니다.
• 신뢰도: Krippendorff's Alpha, ICC, Weighted Cohen's Kappa 등을 사용하여 평가자 간 일관성을 검증했습니다.

3. 주요 기여 (Key Contributions)

1. GRDD+ 데이터셋 공개: 10 개의 그리스어 방언/변이를 포함하는 총 630 만 단어 규모의 대규모 데이터셋을 최초로 공개했습니다. 이는 소수 방언 (트사코니아어, 그리코 등) 의 보존과 연구에 중요한 자원이 됩니다.
2. 교차 아키텍처 미세 조정 평가: Llama 계열과 Krikri(그리스어 특화) 모델을 대상으로 방언 데이터에 대한 파인튜닝 효과를 체계적으로 평가했습니다.
3. 프론트라인 모델과의 비교: 파인튜닝된 오픈 소스 모델이 최신 상용 모델 (Claude, Gemini, GPT) 보다 특정 방언에서 더 나은 성능을 낼 수 있음을 입증했습니다.

4. 실험 결과 (Results)

4.1. 파인튜닝의 효과

• 모든 파인튜닝된 모델은 베이스 모델에 비해 약 1.5~2 점의 성능 향상을 보였습니다.
• 놀라운 발견: 학습 데이터가 가장 적었던 북부 그리스어 (Northern Greek, 333 개 예시) 가 폰토스 (4,190 개 예시) 보다 더 일관된 높은 점수 (2.84~3.86) 를 기록했습니다. 이는 데이터 양보다는 언어적 거리 (Standard Modern Greek 와의 유사성) 나 데이터 품질이 성능에 더 큰 영향을 미칠 수 있음을 시사합니다.

4.2. 모델 간 비교

• Claude-3.7-Sonnet: 크리타와 북부 그리스어에서 가장 높은 점수를 기록했습니다. (참고: 최신 Claude 버전은 방언 능력이 감소한 것으로 보임)
• Krikri-8B (그리스어 특화 모델): 의외로 다국어 모델인 Llama-3.1-8B 에 비해 전반적인 성능이 낮았습니다. 이는 명시적인 그리스어 학습이 반드시 방언 생성 능력으로 이어지지 않을 수 있음을 보여줍니다.
• Gemini-2.5: 모든 방언에서 평균 이하의 성능을 보였습니다.
• ChatGPT-5: 일관성은 부족하지만 키프로스어와 북부 그리스어에서는 좋은 성능을 보였습니다.

4.3. 방언별 성능 경향

• 성능 순위: 북부 그리스어 > 크리타어 > 키프로스어 > 폰토스어.
• 이는 표준 현대 그리스어 (SMG) 와의 언어적 거리와 상관관계가 있을 가능성이 높습니다. SMG 와 가까운 방언일수록 모델이 더 잘 학습하고 생성합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 소량 고품질 데이터의 가치: 방언 데이터가 상대적으로 적더라도 (예: 북부 그리스어 333 개), 고품질의 데이터로 파인튜닝하면 소규모 모델이 최첨단 상용 모델을 능가하는 성능을 낼 수 있음을 입증했습니다.
• NLP 및 언어학 연구의 기반: 이 연구는 그리스어 방언 NLP 를 넘어, 소수 언어 및 방언이 풍부한 언어의 보존, 사회언어학, 방언학 연구에 중요한 기반을 제공합니다.
• 향후 과제: 데이터 불균형 해소, 자동 평가 지표 개발, 다방언 모델 (Multi-dialect models) 연구, 그리고 추가적인 아키텍처 (Mistral, Gemma 등) 에 대한 실험이 필요하다고 결론지었습니다.

이 논문은 GRDD+ 를 통해 그리스어 방언 처리의 지평을 넓혔으며, 적은 양의 고품질 방언 데이터로도 효과적인 LLM 미세 조정이 가능함을 실증적으로 보여준 중요한 연구입니다.