Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect

이 논문은 마인츠 방언인 '미엔처리시'를 위한 최초의 NLP 연구로, 사전 구축과 실험을 통해 최신 대규모 언어 모델이 해당 방언의 정의 생성 및 단어 생성에서 극도로 낮은 성능을 보임을 입증하고, 방언 보존을 위한 추가 자원과 연구의 필요성을 강조합니다.

핵심

이 논문은 **"메엔처리시 (Meenzerisch)"**라는 독일 마인츠 지역의 사투리를 인공지능 (AI) 이 얼마나 잘 이해하고 말할 수 있는지 실험한 연구입니다.

쉽게 비유하자면, **"세계적으로 유명한 거대 AI 들이, 마치 고대 신비한 언어처럼 취급받는 작은 마을의 사투리를 전혀 못 알아듣는다는 충격적인 사실을 발견한 이야기"**입니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 배경: 사라져가는 '작은 마을의 언어'

독일 마인츠 시에는 **'메엔처리시'**라는 독특한 사투리가 있습니다. 이 언어는 독일의 유명한 '카니발 (축제)'에서 쓰이며, 매년 TV 로 방송될 정도로 유명합니다. 하지만 문제는 이 언어를 쓰는 사람들이 점점 줄어들고 있다는 점입니다. 마치 오래된 전통 공예품이 현대 산업에 밀려 사라져가는 상황과 비슷합니다.

저자들은 "AI 기술이 이런 사라져가는 언어를 구할 수 있지 않을까?"라고 생각했습니다. 하지만 AI 가 이 사투리를 얼마나 잘 아는지는 아무도 몰랐습니다.

2. 실험 도구: '디지털 사전을 만들다'

AI 를 테스트하려면 먼저 공부가 필요한데, 메엔처리시 사투리 자료는 거의 없었습니다. 그래서 연구진들은 1966 년에 나온 낡은 종이 사전을 가져와서 디지털화했습니다.

• 과정: 책을 스캔하고, OCR(문자 인식) 기술로 텍스트를 뽑아내고, 사람이 실수를 고치고, AI 를 이용해 단어와 뜻을 정리했습니다.
• 결과: 사투리 단어 2,351 개와 그 뜻을 표준 독일어로 설명한 데이터셋을 만들었습니다. (이것은 마치 AI 가 배울 수 있는 '사투리 교과서'를 처음 만든 것과 같습니다.)

3. 실험 1: "이 단어의 뜻이 뭐야?" (이해 능력 테스트)

연구진은 최신 AI 모델들 (Llama, GPT 등) 에게 사투리 단어를 주고, "이게 무슨 뜻이야?"라고 물었습니다.

• 결과: 대참사였습니다.
• 가장 똑똑한 AI 가 정답을 맞춘 확률은 고작 **6.27%**였습니다. 즉, 100 개 중 94 개는 엉뚱한 대답을 했습니다.
• 비유: 마치 영어를 유창하게 하는 외국인이, 한국 사투리 '부산말'로 된 "아이고, 이거 참!"이라는 문장을 보고 "아, 이거 참 (진짜) 이네요"라고 이해하지 못하고, 전혀 다른 뜻으로 해석하는 상황입니다.

4. 실험 2: "이 뜻에 맞는 사투리 단어를 찾아줘" (생성 능력 테스트)

이번에는 반대로, "배고픔"이라는 뜻을 주고 "메엔처리시 사투리로 뭐라고 하지?"라고 물었습니다.

• 결과: 더 끔찍했습니다.
• 정답률은 **1.51%**로 떨어졌습니다. 100 개 중 98 개는 엉뚱한 단어를 만들어냈습니다.
• 비유: 영어를 잘하는 사람이 "배고파"라는 뜻을 듣고, 부산 사투리로 "배고파"라고 말해야 하는데, "배고파" 대신 "고양이"나 "비행기" 같은 엉뚱한 단어를 뱉어내는 꼴입니다.

5. 왜 이런 일이 일어났을까? (원인 분석)

연구진은 AI 의 실력을 높이기 위해 두 가지 방법을 시도했습니다.

1. 예시 보여주기 (Few-shot learning): "이런 예시들이 있었어, 참고해"라고 몇 개를 보여줬습니다.
2. 규칙 알려주기: "사투리는 보통 이런 규칙으로 변해"라고 언어 규칙을 알려줬습니다.

하지만 결과는 여전히 10% 미만이었습니다.

• 핵심 이유: AI 는 인터넷에 떠도는 표준 독일어는 엄청나게 많이 배웠지만, 메엔츠 지역의 사투리는 거의 배운 적이 없습니다. 마치 전 세계 요리법을 다 아는 셰프가, 오직 '마인츠 시골 할머니의 비법 요리'만은 전혀 모르고 있는 상황입니다.

6. 결론: AI 도 '작은 언어' 앞에서는 무력하다

이 논문은 다음과 같은 중요한 메시지를 전달합니다.

• 현재의 거대 AI 는 표준 언어에는 강하지만, 소수 언어나 사투리 앞에서는 매우 약합니다.
• 단순히 AI 를 더 크게 만들거나 더 많이 훈련시킨다고 해결될 문제가 아닙니다.
• 해결책: 이 언어를 살리기 위해서는 인간이 직접 데이터를 만들고, AI 가 그 언어를 제대로 배울 수 있도록 특별한 노력이 필요합니다.

한 줄 요약

"세계적인 AI 거인들도, 독일 마인츠의 작은 사투리 앞에서는 마치 귀를 막고 있는 아이처럼 아무것도 못 알아듣습니다. 이 언어를 지키려면 AI 에게만 맡길 게 아니라, 우리가 직접 자료를 만들어 가르쳐줘야 합니다."

이 연구는 기술이 발전했다고 해서 모든 언어가 자동으로 보존되는 것은 아니며, 사라져가는 언어를 구하기 위해서는 인간의 관심과 추가적인 노력이 필수적임을 보여줍니다.

기술 요약

논문 개요

이 연구는 독일 마인츠 (Mainz) 지역의 방언인 **'메엔저리슈 (Meenzerisch)'**를 대상으로 한 최초의 자연어 처리 (NLP) 연구입니다. 메엔저리슈는 마인츠 카니발의 전통 언어로 사용되지만, 표준어화와 사회적 편견으로 인해 소멸 위기에 처해 있습니다. 저자들은 대규모 언어 모델 (LLM) 이 이러한 저자원 (low-resource) 방언을 얼마나 이해하고 생성할 수 있는지 평가하기 위해 새로운 데이터셋을 구축하고 실험을 수행했습니다.

1. 연구 문제 (Problem)

• 방언의 소멸 위기: 독일의 많은 방언이 표준어화 및 차별화로 인해 사라지고 있으며, 메엔저리슈도 예외가 아닙니다.
• NLP 의 한계: 기존 NLP 연구는 표준어에 집중되어 있어, 구어체 위주로 사용되는 방언에 대한 텍스트 데이터가 부족합니다. 이로 인해 최신 LLM 들은 독일어 방언 처리에 심각한 성능 저하를 보입니다.
• 데이터 부재: 메엔저리슈를 위한 디지털 자료가 전무하여, LLM 의 방언 이해 및 생성 능력을 평가할 수 있는 벤치마크가 존재하지 않았습니다.

2. 방법론 (Methodology)

가. 데이터셋 구축 (Dataset Creation)

• 원천 자료: 카를 슈람 (Karl Schramm) 의 1966 년 출판된 물리적 사전 'Mainzer Wörterbuch'를 디지털화했습니다.
• 파이프라인 (5 단계):
  1. 스캔: 책 페이지를 PDF 로 스캔.
  2. OCR: 텍스트 추출.
  3. 수정: OCR 오류 (줄 바꿈 누락 등) 수동 교정.
  4. 단어 추출: 규칙 기반 스크립트로 방언 단어 추출.
  5. 정의 추출: LLM (GPT-OSS 120B) 을 활용하여 각 단어의 표준 독일어 (Hochdeutsch) 정의를 추출하고 정제.
• 데이터셋 통계: 총 2,351 개의 방언 단어와 표준어 정의 쌍으로 구성됨. (학습: 250, 개발: 250, 테스트: 1,851)

나. 실험 설계

• 평가 대상 모델: Llama-3.3, GPT-OSS, Qwen, Gemma, Phi 등 다양한 크기와 아키텍처의 오픈소스 LLM 들 (Small, Medium, Large).
• 실험 1: 정의 생성 (Definition Generation)
  • 태스크: 주어진 메엔저리슈 단어를 입력받아 표준 독일어로 그 의미를 설명하는지 평가.
  • 평가: LLM-as-a-Judge (Llama-3.3 70B) 를 사용하여 생성된 정의와 원본 정의의 의미 일치도를 이진 분류 (동일/다름) 로 평가.
• 실험 2: 단어 생성 (Word Generation)
  • 태스크: 주어진 표준 독일어 정의를 입력받아 해당 메엔저리슈 단어를 생성하는지 평가.
  • 평가: 생성된 단어와 골드 스탠다드 (원본) 단어의 문자열 완전 일치 (Exact Match) 로 정확도 측정.
• 추가 실험: 성능 향상을 위해 Few-shot Learning (예시 제공) 과 자동 규칙 추출 (훈련 데이터에서 변환 규칙 추출 후 프롬프트 주입) 을 적용하여 테스트.

3. 주요 기여 (Key Contributions)

1. 최초의 메엔저리슈 데이터셋: 마인츠 방언 단어와 표준어 정의를 매핑한 2,351 개의 디지털 사전 데이터셋 공개.
2. LLM 의 방언 이해도 평가: 현재 최첨단 LLM 들이 메엔저리슈 단어를 이해하는 데 극도로 취약함을 최초로 입증.
3. LLM 의 방언 생성 능력 평가: LLM 이 주어진 의미에서 올바른 방언 단어를 생성하는 데 실패함을 입증.
4. 저자원 언어 연구의 필요성 강조: 단순한 컴퓨팅 파워 증가만으로는 해결되지 않으며, 방언 특화 연구와 자원이 절실히 필요함을 시사.

4. 실험 결과 (Results)

가. 기본 성능 (Zero-shot)

• 정의 생성 (Experiment 1):
  • 모든 모델의 평균 정확도는 **4.24%**에 불과함.
  • 최상위 모델 (Llama-3.3 70B) 도 **6.27%**의 정확도만 기록.
  • 비교 대상인 영어 단어 정의 생성에서는 평균 **86.89%**의 높은 정확도를 보여, 모델 자체가 작동은 하지만 방언 의미를 포착하지 못함을 확인.
• 단어 생성 (Experiment 2):
  • 평균 정확도는 **0.56%**로 정의 생성보다 더 나쁨.
  • 최상위 모델 (GPT-OSS 120B) 의 정확도도 **1.51%**에 그침.
  • 영어 단어 생성 (평균 58.77%) 과 비교할 때 방언 생성은 훨씬 더 어려운 태스크임.

나. 추가 기법 적용 결과

• Few-shot Learning: 무작위 예시나 편집 거리 (Edit Distance) 기반 예시를 제공했을 때 정의 생성 정확도가 최대 **9.24%**까지 소폭 상승했으나, 여전히 10% 미만.
• 자동 규칙 추출: 훈련 데이터에서 추출한 음운/형태론적 규칙을 프롬프트에 주입했을 때 정의 생성 정확도가 **8.37%**로 향상되었으나, 단어 생성 성능은 오히려 미세하게 감소하거나 유의미한 변화가 없었음.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 한계 확인: 현재 LLM 은 소규모 저자원 방언에 대한 이해와 생성 능력이 현저히 부족하며, Few-shot 학습이나 규칙 기반 접근법만으로는 근본적인 문제를 해결할 수 없음.
• 문화적 보존의 중요성: 언어 기술은 소수 언어와 방언의 보존 및 부활에 중요한 역할을 할 수 있으나, 이를 위해서는 방언에 특화된 고품질 데이터셋과 모델 학습이 필수적임.
• 향후 과제: 단순한 컴퓨팅 리소스 증가가 아닌, 소외된 문화에 대한 연구 집중과 데이터 구축이 필요함. 또한 단어 수준을 넘어 문장 수준의 이해로 연구 범위를 확장해야 함.

이 논문은 독일어 방언 처리를 위한 중요한 첫걸음을 내딛었으며, LLM 이 지역 방언을 지원하기 위해서는 여전히 상당한 연구 개발이 필요함을 강력하게 시사합니다.