Goldfish: Monolingual Language Models for 350 Languages

이 논문은 저자원 언어를 위한 대규모 다국어 모델의 한계를 지적하고, 350 개 언어 각각에 대해 1GB 미만의 데이터로 훈련된 125M 파라미터 규모의 소규모 단국어 모델 'Goldfish'를 공개하여 다국어 모델보다 우수한 성능을 입증했습니다.

핵심

🐠 골피쉬 (Goldfish): 350 개 언어를 위한 '작지만 강력한' AI

이 논문은 **"거대하고 비싼 AI 모델이 모든 언어를 잘할 수 있을까?"**라는 의문에서 시작합니다. 연구자들은 거대 다국어 모델 (BLOOM, XGLM 등) 이 많은 언어를 동시에 배우려다 보니, 오히려 특정 언어의 문법이나 기본적인 글쓰기에서 엉망이 된다는 사실을 발견했습니다.

이 문제를 해결하기 위해 그들은 **골피쉬 (Goldfish)**라는 새로운 AI 모델 세트를 만들었습니다. 이름의 유래는 재미있는데, 금붕어처럼 작고 (소규모), 많으며 (350 개 언어), 기억력이 짧을 수 있지만 (작은 데이터) 그 자체로 매우 효율적이라는 뜻입니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "모든 것을 아는 거인"은 사실 "모든 것을 잘 모르는" 상태

지금까지 저자원 언어 (데이터가 적은 언어) 를 위한 AI 는 거대 다국어 모델을 사용했습니다.

• 비유: 마치 전 세계 모든 요리를 한 번에 배우려는 거대한 셰프를 상상해 보세요. 이 셰프는 프랑스 요리, 이탈리아 요리, 한국 요리 등 수천 가지 요리를 동시에 배웁니다.
• 문제점: 하지만 이 셰프는 각 요리에 할애할 시간이 부족합니다. 특히 잘 알려지지 않은 시골 요리 (저자원 언어) 는 배우는 시간이 거의 없습니다. 그 결과, 이 셰프는 아주 기본적인 반찬 (문법) 을 만드는 것조차 엉망이 됩니다.
• 현실: 논문은 거대 모델들이 어떤 언어에서는 단순한 '두 단어 연결 (Bigram)' 모델보다도 글쓰기 실력이 떨어졌다고 지적합니다. (예: BLOOM 모델의 43% 언어에서 더 나쁨)

2. 해결책: "작은 전문가"들의 팀 (골피쉬)

연구자들은 거인 셰프 대신, 각 언어 하나에 전념하는 작은 요리사 1,000 명을 고용했습니다.

• 비유: 거대한 식당 대신, 각자 한 가지 메뉴 (언어) 만 전문으로 하는 작은 노점상 350 개를 세운 것입니다.
• 특징:
  • 작은 크기: 각 모델은 1 억 2,500 만 개의 파라미터 (뇌세포) 만 가집니다. 거대 모델 (수천억 개) 에 비해 훨씬 작고 가볍습니다.
  • 적은 데이터: 각 언어당 최대 1GB 의 텍스트 (약 2 억 단어) 만으로 훈련됩니다. 이는 거대 모델이 쓰는 데이터의 0.001% 수준이지만, 그 언어에 집중했기에 효율적입니다.
  • 결과: 이 작은 모델들은 거대 모델보다 문법적으로 더 자연스러운 글을 쓰고, 언어의 뉘앙스를 더 잘 파악합니다.

3. 놀라운 발견: "작은 것이 더 낫다"

논문은 두 가지 놀라운 사실을 보여줍니다.

1. 문법과 글쓰기: 작은 골피쉬 모델들은 거대 모델보다 훨씬 더 낮은 '혼란도 (Perplexity, 글이 얼마나 자연스러운지 측정 지표)'를 보입니다. 즉, 글이 더 매끄럽고 문법적으로 맞습니다.
2. 추론 능력의 한계: 하지만 작은 모델들은 **복잡한 논리 문제 (추론)**를 풀 때는 거대 모델처럼 '무작위 추측' 수준에 머무릅니다.
   • 비유: 작은 요리사는 특정 요리를 완벽하게 요리할 수 있지만, "이 요리를 만들면 어떤 사회적 영향이 있을까?" 같은 복잡한 철학적 질문에는 답을 못 합니다.
   • 의미: 이는 **문법적 지식 (언어 자체)**과 **추론 능력 (복잡한 사고)**이 서로 다른 뇌 영역에서 작동할 수 있음을 시사합니다.

4. 왜 이것이 중요한가요?

• 공정한 기회: 그동안 AI 연구는 영어나 중국어 같은 '대세 언어' 위주로 진행되었습니다. 골피쉬는 **전 세계 350 개 언어 (아프리카, 아시아, 남미의 소수 언어 포함)**를 위한 첫 번째 공개된 단일 언어 모델들입니다.
• 접근성: 거대 모델을 훈련시키려면 막대한 돈과 전기가 필요하지만, 골피쉬는 일반 연구실에서도 훈련시킬 수 있을 정도로 작고 저렴합니다.
• 미래의 길: 이 모델들은 저자원 언어를 연구하는 과학자들에게 **기준점 (Baseline)**을 제공합니다. 이제 "이 언어로 AI 를 만들면 얼마나 잘할까?"를 측정할 수 있는 기준이 생긴 것입니다.

📝 요약: 금붕어 같은 AI

이 논문은 **"거대하고 무조건 많은 것이 답은 아니다"**라고 말합니다.

• 거대 모델: 모든 것을 조금씩 알지만, 중요한 언어에서는 기초도 부족함.
• 골피쉬 (작은 모델): 한 가지 언어에 집중하여 그 언어의 문법과 표현을 완벽하게 다룸.

연구자들은 이 1,000 개 이상의 작은 모델들을 공개하여, 언어적 다양성을 존중하고 누구나 AI 기술을 활용할 수 있는 세상을 만들고자 합니다. 마치 금붕어가 작지만 수족관 전체를 아름답게 채우듯, 이 작은 모델들이 전 세계 언어의 AI 생태계를 풍요롭게 만들기를 기대합니다.

기술 요약

1. 문제 정의 (Problem)

저자원 (Low-resource) 언어를 위한 언어 모델 연구는 현재 대규모 다국어 모델 (Multilingual Models) 에 크게 의존하고 있습니다. 그러나 이러한 모델들은 다음과 같은 심각한 한계를 가지고 있습니다.

• 기본 문법 생성 능력 부족: 최신 다국어 모델 (XGLM, BLOOM 등) 이 추론 (Reasoning) 작업에서는 우수한 성능을 보이지만, 많은 저자원 언어에서 기본적인 다음 토큰 예측 (Next Token Prediction) 및 문법적 텍스트 생성에는 실패합니다.
• 성능 저하: FLORES 평가 기준 (Perplexity) 에 따르면, 대규모 다국어 모델이 단순한 빅그램 (Bigram) 모델보다 성능이 낮은 언어가 상당수 존재합니다 (예: XGLM 4.5B 의 24%, BLOOM 7.1B 의 43%).
• 데이터 불균형: 대규모 다국어 모델의 학습 데이터는 고자원 언어에 편향되어 있어, 저자원 언어는 학습 데이터가 극히 부족하거나 (예: BLOOM 의 Akan 언어는 전체 데이터의 0.000004% 만 사용) 품질이 낮습니다.
• 모델 부재: 350 개 언어 중 215 개 언어는 Goldfish 출시 전까지 전용 단국어 생성 모델이 존재하지 않았으며, 47 개 언어는 아예 텍스트 생성 모델이 없었습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 Goldfish라는 350 개 언어에 대한 1,000 개 이상의 단국어 (Monolingual) 언어 모델 세트를 개발하고 공개했습니다.

• 모델 아키텍처:
  • GPT-2 기반: 모든 모델은 GPT-2 아키텍처를 기반으로 합니다.
  • 파라미터 크기: 데이터 양에 따라 두 가지 크기를 사용합니다.
    • 5MB, 10MB 데이터셋: 39M 파라미터 (작은 모델).
    • 100MB, 1GB, 전체 데이터셋: 125M 파라미터 (BERT-base/RoBERTa 수준).
  • 토크나이저: 각 언어와 데이터셋 크기에 맞춰 커스텀 Unigram 토크나이저 (SentencePiece 기반, 어휘 크기 50K) 를 학습합니다.
• 데이터 수집 및 전처리:
  • 소스: Chang et al. (2024a), Glot500, MADLAD-400 등 기존 대규모 다국어 코퍼스를 통합했습니다.
  • Byte Premium Scaling: 언어별 인코딩 효율성 차이를 보정하기 위해 Byte Premium을 적용하여 데이터 크기를 조정했습니다 (예: 영어 대비 3.91 배 더 많은 바이트를 사용하는 크메르어는 데이터 양을 3.91 로 나누어 균형을 맞췄습니다).
  • 데이터 크기: 5MB, 10MB, 100MB, 1GB (또는 사용 가능한 전체 데이터) 단위로 학습 데이터를 샘플링했습니다.
  • 오염 방지: 평가용 데이터인 FLORES-200 과 AmericasNLI 를 학습 데이터에서 제외하고, 오염 분석을 통해 98% 언어에서 FLORES 시퀀스 오염이 10 개 미만임을 확인했습니다.
• 학습 설정:
  • 각 모델은 학습 데이터 10 Epochs 를 학습합니다.
  • 총 1,000 개 이상의 모델 (350 개 언어 × 다양한 데이터 크기) 을 학습시켰으며, 총 연산량은 GPT-3 의 약 1/1900 수준으로 매우 효율적입니다.

3. 주요 기여 (Key Contributions)

1. 대규모 단국어 모델 공개: 350 개 언어에 대한 1,000 개 이상의 비교 가능한 단국어 언어 모델 (Goldfish) 을 공개했습니다. 이는 215 개 언어에 대해 최초로 공개된 단국어 모델입니다.
2. 다국어 모델의 한계 규명: 대규모 다국어 모델이 저자원 언어에서 단순 빅그램 모델보다도 낮은 Perplexity 를 기록한다는 사실을 실증적으로 증명했습니다.
3. 효율적인 저자원 모델의 유효성 입증: 소규모 단국어 모델 (최대 125M 파라미터, 최대 1GB 데이터) 이 대규모 다국어 모델보다 Perplexity와 문법성 (Grammaticality) 측면에서 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• FLORES Log-Perplexity (텍스트 생성 품질):
  • Goldfish 모델은 204 개 FLORES 언어 중 98 개 언어에서 XGLM, BLOOM, MaLA-500 등 주요 다국어 모델보다 낮은 Perplexity 를 기록했습니다.
  • 평균적으로 XGLM 4.5B 보다 13% 낮고, MaLA-500 10B 보다 11% 낮은 Perplexity 를 보였습니다.
  • 흥미롭게도, Goldfish 모델보다 작은 빅그램 모델조차 BLOOM 7.1B 보다 43% 의 언어에서 더 낮은 Perplexity 를 기록했습니다.
• MultiBLiMP (문법성 평가):
  • 74 개 언어에 대한 MultiBLiMP 벤치마크에서 Goldfish 모델은 모든 비교 대상 다국어 모델 (BLOOM 560M, XGLM, Gemma 3, Llama 3 등) 보다 높은 평균 정확도를 기록했습니다.
  • 특히 74 개 언어 중 25 개 언어에서 모든 모델 중 가장 높은 정확도를 보였습니다.
• 추론 (Reasoning) 벤치마크:
  • Belebele, XCOPA, XStoryCloze 등 추론 작업에서는 Goldfish 모델이 **우연 수준 (Chance level)**의 성능을 보였습니다. 이는 소규모 모델이 복잡한 추론 능력을 갖추기 어렵다는 것을 시사하며, 다국어 모델도 동일한 규모에서는 비슷한 한계를 가짐을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 NLP 연구의 새로운 기준 (Baseline): Goldfish는 저자원 언어의 기본 문법적 텍스트 생성에 대한 강력한 기준선을 제공합니다.
• 계산 효율성: 고자원 언어용 초대규모 모델에 비해 훨씬 적은 계산 자원 (125M 파라미터, 1GB 데이터) 으로 더 나은 언어 모델링 성능을 달성할 수 있음을 보여줍니다.
• 연구 방향 전환: 저자원 언어에서는 "더 큰 다국어 모델"이 항상 정답이 아니며, 적절한 크기의 단국어 모델이 해당 언어의 문법적 지식을 더 잘 포착할 수 있음을 시사합니다.
• 접근성: 제한된 컴퓨팅 자원을 가진 연구실에서도 재현 가능한 모델과 데이터를 공개하여, 저자원 언어 연구의 형평성을 높이는 데 기여합니다.

요약하자면, Goldfish는 저자원 언어에서 대규모 다국어 모델이 실패하는 기본 언어 모델링 작업을 소규모 단국어 모델이 어떻게 효과적으로 해결할 수 있는지를 보여주며, 저자원 NLP 연구의 패러다임을 "규모의 확장"에서 "적합한 규모의 단국어 최적화"로 전환할 수 있는 중요한 발판이 됩니다.