💬 NLP

Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl

이 논문은 자원이 부족한 언어 (특히 멕시코의 나와틀어) 의 NLP 성능 향상을 위해 제한된 말뭉치를 통제된 방식으로 점진적으로 복제하는 새로운 기법을 제안하고, 이를 통해 문장 수준의 의미 유사성 작업에서 성능이 중등도 수준으로 개선됨을 입증합니다.

원저자: Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

게시일 2026-04-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"자료가 너무 부족한 언어를 위해, 같은 글을 반복해서 복사하는 것이 정말 도움이 될까?"**라는 흥미로운 질문에서 시작합니다.

한국어로 쉽게 풀어서, 마치 요리와 운동에 비유해 설명해 드릴게요.

🌍 배경: "식재료가 귀한 나라" (소수 언어의 문제)

최근 인공지능 (LLM) 이 인간처럼 말을 잘하려면 엄청난 양의 책과 문서 (데이터) 가 필요합니다. 영어나 중국어 같은 언어는 도서관이 가득 차 있지만, 나와틀어 (Nawatl, 멕시코 원주민 언어) 같은 소수 언어는 도서관이 텅 비어 있습니다.

문제: 나우틀어는 문법 구조가 매우 복잡하고 (단어 하나에 문장 전체 의미가 담김), 방언도 29 가지나 됩니다. 그래서 학습할 자료가 턱없이 부족합니다.
기존 상식: 보통은 "중복된 자료는 지워라 (Deduplication)"가 정설입니다. 같은 글을 반복하면 인공지능이 멍청해지거나 과적합 (Overfitting) 된다고 생각하죠.

💡 이 논문의 아이디어: "같은 레시피를 반복해서 연습하기"

연구진들은 **"자료가 너무 적을 때는, 같은 글을 몇 번이고 반복해서 복사 (Duplication) 하는 게 오히려 도움이 되지 않을까?"**라고 생각했습니다.

비유: 요리 실력을 키우려면 다양한 재료가 필요하지만, 아직 재료가 하나도 없는 상황이라면, 같은 재료로 같은 요리를 10 번, 20 번 반복해서 연습하는 것이 나을 수 있습니다.
실험: 나우틀어 자료 (π-YALLI 코퍼스) 를 원본 그대로 1 배, 2 배, 4 배... 최대 30 배까지 복사해서 데이터를 불렸습니다.

🧪 실험 과정: "운동선수의 훈련"

연구진은 이렇게 불어난 데이터로 인공지능의 '뇌' (임베딩 모델) 를 훈련시켰습니다. 그리고 그 뇌가 문장의 의미를 얼마나 잘 이해하는지 테스트했습니다.

테스트: "이 두 문장은 의미가 비슷한가?"를 판단하는 능력.
참고: 나우틀어 원어민들이 정답을 알려주면, 인공지능의 정답과 얼마나 일치하는지 점수를 매겼습니다.

🏆 결과: "반복 훈련의 마법"

결과는 놀라웠습니다. 특히 FastText와 Word2Vec이라는 두 가지 알고리즘에서 큰 효과가 나타났습니다.

FastText (스킵그램 모드):
- 원본만 썼을 때 점수: 45.9 점
- 10 배 복사 후 점수: 49.5 점 (약 8% 향상)
- 비유: 같은 운동을 10 번 반복하니까 근육이 더 단단해졌습니다.
Word2Vec (스킵그램 모드):
- 원본만 썼을 때 점수: 35.7 점
- 22 배 복사 후 점수: 48.3 점 (약 35% 급상승!)
- 비유: 이 모델은 반복 훈련에 특히 잘 반응해서 실력이 비약적으로 늘었습니다.
Glove (다른 알고리즘):
- 이 모델은 반복 훈련을 해도 점수가 거의 오르지 않았습니다. (모든 운동법이 다 맞는 건 아니라는 뜻입니다.)

📝 핵심 결론

대량 언어 (영어 등) 에서는 중복을 제거해야 하지만, 소수 언어 (나우틀어 등) 에서는 중복이 도움이 될 수 있습니다.
자원이 부족할 때는 "양"보다 "반복"이 중요할 수 있습니다. 같은 데이터를 여러 번 보게 함으로써 인공지능이 언어의 복잡한 구조를 더 잘 파악하게 됩니다.
최적의 복사 횟수: 무작정 많이 복사하는 게 좋은 게 아니라, 모델마다 알맞은 복사 횟수 (예: 10 배, 22 배) 가 다릅니다.

🚀 앞으로의 계획

이 연구는 나우틀어뿐만 아니라 전 세계의 소수 언어를 살리는 새로운 길을 열었습니다. 연구진들은 앞으로 이 기술을 이용해 나우틀어 문법 정리, 요약, 고유명사 찾기 등 더 다양한 작업을 시도할 계획입니다.

한 줄 요약:

"자료가 너무 없어서 배울 게 없는 언어에게는, 같은 책을 30 번 읽게 하는 것이 새로운 책을 한 권 더 사는 것보다 더 효과적일 수 있다!"

제공된 논문 "Corpora Deduplication or Duplication in Natural Language Processing of Few Resourced Languages? A Case of Study: The Mexico's Nahuatl"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

저자원 언어 (π-languages) 의 데이터 부족: 대규모 언어 모델 (LLM) 은 언어의 깊은 구조를 학습하기 위해 수억~수십억 단어의 방대한 텍스트 코퍼스가 필요합니다. 그러나 나우아틀 (Nawatl/Nahuatl) 과 같은 저자원 언어 (π-languages) 는 대표적이고 대규모인 텍스트 코퍼스가 거의 존재하지 않아 LLM 훈련이 불가능합니다.
기존 접근법의 한계: 고자원 언어 (τ-languages) 에서는 데이터 중복 (duplication) 을 제거하는 '디더플리케이션 (deduplication)'이 표준 기법으로 여겨집니다. 하지만 저자원 언어의 경우 데이터 자체가 부족하므로, 중복 제거가 아닌 **데이터 증강 (Data Augmentation)**을 통한 코퍼스 확장이 필요합니다.
나우아틀 언어의 특수성: 나우아틀은 교착어 (agglutinative) 이고 다성어 (polysynthetic) 인 언어로, 하나의 단어가 문장 전체의 의미를 담을 수 있습니다. 또한 방언 다양성이 크고 표준화된 표기법이 부재하여, 어휘 기반의 데이터 증강 기법 (EDA 등) 이나 POS 태깅을 활용한 기법을 적용하기 어렵습니다.

2. 방법론 (Methodology)

연구 대상: 멕시코의 나우아틀 언어와 이를 기반으로 한 π-YALLI 코퍼스 (약 660 만 단어, 약 25 개 방언 포함).
제안 기법: 점진적 중복 (Incremental Duplication)
- 기존 코퍼스를 제어된 방식으로 반복적으로 복사하여 크기를 확장하는 방식을 제안합니다.
- 원본 코퍼스를 $\rho$ 배 ( $\rho = [1, 2, 4, ..., 30]$ ) 까지 동일하게 복제하여 총 1 억 9,800 만 단어 규모의 코퍼스를 생성했습니다.
- 이 방식은 어휘 사전이나 POS 태거와 같은 외부 자원이 필요하지 않으며, 교착어 특성에 따른 문법적/의미적 편향을 최소화하기 위해 의도적으로 단순 복제를 선택했습니다.
실험 설정:
- 목표: 확장된 코퍼스를 사용하여 정적 임베딩 (Static Embeddings) 을 학습하고, 그 품질을 평가합니다.
- 모델: Word2Vec, FastText, Glove 등 정적 임베딩 알고리즘을 사용 (Transformer 기반 컨텍스트 모델은 데이터 부족으로 훈련 불가).
- 평가 태스크: 문장 수준의 의미 유사성 (Sentence Semantic Similarity) 평가.
  - 30 개의 참조 문장과 5 개의 후보 문장에 대해 의미적 순위를 매기는 작업 수행.
  - 순위의 일치도를 측정하기 위해 Kendall's $\tau$ 계수를 사용.
  - 평가 기준은 원어민 화자가 생성한 순위와의 상관관계입니다.

3. 주요 결과 (Results)

실험은 원본 코퍼스 (1 배) 와 1 배에서 30 배까지 중복된 코퍼스를 사용하여 각 모델을 훈련시키고 평가했습니다.

성능 향상:
- FastText (Skipgram): 중복 배율이 10 배 ( $\rho=10$ ) 일 때 최대 성능을 보였습니다. Kendall's $\tau$ 가 0.459 에서 0.495 로 약 7.8% 향상되었습니다.
- Word2Vec (Skipgram): 중복 배율이 22 배 ( $\rho=22$ ) 일 때 가장 큰 개선을 보였습니다. $\tau$ 가 0.357 에서 0.483 으로 35.3% 이상 향상되었습니다.
- Glove: 전반적으로 성능이 정체되거나 미미한 개선 (3.4%) 만 보였습니다.
비교 분석:
- 확장된 π-YALLI 코퍼스로 훈련된 모델은, 나우아틀 위키백과나 Common Crawl 로 사전 훈련된 기존 FastText/Word2Vec 모델들보다 우수한 성능을 나타냈습니다.
- CBow vs Skipgram: 모든 모델에서 Skipgram 아키텍처가 CBow 보다 우수한 성능을 보였습니다. 특히 FastText 의 Skipgram 모드가 가장 높은 점수를 기록했습니다.
- 최적의 중복 비율: FastText 는 낮은 중복 비율 (8~~10 배) 에서 최적의 임베딩 품질을 얻은 반면, Word2Vec 은 더 높은 중복 비율 (20~~22 배) 에서 최적화되었습니다.

4. 주요 기여 (Key Contributions)

역발상적 접근: 저자원 언어 처리에서 '중복 제거'가 아닌 '제어된 중복 (Duplication)'이 임베딩 학습에 유효할 수 있음을 최초로 제안하고 실증했습니다.
자원 없는 데이터 증강: 어휘 사전이나 POS 태거가 없는 나우아틀과 같은 교착어/다성어 환경에서도 적용 가능한, 자원이 필요 없는 데이터 확장 전략을 제시했습니다.
정적 임베딩의 유효성 재확인: 컨텍스트 기반 모델 (BERT 등) 이 훈련 불가능한 저자원 환경에서도, 적절한 데이터 확장 기법을 통해 정적 임베딩 (Static Embeddings) 이 여전히 경쟁력 있는 성능을 낼 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

언어 기술의 형평성: 저자원 언어 커뮤니티에 대한 NLP 도구의 접근성을 높이고, 언어적 편향을 해소하는 데 기여할 수 있는 실용적인 방법론을 제시했습니다.
실용적 함의: 데이터가 부족한 상황에서 단순히 데이터를 모으는 것뿐만 아니라, 기존 데이터를 전략적으로 재사용 (중복) 하는 것이 모델 학습에 긍정적인 영향을 미칠 수 있음을 보여줍니다.
향후 연구 방향: 텍스트 정규화 기법과 결합한 확장, 특정 주제나 방언에 초점을 맞춘 중복 전략, 그리고 자동 텍스트 요약 및 개체명 인식 (NER) 과 같은 다른 NLP 태스크로의 적용을 계획하고 있습니다.

결론적으로, 이 논문은 나우아틀 언어의 사례를 통해, 저자원 언어의 NLP 성능 향상을 위해 **제어된 데이터 중복 (Controlled Duplication)**이 유효한 전략이 될 수 있음을 통계적으로 입증한 획기적인 연구입니다.