Grammatical Error Correction for Low-Resource Languages: The Case of Zarma

당신에게 서아프리카에서 500만 명 이상이 사용하는 아름다운 언어인 **자르마(Zarma)**를 구사하는 친구가 있다고 상상해 보세요. 이 친구는 완벽한 문장을 쓰고 싶어 하지만, 때때로 오타를 내거나 단어를 혼동하거나 문법을 틀리기도 합니다.

문제는 무엇일까요? 자르마는 **저자원 언어(low-resource language)**이기 때문에 이를 위한 '철자 교정기'나 문법 도구가 거의 없다는 점입니다. 이는 마치 영어 나 프랑스어 같은 언어들이 로봇과 3D 프린터가 갖춰진 최첨단 자동화 공장을 가진 것과 달리, 당신은 망치와 몇 개의 못만 가지고서 고성파 기술 자동차를 만들려고 애쓰는 것과 같습니다.

이 논문은 연구자들이 세 가지 도구를 사용하여 어떻게 최고의 "문법 교정기"를 만들려고 시도했는지에 대한 보고서입니다. 그들은 어떤 도구가 실제로 작동하는지 확인하기 위해 25만 개의 문장(컴퓨터가 만든 문장과 실제 사람이 만든 문장이 섞여 있음)이라는 거대한 더미를 대상으로 테스트를 진행했습니다.

실험의 내용은 다음과 같이 쉽게 설명되어 있습니다:

세 명의 도전자

연구자들은 문장을 고치기 위해 세 가지 다른 접근 방식을 줄 세웠습니다. 마치 고장 난 엔진을 고치려는 세 명의 서로 다른 정비사와 같습니다.

1. 규칙 기반 정비사 (Rule-Based Method):

   • 작동 방식: 이것은 거대한 사전과 엄격한 규칙 목록을 가진 엄격한 선생님과 같습니다. 만약 단어가 사전에 없거나 특정 규칙을 어기면 선생님은 표시를 합니다.
   • 비유: 특정 사전의 단어만 알고 있는 철자 교정기를 상상해 보세요. 만약 당신이 "sind" 대신 "sindq"라고 쓴다면, 이 모델은 그 단어가 책에 없기 때문에 틀렸다고 인식합니다.
   • 결과: 단순한 철자 실수(오타 등)를 잡아내는 데는 놀라웠지만, 문장의 의미를 이해하는 데는 형편없었습니다. 문장이 문법적으로 이상하더라도 철자만 맞으면, 이 정비사는 그냥 어깨를 으쓱하며 "내가 보기엔 괜찮네"라고 말해버렸습니다.

2. 로봇 번역가 (Machine Translation / MT):

   • 작동 방식: 이 방식은 문법을 고치는 것을 "망가진 자르마"에서 "완벽한 자르마"로 번역하는 것처럼 취급합니다. 그들은 M2M100(수많은 언어를 접해본 매우 똑똑한 번역기와 같은 모델)이라는 강력한 모델을 사용했습니다.
   • 비유: 수백만 권의 책을 읽은 번역가를 상상해 보세요. 엉망인 문장을 보면, 그들은 단순히 사전을 찾는 것이 아니라 "원어민이라면 이것을 어떻게 올바르게 말할까?"라고 생각합니다. 그들은 자신이 배운 패턴을 사용하여 문장을 다시 씁니다.
   • 결과: 이 모델이 챔피언이었습니다. 거의 모든 오류(95.8%)를 잡아냈고, 대부분의 경우 올로 교정했습니다. 단순한 철자가 아닌, 의미 자체가 틀린 복잡한 오류를 처리할 수 있는 유일한 모델이었습니다.

3. 똑똑한 학생 (Large Language Models / LLMs):

   • 작동 방식: 이들은 엄청난 양의 인터넷 텍스트로 학습된 유명한 AI 모델들(Gemma 및 MT5와 같은 모델)입니다. 이들은 문맥을 이해하는 데 매우 똑똑하도록 설계되었습니다.
   • 비유: 이들은 세상의 모든 도서관을 다 읽은 듯한 아주 똑똑한 학생이지만, 자르마어 책은 많이 읽지 못했습니다. 그들은 다른 언어들에 대해 알고 있는 지식을 바탕으로 정답을 추측하려고 노력합니다.
   • 결과: 결과는 "그저 그랬지만", 고전했습니다. 자르마어를 충분히 공부하지 못했기 때문에, 자주 틀린 답을 추측하거나 이미 올바른 문장을 "교정"하려고 시도했습니다. 그들은 마치 자신이 거의 구사하지 못하는 언어로 수학 문제를 풀려는 학생과 같았습니다.

대규모 테스트

연구자들은 컴퓨터가 스스로 채점하게 두지 않았습니다. 그들은 다섯 명의 원어민 자르마 화자(실제 사람)를 불러 심판 역할을 맡겼습니다. 그들은 사람들에게 엉망이 된 300개의 문장을 주고, 각 도구가 문장을 얼마나 잘 고쳤는지 1점에서 5점 사이의 척도로 평가하도록 요청했습니다.

• 규칙 기반 모델: 논리적 오류를 고치는 데 0.4점을 받았습니다. 너무 경직되어 있었습니다.
• 똑똑한 학생: 1.0에서 1.7점을 받았습니다. 열심히 노력했지만 목표를 놓치는 경우가 많았습니다.
• 로봇 번역가: 3.0점을 받았습니다. 이 모델이 명확한 승자였으며, 실제 사람들이 이해하고 만족할 만한 교정문을 만들어냈습니다.

"이중 확인" (밤바라어)

그들의 결과가 자르마어에만 나타난 우연한 행운이 아님을 증 확인하기 위해, 그들은 동일한 실험을 다른 서아프리카 언어인 **밤바라(Bambara)**어에 대해서도 실시했습니다.

• 결과: 로봇 번역가(M2M100)가 다시 한번 승리했습니다. 이는 그들의 방법론이 자르마어뿐만 아니라 다른 저자원 언어에도 적용될 수 있음을 증명했습니다.

핵심 요약

이 논문은 디지털 자원이 아직 풍부하지 않은 언어의 경우, 기계 번역 모델(M2M100과 같은)을 사용하는 것이 현재 가장 좋은 방법이라고 결론짓습니다.

• 규칙 기반 도구는 단순한 철자에는 좋지만, 복잡한 사고에는 실패합니다.
• **AI "똑똑한 학생"(LLM)**은 강력하지만, 이 언어들에 효과적이려면 더 구체적인 학습 데이터가 필요합니다.
• "번역가" 접근 방식은 여러 언어의 패턴을 배워서 망가진 문장을 어떻게 고칠지 알아내기 때문에 현재 가장 신뢰할 수 있는 도구입니다.

요약하자면, 오늘날 자르마 텍스트를 고치고 싶다면, 단순한 사전이나 일반적인 AI 챗봇에 의존하지 마세요. 대신 "망가진" 문장을 "완벽한" 문장으로 바꾸도록 훈련된 전문 번역 모델을 사용하세요.