Automatic Correction of Writing Anomalies in Hausa Texts

하우사어를 서아프리카의 활기차고 붐비는 시장으로 상상해 보세요. 약 8 천만 명이 이 언어를 사용합니다. 수십 년 동안 이 시장은 구두로 번창해 왔습니다. 하지만 최근에는 사람들이 자신의 상품을 디지털 시장 (소셜 미디어, 문자 메시지, 인터넷) 으로 가져오기 시작했습니다. 문제는 무엇일까요? 이 디지털 분주함 속에서 "상품" (텍스트) 이 엉망이 되고 있습니다.

사람들은 너무 빠르게 입력하여 문자를 혼동하거나 단어 사이에 공백을 넣는 것을 잊어버립니다. 마치 요리법을 쓰다가 실수로 "소금"을 "설탕"으로 바꾸거나, 모든 단어를 하나의 거대하고 끊을 수 없는 블록으로 이어 쓰는 것과 같습니다. 인간은 쉽게 의도를 추측할 수 있지만, 컴퓨터는 완전히 혼란에 빠집니다. 이 엉망진창은 번역 앱이나 검색 엔진과 같은 유용한 도구가 하우사 화자들을 위해 제대로 작동하는 것을 막습니다.

이 논문은 이 엉망진창을 자동으로 정리하는 디지털 청소부를 구축하는 것에 관한 것입니다.

문제: 디지털 시대의 "오타"

저자들은 온라인상의 하우사 텍스트에 특정 유형의 오류가 가득 차 있음을 발견했습니다.

• 문자 교체: 하우사어에는 '훅' 모양이 달린 특수 문자 (ɓ, ɗ, ƙ, ƴ 등) 가 있는데, 이는 표준 영어 문자처럼 보이지만 소리는 다릅니다. 사람들은 종종 대신 평범한 영어 버전 (b, d, k, y) 을 입력합니다. 'bat'를 쓰려다 'cat'을 쓰는 것과 같습니다. 사소한 변화가 의미를 완전히 바꿔버리는 것입니다.
• 공백 혼란: 때로는 공백이 삭제되어"go home"이"gohome"처럼 보이기도 하고, 때로는 필요 없는 곳에 공백이 추가되기도 합니다.

저자들은 고전적인"닭과 달걀"문제를 지적합니다. 컴퓨터에게 이러한 오류를 수정하는 법을 가르치려면"엉망"인 문장과 그"깨끗한"버전이 짝을 이룬 거대한 도서관이 필요합니다. 하지만 하우사어에 대해서는 이런 자료가 한 번도 수집된 적이 없습니다.

해결책:"인공 노이즈"공장

훈련할 만한 실제의 엉망인 텍스트를 충분히 찾을 수 없었기 때문에, 저자들은 엉망진창을 직접 제조하기로 결정했습니다.

1. 깨끗한 도서관: 위키백과와 공식 문서와 같은 소스에서 40 만 개 이상의 깨끗하고 고품질의 하우사 문장을 수집했습니다.
2. 노이즈 기계: 이 깨끗한 문장을 고의로"파괴"하는 컴퓨터 프로그램을 구축했습니다. 이 프로그램은 문자를 무작위로 교체하고, 공백을 삭제하며, 문자를 중복시켜 소셜 미디어에서 인간이 실제로 실수하는 방식을 모방했습니다.
3. 보정: 단순히 텍스트를 무작위로 망가뜨린 것이 아니라, 실제 트위터 게시물을 연구하여"가짜"실수가"진짜"실수와 정확히 같아 보이도록 하고 느낌을 동일하게 만들었습니다. 40 만 개의 쌍으로 구성된 방대한 데이터셋을 만들었습니다: 엉망인 문장 $\rightarrow$ 깨끗한 문장.

훈련: 컴퓨터에게 가르치기

이 새로운 데이터셋을 통해 여러 가지 다른 유형의 AI 모델 (시험을 치르는 다양한 학생들) 을 훈련시켰습니다. 이들에게 다음과 같이 물었습니다."여기 엉망인 문장이 있습니다. 올바르게 다시 써 주세요."

다음과 같은 다양한"학생"들을 테스트했습니다.

• M2M100: 100 개 언어 간 번역을 위해 설계된 다국어 모델.
• AfriTeVA: 아프리카 언어에 특화되어 훈련된 모델.
• N-ATLaS: Llama 3 기반의 매우 크고 강력한 모델.

놀라운 결과:
가장 크고 비싼 모델 (N-ATLaS) 이 우승할 것이라고 예상할 수 있습니다. 실제로 그 모델은 매우 잘 수행했지만, 훨씬 작고 가벼운 M2M100모델이 많은 경우 그 못지않게, 혹은 더 잘 수행했습니다. 무겁고 연료를 많이 먹는 트럭보다 작고 민첩한 스포츠 카가 경주에서 이긴 것과 같습니다. 이는 작은 모델이 더 저렴하고 빠르게 실행될 수 있기 때문에 매우 좋은 소식입니다.

텍스트 정리가 실제로 도움이 될까요?

저자들은 텍스트 정리에서 멈추지 않았습니다. 깨끗한 방이 실제로 작업자들 (AI 도구) 이 더 잘 일하도록 돕는지 확인하고 싶었습니다. 세 가지 시나리오를 테스트했습니다.

1. 텍스트 분류 (장르 감지): 이야기를 유형 (예: 뉴스 대 문학) 으로 분류하라고 요청했을 때, AI 는 엉망인 텍스트로 어려움을 겪었습니다. 텍스트가 정리되자 AI 의 성능이 원래의 높은 수준으로 돌아왔습니다.
2. 번역 (하우사어에서 영어로): 이것이 가장 극적이었습니다. 엉망인 하우사어를 번역할 때 번역 품질이 크게 떨어졌습니다. 먼저 하우사어 텍스트를 정리한 후 번역하자 영어 번역이 훨씬 더 정확해졌습니다. 크레용 낙서로 쓰인 요리법을 번역하는 것과 깔끔한 필기로 쓰인 요리법을 번역하는 것과 같습니다. 깔끔한 버전이 훨씬 더 좋은 요리를 만들어냅니다.
3. 질문 답변 (LLM): 하우사어로 AI 챗봇에게 질문할 때, 엉망인 텍스트는 봇이 혼란을 겪거나 잘못된 답변을 하게 만들었습니다. 텍스트를 정리하자 봇이 질문을 더 잘 이해하게 되었지만, 일부 복잡한 작업 (예: 수학) 은 정리 후에도 여전히 까다로웠습니다.

한계점: 청소부는 완벽하지 않습니다

저자들은 결함에 대해 솔직합니다. 그들의"디지털 청소부"는 완벽하지 않습니다.

• 맥락 혼란: 때로 AI 는 철자 오류를 수정하지만 의미를 변경합니다. 예를 들어, 이름을 수정하되 특정 하우사어 버전이 아닌 다른 언어에서 흔한 이름 버전을 사용할 수 있습니다.
• "수정 불가능한"오류: 어떤 경우에는 노이즈가 너무 심해 AI 가 원래 의미를 추측할 수 없었고, 문장은 말도 안 되는 소리가 되었습니다.

결론

이 논문은 디지털 하우사어를 정리하기 위한 청사진을 제공합니다. 방대한 인공 데이터셋을 생성하고 효율적인 스마트 AI 모델을 훈련시킴으로써, 저자들은 작성 오류를 자동으로 수정할 수 있음을 보여주었습니다. 이는 단순히 텍스트를 더 보기 좋게 만드는 것을 넘어, 번역기나 챗봇과 같은 다른 도구들이 수백만 명의 하우사 화자를 위해 마침내 효과적으로 작동할 수 있도록 하는 기반을 마련합니다.

저자들은"엉망에서 깨끗한"데이터셋과 코드를 공개하여, 다른 연구자들이 이러한 도구를 하우사어뿐만 아니라 유사한 디지털 성장통을 겪는 다른 언어들을 돕는 데 사용할 수 있도록 했습니다.