Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

활기차고 다국어적인 나이지리아의 풍경 속에서, 언어는 결코 단일하고 정적인 흐름이 아닙니다. 대신, 그것은 두 개의 언어가 한 문장 안에서 함께 흐르는 역동적인 전류와 같습니다. 코드 스위칭(code-switching)이라고 알려진 이 관행은 화자가 표준 영어와 수백만 명의 다양한 민족 집단을 잇는 가교 역할을 하는 활기찬 크레올 언어인 나이지리아 피진 영어(Nigerian Pidgin English) 사이를 유연하게 이동할 때 발생합니다. 텍스트를 이해하기 위해 엄격한 규칙과 명확한 범주에 의존하는 컴퓨터에게 이러한 유동성은 중대한 난제입니다. 전통적인 도구들은 특히 두 번째 언어인 피진이 단일화된 표준 철자가 없고 지역마다 크게 다르기 때문에, 어디에서 한 언어가 끝나고 다른 언어가 시작되는지를 구별하는 데 종종 어려움을 겪습니다. 이러한 전환을 정확하게 식별할 방법이 없다면, 컴퓨터는 수백만 명의 일상을 정의하는 풍부한 혼합 언어 대화를 효과적으로 처리할 수 없으며, 이는 디지털 기술로부터 방대한 부분의 인간 의사소통을 보이지 않게 만드는 결과를 초래합니다.

이 문제를 해결하기 위해, 뱅거 대학교(Bangog University)의 연구진은 이러한 혼합 언어 텍스트를 위한 새로운 종류의 지도를 만들기 위해 착수했습니다. 그들은 먼저 실제 세계의 글쓰기 모음을 수집했는데, 서른 권의 서로 다른 책에서 추출한 이야기, 온라인 포럼의 수천 개의 댓글, 그리고 수백 개의 뉴스 기사를 모두 모았습니다. 이 다양한 혼합은 뉴스 보고의 격식 있는 구조부터 인터넷 사용자의 격식 없는 빠른 대화에 이르기까지 사람들이 실제로 말하고 쓰는 전체 범위를 포착할 수 있도록 보장했습니다. 연구팀은 이후 "그라운드 트루스(ground truth)" 데이터셋, 즉 인간 전문가가 영어가 피진으로 바뀌거나 다시 영어로 돌아오는 모든 지점을 수동으로 표시한 정밀하게 검증된 참조 가이드를 만들었습니다. 이 인간이 검증한 지도는 모든 컴퓨터 모델이 테스트를 거칠 기준이 되는 골드 스탠다드(gold standard) 역할을 했습니다.

연구진은 여러 유형의 컴퓨터 프로그램이 스스로 이러한 전환을 감지하는 법을 학습하도록 훈련시켰습니다. 그들은 인간의 뇌가 단어의 시퀀스를 처리하는 방식을 모방하려고 시도하는 딥 러닝 모델과 같은 인공지능 분야의 일반적인 대상들을 시험했습니다. 또한 글자 집단의 패턴을 찾는 전통적인 통계적 분류기도 테스트했습니다. 그러나 가장 놀랍고 효과적이었던 도구는 상당히 다른 것이었습니다. 바로 압축 기반 모델(compression-based model)이었습니다. 간단히 말해, 이 유형의 프로그램은 특정 언어에서 글자들이 서로 어떻게 뒤따라오는지를 통계적 패턴으로 학습하며, 이는 마치 책을 너무 많이 읽어서 다음 단어를 생각하지 않고도 예측할 수 있는 사람과 같습니다. 연구진은 '부분 일치에 의한 예측(Prediction by Partial Matching)'이라는 특정 방법을 사용했는데, 이는 컴퓨터가 텍ек스트를 문자 단위로 분석하여 즉각적인 맥락을 바탕으로 다음에 올 확률 지도를 구축할 수 있게 해줍니다.

연구팀이 이러한 프로그램들을 인간이 검증한 지도와 대조하여 테스트했을 때, 결과는 시사하는 바가 컸습니다. 잘 작동하기 위해 엄청난 양의 데이터를 필요로 하는 딥 러닝 모델들은 예상보다 낮은 정확도를 기록하며 따라잡는 데 어려움을 겪었습니다. 전통적인 통계 모델들은 더 나은 성능을 보였으며, 특정 유형의 랜덤 포레스트(random forest) 분류기는 89%의 정확도에 도달했습니다. 하지만 압축 기반 모델들 역시 방대한 데이터셋 없이도 학습할 수 있음에도 불구하고, 가장 우수한 전통적 모델들과 대등하게 89%의 정확도를 기록했습니다. 이 압축 모델들이 특히 인상적이었던 점은 속도와 효율성이었습니다. 다른 모델들이 훈련하고 처리하는 데 더 오랜 시간이 걸린 반면, 압축 모델들은 언어의 패턴을 학습한 후 단 몇 초 만에 새로운 텍스트를 분석할 수 있었으며, 매우 적은 컴퓨팅 파워만을 요구했습니다.

연구는 또한 언어 자체에 대한 흥미로운 세부 사항을 밝혀냈습니다. 텍스트를 분석함으로써, 연구진은 나이지리아 피진이 표준 영어의 더 넓고 다양한 어휘와 비교하여 소수의 고빈도 단어에 크게 의존하며 더 압축된 어휘를 사용하는 경향이 있다는 것을 발견했습니다. 이러한 구조적 차이는 컴퓨터 모델이 두 언어를 구별하는 데 도움을 주었는데, 피진의 글자 시퀀스에 대한 통계적 패턴이 거대한 사전 없이도 인식될 만큼 충분히 독특했기 때문입니다. 모델이 어디에서 실수를 했는지 정확히 보여주는 혼동 행렬(confusion matrices)은 압축 모델이 피진을 식별하는 데 특히 뛰어났으며, 피진 구간을 거의 93% 정확하게 찾아냈지만, 간혹 일부 영어를 피진으로 오인하기도 한다는 것을 보여주었습니다.

궁극적으로 이 연구는 어려운 언어 문제를 해결하기 위해 항상 가장 복잡하고 데이터를 갈구하는 인공지능이 필요한 것은 아님을 입증합니다. 주요 세계 언어들이 보유한 방대한 디지털 아카이브가 부족한 나이지리아 피진과 같은 저자원 언어의 경우, 더 단순한 통계적 접근 방식이 가장 진보된 신경망만큼이나 효과적일 수 있습니다. 압축 기반 모델은 강력하고 빠르며 효율적인 대안임이 증명되었으며, 혼합 언어 텍스트를 높은 정밀도로 분절할 수 있었습니다. 새로운 수동 검증 데이터셋을 제공하고 이러한 경량 모델의 생존 가능성을 입증함으로써, 연구진은 미래의 도구들이 수백만 명의 다양한, 그리고 진화하는 언어를 사용하는 사람들의 풍부한 코드 스위칭 대화를 마침내 이해하고 처리할 수 있는 문을 열었습니다. 이는 디지털 기술을 더욱 포용적으로 만들 것입니다.