Wiktionary as a Crowdsourced Lexicon for English Dialects

언어는 단일하고 견고한 덩어리가 아닙니다. 그것은 당신이 어디에 서 있느냐에 따라 변화하고 이동하는 살아있는 풍경입니다. 런던에서 의미를 갖는 단어가 오클랜드에서는 완전히 다른 의미를 가질 수도 있고, 혹은 뭄바이에서는 아예 존재하지 않을 수도 있습니다. 수십 년 동안 이러한 언어적 영토를 지도화해 온 사람들은 전통적인 사전, 즉 어떤 단어가 포함될 만큼 중요한지를 결정하기 위해 수년간 시간을 보내는 전문가 팀이 엮은 책들에 의존해 왔습니다. 하지만 언어의 세계는 그 어떤 편집자 팀보다도 빠르게 움직이고 있으며, 특히 전 세계에서 사용되는 다양한 영어의 경우 더욱 그렇습니다. 컴퓨터와 인공지능이 점점 더 보편화됨에 따라, 이러한 지역적 차이를 이해하도록 컴퓨터를 가르쳐야 할 필요성이 커지고 있습니다. 만약 컴퓨터가 뉴질랜드식 표현과 미국식 표현의 차이를 구별하지 못한다면, 그것을 사용하는 사람들을 이해하는 데 실패할 것입니다. 이는 기술의 공정성 문제로 이어지는데, 표준 영어만을 기반으로 구축된 시스템은 사람들이 실제로 말하는 풍부하고 다양한 방식들을 처리하는 데 어려움을 겪기 때문입니다.

이를 해결하기 위해 연구자들은 방대하면서도 최신 상태를 유지하는 언어 데이터를 수집하는 새로운 방법들을 모색하고 있습니다. 유망한 출처 중 하나는 누구나 편집할 수 있는 자유 온라인 사전인 위키낱말사전(Wiktionary)입니다. 소수의 전문가가 작성하는 전통적인 책들과 달리, 위키낱말사전은 전 세계 자원봉사자들이 항목, 정의, 예시를 추가하는 크라우드소싱 프로젝트입니다. 연구진이 던진 질문은 단순하지만 까다로웠습니다. 이 개방형 커뮤니티 구축 사전이 다양한 영어 방언을 위한 신뢰할 수 있는 지도로서 기능할 수 있는가? 구체적으로, 그들은 위키낱말사전이 유명한 옥스퍼드 영어 사전(Oxford English Dictionary)만큼 지역적 단어들을 잘 다루고 있는지, 그리고 그곳에서 발견된 단어들이 실제로 사람들이 소셜 미디어에서 나누는 대화 속에 등장하는지를 알고 싶었습니다.

연구진은 영국 영어와 미국 영어처럼 잘 알려진 변종부터 인도, 케냐, 필리핀의 영어 변종에 이르기까지 12가지 서로 다른 국가별 영어 변종에 대해 위키낱말사전의 내용을 옥스퍼드 영어 사전과 비교하며 시작했습니다. 그 결과, 전통적인 사전이 표준 미국 영어와 영국 영어의 규모 면에서는 여전히 약간의 우위를 점하고 있지만, 위키낱말사전이 다른 많은 지역에 대해서는 실제로 더 넓은 범위를 다루고 있다는 것을 발견했습니다. 캐나다, 아일랜드, 호주 영어의 경우, 위키낱말사전은 전통적인 사전보다 훨씬 더 많은 항목을 포함하고 있었습니다. 이러한 차이는 영어를 사용하는 전통적인 '내부 서클(inner circle)' 국가 이외의 지역에서 더욱 두드러졌습니다. 전통적인 사전에는 케냐 영어 또는 파키스탄 영어에 대한 항목이 전혀 없었지만, 위키낱말사전에는 이 변종들에 대한 수백 개의 항목이 있었습니다. 이는 커뮤니티 주도 모델이 전문 편집자들이 간과하거나 아직 포함할 시간이 없는 단어들을 포착하는 데 매우 뛰어나다는 것을 시사합니다.

이 단어들이 실제 세상에서 실제로 사용되고 있는지 테스트하기 위해, 연구팀은 소셜 미디어로 눈을 돌렸습니다. 그들은 인기 있는 온라인 포럼인 레딧(Reddit)의 국가별 커뮤니티에서 나온 수백만 개의 게시물과 댓글을 살펴보았습니다. 그들은 이 디지털 커뮤니티를 지리적 위치의 대리물로 취급했는데, 이는 뉴질랜드 커뮤니티에 글을 올리는 사람들은 뉴질랜드 영어를 사용하고 있을 가능성이 높다고 가정한 것입니다. 그런 다음 그들은 각 국가를 위한 위키낱말사전의 단어들이 해당 온라인 커뮤니티에서 빈번하게 나타나는지 확인했습니다. 결과는 강력한 연관성을 보여주었습니다. 사람들이 작성한 주요 게시물을 살펴볼 때, 위키낱말사전에서 발견된 단어들은 정확히 예상된 위치에 나타났습니다. 예를 들어, 뉴질랜드 특유의 단어들은 뉴질랜드 커뮤니티에서 가장 자주 나타났고, 인도 관련 단어들은 인도 커뮤니티에서 가장 자주 나타났습니다. 이러한 일치는 위키낱말사전이 단순히 단어 목록이 아니라, 사람들이 일상적인 디지털 삶 속에서 실제로 말하는 방식을 반영하고 있음을 시사합니다.

그러나 연구는 텍스트의 유형이 매우 중요하다는 점도 밝혀냈습니다. 사람들이 작성한 주요 게시물을 볼 때는 사전과 소셜 미디어 데이터 사이의 연결이 매우 강력했지만, 사람들이 남긴 답글(댓글)을 볼 때는 그 연결이 훨씬 약해졌습니다. 댓글 섹션에서는 언어가 더 대화적이었으며 종종 다른 언어들과 섞여 있었습니다. 예를 들어, 뉴질랜드 커뮤니티에서는 뉴질랜드 영어처럼 보이는 일부 단어들이 철자가 유사하다는 이유로 필리핀의 언어인 타갈로그어의 흔한 단어인 것으로 밝혀졌습니다. 이는 과제를 드러냈습니다. 즉, 사전가 유용하기는 하지만, 빠르고 상호작적인 대화 속에서 사람들이 언어를 사용하는 방식은 무질서할 수 있으며 다양한 요인의 영향을 받는다는 점입니다. 연구진은 사전이 빠른 주고받기 식의 댓글 스레드보다는 주요 게시물과 같이 더 공식적이거나 구조화된 텍스트를 다룰 때 가장 잘 작동한다는 것을 발견했습니다.

연구는 또한 단어가 어떻게 형성되는지도 면밀히 살펴보았습니다. 그들은 뉴질랜드 영어에 대해 위키낱말사전에서 발견된 새로운 단어의 유형을 전통적인 사전와 비교했습니다. 그들은 두 단어를 결합하거나 단어의 의미를 약간 바꾸는 것과 같은 단어를 만드는 패턴에서 매우 높은 수준의 일치성을 발견했습니다. 이는 비록 위키낱말사전이 자원봉사자들에 의해 작성되지만, 항목을 만드는 방식이 전문 언어학자들의 논리적 규칙을 따른다는 것을 시사합니다. 연구진은 위키-낱말사전이 관용구(특정한 의미를 가진 단어들의 집합)—전통적인 사전에서 종종 누락되는 것들—를 포함하는 데 특히 뛰어나다는 점에 주목했습니다. 이는 크라우드소싱 자원이 공식적인 책들이 때때로 남겨두는 언어의 다채롭고 표현력 있는 측면을 이해하는 데 특히 가치 있다는 것을 보여줍니다.

궁극적으로, 이 논문은 위키낱말사전이 특히 언어 기술에서 역사적으로 과소 대표되었던 지역들을 이해하는 데 있어 강력하고 실행 가능한 도구라고 결론짓습니다. 이것이 전문적인 사전의 필요성을 대체하는 것은 아니지만, 언어가 진화하는 모습에 대해 더 빠르고, 더 포용적이며, 더 최신의 관점을 제공함으로써 이를 보완합니다. 연구진은 이 데이터를 사용할 때 주의가 필요하다고 경고하는데, 특히 서로 다른 언어가 섞이거나 대화의 맥락이 단어의 의미를 변화시키는 온라인 대화를 다룰 때 그러합니다. 그러나 모두를 위한, 즉 다수만이 아닌 모두를 위해 작동하는 공정하고 정확한 언어 도구를 구축하려는 목표를 위해, 이 개방형 커뮤니티 구축 사전은 결정적인 퍼즐 조각을 제공합니다. 이는 사람들이 자신의 언어를 기록하기 위해 함께 모일 때, 깊이 있게 정확하면서도 놀라울 정도로 광범위한 자원을 만들어낸다는 것을 보여줍니다.