Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

언어는 단순히 단어들의 흐름 그 이상입니다. 그것은 모든 단어가 특정한 역할을 수행하고, 형태가 변해온 역사와 다른 단어들과의 관계망을 지니고 있는 구조화된 체계입니다. 컴퓨터가 언어를 이해하기 위해서는 이 구조의 지도, 즉 '렉시콘(lexicon)'이라 불리는 디지털 사전가 필요합니다. 이 지도는 단순히 단어와 그 의미를 나열하는 데 그치지 않고, 명사가 남성형인지 여성형인지, 혹은 동사가 타동사인지 자동사인지와 같은 문법적 세부 사항까지 기록합니다. 세계의 많은 언어의 경우, 이러한 지도들은 이미 방대하고 상세하게 구축되어 있어 컴퓨터가 텍스트를 매우 정확하게 번역, 검색 및 분석할 수 있게 해줍니다. 그러나 아프리카의 뿔 지역과 디아스포라 전역에서 수백만 명이 사용하는 언어인 소말리어의 경우, 이러한 디지털 지도들은 불완전한 상태였습니다. 소말리어에는 풍부한 인쇄 사전 전통이 있지만, 그 안의 정보는 인간의 눈에 적합한 형식 속에 갇혀 있어 기계가 체계적으로 사용하기 어려웠습니다.

Ogaal Labs의 연구팀은 이제 그 잠금을 해제했습니다. 그들은 'Qaamuuska-NLP'라고 불리는 새로운 디지털 자원을 생성했는데, 이는 2012년에 출간된 주요 인쇄 소말리어 사전에서 직접 추출한 46,314개의 항목으로 구성된 구조화된 컬렉션입니다. 연구진은 단순히 페이지를 스캔하여 이미지를 텍스트로 변환하는 방식을 사용하지 않았습니다. 그런 방식은 종종 오류를 유발하기 때문입니다. 대신, 그들은 사전 PDF 파일 내에 이미 존재하는 디지털 텍스트 레이어를 활용했습니다. 그들은 책의 레이아웃을 읽고, 하나의 단어 항목이 어디서 끝나고 다음 항목이 어디서 시작되는지 식별하며, 서식 속에 숨겨진 구체적인 문법적 단서들을 추출해내는 정밀한 규칙 기반 지침 세트를 구축했습니다. 그 결과, 원래 사전의 조직 체계를 보존하면서도 컴퓨터가 즉각적으로 쿼리할 수 있는 구조적 층위를 더한 깨끗하고 기계 판독이 가능한 데이터베이스가 탄생했습니다. 이 작업은 원본 도서를 대체하는 것이 아니라, 그 깊은 언어적 지식을 소프트웨어가 구사할 수 있는 새로운 언어로 번역하는 것입니다.

이 새로운 자원의 원천은 Annarita Puglielli와 Cabdalla Cumar Mansuur가 편집한 포괄적인 단일 언어 사전인 Qaamuuska Af-Soomaaliga입니다. 단순한 단어 목록과 달리, 이 책에는 소말리어가 어떻게 작동하는지 이해하는 데 필수적인 풍부한 문법 정보를 담고 있습니다. 이 책은 명사의 성별, 동사의 부류, 그리고 동사가 목적어를 필요로 하는지 여부를 알려줍니다. 또한 유의어, 다른 단어와의 상호 참조, 그리고 단어가 의학이나 법률과 같은 특정 분야에 속하는지를 나타내는 라벨도 포함하고 있습니다. 연구진의 과제는 이 정보가 깔끔한 데이터 열로 저장된 것이 아니라, 인쇄된 페이지의 시각적 디자인 안에 내장되어 있었다는 점이었습니다. 이 사전은 두 개의 텍관 텍스트 열을 사용하며, 단어의 의미 차이를 구분하기 위해 특정 약어와 작은 위첨자 숫자를 사용합니다. 디지털 버전을 구축하기 위해 연구진은 예시를 통해 배우거나 추측할 필요 없이 이 레이아웃을 탐색할 수 있는 컴퓨터 프로그램을 작성했습니다. 이 프로그램은 페이지의 왼쪽 열을 읽은 다음 오른쪽 열을 읽으며, 새로운 단어 항목의 시작을 알리는 반복적인 패턴을 스캔합니다.

프로그램이 단어 항목을 식별하면, 텍스트를 구성 요소별로 분해했습니다. 본 단어를 정의, 문법 태그, 그리고 다른 단어에 대한 참조와 분리했습니다. 연구팀은 사전이 46,314개의 별개 레코드를 포함하고 있음을 발견했습니다. 이 중 약 25,000개는 실제 정의를 제공했으며, 나머지 21,000개는 독자를 다른 항목으로 안내하는 상호 참조였습니다. 추출 과정은 사전의 유용성을 결정짓는 문법적 세부 사항을 포착하는 데 매우 성공적이었습니다. 34,726개의 명사 항목 중 시스템은 거의 모든 명사에 대해 성별(남성, 여성 또는 양성 가능)을 성공적으로 식별했습니다. 11,445개의 동사 항목의 경우, 시스템은 거의 모든 동사에 대해 굴절 부류와 타동성/자동성 여부를 포착했습니다. 연구진은 또한 새로운 구조화된 데이터와 함께 각 항목의 원문 텍스트를 보존했습니다. 이를 통해 데이터베이스를 사용하는 누구나 언제든지 원본 소스를 확인하여 정보를 검증할 수 있도록 함으로써, 디지털 지도와 물리적 도서 사이의 연결성을 유지했습니다.

연구진은 사전의 문법적 라벨이 실제 단어의 형태와 얼마나 잘 일치하는지를 살펴봄으로써 작업의 품질을 테스트했습니다. 그들은 간단한 질문을 던졌습니다. "단어의 끝부분만 보고도 그 문법적 범주를 예측할 수 있는가?" 그들은 단어의 마지막 몇 글자를 보고 성별이나 동사 부류를 추측하는 단순한 방법을 사용했습니다. 결과는 사전의 라벨이 무작위가 아님을 보여주었습니다. 동사 부류의 경우, 이 방법은 93.5%의 정확도를 보였는데, 이는 단순히 가장 흔한 부류를 추측하는 것보다 훨씬 뛰어난 수치였습니다. 명사 성별의 경우, 이 방법은 86.4%의 정확도를 보였습니다. 이 수치들은 사전에 담긴 문법 정보가 단어의 물리적 형태와 깊게 연관되어 있음을 시示하며, 추출된 데이터가 임의적인 선택이 아닌 실제 언어적 패턴을 반영하고 있음을 확인시켜 줍니다. 다만, 연구진은 이 테스트가 자원의 내부 일관성을 확인하기 위한 진단 도구였을 뿐, 실제 세상에서 소말어 텍스트를 분석하는 컴퓨터의 능력을 온전히 테스트한 것은 아니라고 언급했습니다.

이 새로운 자원은 소말어 기술 지형의 특정 공백을 메워줍니다. 다른 프로젝트들이 여러 사전을 결합하거나 단어 형태의 목록을 생성하는 데 집중했다면, 이 작업은 단일 권위 있는 출처의 구조를 보존하는 데 초점을 맞추고 있습니다. 이는 원저자들이 언어를 조직한 방식과 편집 결정을 그대로 포착합니다. 데이터베이스에는 11,415개의 유의어 링크와 21,032개의 상호 참조가 포함되어 있어, 사전 자체의 논리 안에서 단어들이 서로 어떻게 연결되는지를 보여주는 네트워크를 형성합니다. 또한 의학, 물리학, 법률과 같은 전문 분야에 속하는 1,945개의 항목을 식별하여, 소말어 기술 어휘 구축을 위한 출발점을 제공합니다. 연구진은 이 자원이 현재 사용되는 모든 소말어 단어를 전수 조사한 것이 아니라, 특정 2012년 사전의 표본임을 주의 깊게 밝히고 있습니다. 범위와 구체적인 정의는 원본 편집자들의 선택을 반영합니다.

저자들은 이 접근 방식의 한계점을 솔직하게 인정하고 있습니다. 추출 규칙이 이 특정 도서의 레이아웃에 맞춰 설계되었기 때문에, 수정 없이 다른 사전에 직접 적용할 수는 없습니다. 또한 팀은 원본 PDF에 아포스트로피(apostrophe) 입력 방식에 일부 불일치가 있어 단어 간의 정확한 일치를 방해할 수 있다고 언급했으나, 향후 수정을 위해 원문은 그대로 유지했습니다. 나아가, 추출 코드와 데이터의 통계적 요약은 공개를 준비 중이지만, 46,314개의 전체 단어와 그 정의는 아직 자유롭게 공유할 수 없습니다. 이는 원본 사전이 저작권 보호를 받고 있으며, 연구진이 전체 콘텐츠를 재배포하기 위한 필요한 허가를 받는 과정을 진행 중이기 때문입니다. 해당 허가가 내려지기 전까지 전체 데이터셋은 개인적인 연구 산물로 남겠지만, 사용된 방법론은 다른 이들이 연구하고 응용할 수 있도록 공개될 예정입니다.

이 작업의 가치는 정적인 책을 역동적인 도구로 바꾸는 능력에 있습니다. 사전을 구조화된 형식으로 변환함으로써, 연구진은 컴퓨터가 문법적 속성에 따라 단어를 검색하고, 유의어 및 상호 참조의 네트워크를 추적하며, 전문 용어의 분포를 분석할 수 있게 만들었습니다. 이것이 소말어 자연어 처리의 모든 문제를 해결하는 것은 아니지만, 고품질의 큐레이션된 데이터를 바탕으로 한 견고한 토대를 제공합니다. 이는 가치 있는 언어적 지식이 인쇄된 책 속에 잠들어 있을 때, 그것을 끌어낼 방법이 있다면 어떻게 실현될 수 있는지를 보여줍니다. Qaamuuska-NLP 프로젝트는 세심한 규칙 기반 접근 방식을 통해 원본의 뉘앙스와 구조를 잃지 않으면서도 지식을 복구할 수 있음을 보여주며, 소말어를 디지털 시대에 접목시키려는 연구자, 교육자, 개발자들에게 새로운 자원을 제공합니다.