Svarna: An Open Corpus Workbench for Modern Greek

기술 요약: Svarna – 현대 그리스어를 위한 오픈 코퍼스 워크벤치

문제 제기
지난 20년 동안 헬레닉 내셔널 코퍼스(HNC), 그리스 텍스트 코퍼스(CGT), 그리고 CC-100 및 mC4와 같은 다양한 다국어 데이터셋을 포함하여 수많은 그리스어 자원이 개발되었음에도 불구하고, 그리스어 코퍼스 인프라는 심각하게 파편화되어 있다. 연구자와 실무자들은 상당한 장벽에 직면해 있다: 자원들이 호환되지 않는 플랫폼에 흩어져 있고, 많은 경우 접근을 위해 기관 자격 증명이 필요하며, 일부는 더 이상 온라인에서 안정적으로 이용할 수 없거나, 쿼리를 수행하기 위해 전문적인 소프트웨어 설치나 언어학적 지식을 요구하기도 한다. 결과적으로, 기술적인 오버헤드 없이 다양한 레지스터(제도적, 문학적, 방언, 소셜 미디어, 역사적 텍스트)에 걸쳐 그리스어 텍스트를 검색하고 분석할 수 있는 단일하고 접근 가능한 인터페이스가 존재하지 않는다.

방법론 및 시스템 아키텍처
이러한 격차를 해소하기 위해, 본 논문은 무료 오픈 소스 웹 기반 코퍼스 워크벤치인 Svarna를 소개한다. 이 시스템은 단순한 클라이언트-서버 아키텍처를 기반으로 구축되었다:

• 백엔드: 단일 페이지 HTML/JavaScript 프론트엔드를 제공하는 FastAPI 기반의 Python 애플리케이션이다. FTS5 (Full-Text Search 5) 확장이 적용된 SQLite 데이터베이스를 활용한다. FTS5의 unicode61 토크나이저는 그리스어 유니코드 문자와 성조(diacritics)를 적절하게 처리한다.
• 데이터 구조: 각 코퍼스는 문장 본문, 레지스터 레이블, 출처 정보가 담긴 JSON 형식의 메타데이터를 포함하는 F_TS5 가상 테이블(sentences)을 가진 독립적인 SQLite 파일로 구성된다. 미리 계산된 marker_frequencies 테이블은 93개의 그리스어 담화 표지(discourse markers) 빈도를 저장한다.
• 처리 전략: 모든 지표에 대해 사전 계산된 인덱스에 의존하는 시스템과 달리, Svarna는 Python을 사용하여 **쿼리 시점(query time)**에 텍텍스트 처리(토큰화, 빈도 계산, n-gram 추출, 공기어 점수 산출)를 수행한다. 이 방식은 데이터베이스 스키마를 단순하게 유지하고 인덱스 구축을 가속화하지만, 계산 집약적인 쿼리(예: 고빈도 단어에 대한 공기어 추출)의 경우 응답 시간이 느려질 수 있다.
• 배포: 애플리케이션은 Docker로 컨테이너화되어 Azure Container Apps에 배포된다. 5개의 데이터베이스 파일은 Azure File Share에 저장되어 런타임 시 마운트되며, 이를 통해 코드와 데이터를 분리하여 컨테이너 이미지를 다시 빌드하지 않고도 업데이트가 가능하도록 한다.
• 확장성: 시스템은 모듈성을 갖도록 설계되었다. 새로운 코퍼스를 추가하려면 텍스트를 문장 단위로 분할하여 표준 스키마에 저장하는 제공된 빌드 스크립트를 실행한 후, 환경 변수를 통해 데이터베이스를 등록하면 된다. 자동화를 위해 glossAPI 이니셔티브로부터의 인입을 지원하는 파이프라인(svarna-glossapi)이 제공된다.

주요 기여 및 기능
Svarna는 총 5억 7백만 단어 및 약 2,900만 문장에 달하는 다섯 가지의 뚜렷한 데이터베이스를 통합한다:

1. 코퍼스 데이터베이스: 제도적 및 일반 목적의 텍스트 (위키피디아, 의회 회의록, 웹 크롤링 데이터, 자막, Europarl, 트리뱅크 등).
2. 문학 데이터베이스: 창작 텍스트 (Project Gutenberg, BabyLM 아동 지향 입력 데이터, 전간기 시, Tesserae 고전 그리스어 코퍼스).
3. 방언 데이터베이스: GRDD+ 컬렉션의 9개 방언 그룹 (크레타, 키프로스, 폰틱스 등).
4. 소셜 미디어 데이터베이스: 독성(toxicity) 레이블이 지정된 그리스어 Twitter/X 데이터.
5. 역사적 데이터베이스: CLARIN:EL Crete 컬렉션.

플랫폼은 미니멀한 웹 인터페이스를 통해 다음과 같은 분석 기능을 제공한다:

• 컨코던서(Concordancer): 구절 매칭, 접두사 쿼리, 불리언 연산자를 지원하는 KWIC (Key Word in Context) 검색.
• 빈도 분석(Frequency Analysis): 레지스터별 원시 및 정규화된(백만 단어당) 빈도 수를 계산하며, 표와 막대 그래프로 시각화한다.
• 공기어 추출(Collocation Extraction): **점별 상호 정보량(PMI)**을 사용하여 유의미한 단어 쌍을 식별하며, 순위 표와 힘 지향 네트워크(force-directed networks)로 시각화한다.
• 담화 표지(Discourse Markers): 11개 기능적 범주에 걸친 93개 표지의 사전 계산된 목록을 제공하며, 레지스터별 분포 프로필을 제공한다.
• 레지스터 비교(Register Comparison): 로그 비율 키니스(log-ratio keyness) 점수를 사용하여 한 레지스터가 다른 레지스터에 비해 통계적으로 과잉 대표되는 단어를 식별한다.
• 텍스트 분석: n-gram 리스트, 분산 플롯, 공기어 네트워크를 포함한 Voyant 스타일의 도구.
• 정규 표현식 검색(Regex Search): 형태론적 또는 철자 패턴을 위한 원시 정규 표현식 매칭.
• LLM 통합: 사용자가 검색 결과를 대규모 언어 모델(사용자 제공 API 키를 통해)에 제출하여 화용론적 주석을 달거나 개방형 연구 질문을 던질 수 있는 선택적 레이어.

결과 및 한계
본 논문은 사용 사례를 통해 시스템의 유용성을 입증한다. 예를 들어, 격식 있는 레지스터 편향을 보이는 표지 ωστόσο와 중립적인 레지스터의 όμως를 즉각적으로 시각화하거나, 접속사 είναι의 방언적 변이를 분석하는 식이다.

저자들은 다음과 같은 몇 가지 한계점을 명시적으로 인정한다:

• 기회적 샘플링(Opportunistic Sampling): 이 코퍼스는 전통적인 의미에서 균형 잡힌 컬렉션이 아니다. 자유롭게 이용 가능하고 재배포 가능한 데이터에 의존하므로, 일상 대화보다 위키피디아나 의회 회의록 같은 출처가 과잉 대표될 수 있다.
• 근사치(Approximation): 빈도 및 공기어 통계는 전체 코퍼스의 사전 계산이 아닌 매칭된 샘플을 기반으로 하므로, 매우 흔한 단어에 대한 결과는 근사치이다.
• 확장을 위한 기술적 장벽: 현재 새로운 코퍼스를 추가하려면 로컬에서 빌드 스크립트를 실행하고 셀프 호스팅을 해야 하며, 이는 일정 수준의 기술적 역량을 요구한다.

의의
본 논문은 Svarna를 Sketch Engine이나 CQPweb과 같은 풍부한 자원을 가진 도구의 대체재가 아니라, 기존의 흩어져 있고 종종 접근이 불가능한 무료 자원들을 결집하는 필수적인 도구로 규정한다. Svarna의 주요 의의는 로그인, API 키, 또는 소프트웨어 설치 없이도 여러 레지스터와 방언에 걸쳐 5억 단어 이상의 현대 그리스어를 검색할 수 있는 최초의 무료 오픈 소스 웹 기반 플랫폼을 제공한다는 점에 있다. FTS5와 범용 빌드 파이프라인을 활용하여 재사용 가능한 언어 독립적 아키텍처를 제공함으로써, Svarna는 향후 더 포괄적인 연구를 위한 토대를 마련하고 더욱 정교한 노력을 위한 기초를 다지는 역할을 목표로 한다.