Svarna: An Open Corpus Workbench for Modern Greek

技術要約：Svarna – 現代ギリシャ語のためのオープン・コーパス・ワークベンチ

問題提起
過去20年間にわたり、Hellenic National Corpus (HNC)、Corpus of Greek Texts (CGT)、およびCC-100やmC4のような様々な多言語データセットを含む、数多くのギリシャ語リソースが開発されてきたにもかかわらず、ギリシャ語のコーパス・インフラストラクチャは極めて断片的な状態にある。研究者や実務家は、重大な障壁に直面している。リソースは分散しており、互換性のないプラットフォーム上に存在し、多くはアクセスに機関用資格情報を必要とし、中にはオンラインでの利用が信頼できなくなっているものや、検索のために専門的なソフトウェアのインストールや言語学的知識を必要とするものもある。その結果、技術的なオーバーヘッドなしに、多様なレジスター（制度的、文学的、方言、ソーシャルメディア、歴史的）にわたるギリシャ語のテキストを検索・分析できる単一のアクセシブルなインターフェースが存在しない。

手法およびシステム・アーキテクチャ
これらのギャップに対処するため、本論文では、自由でオープンソースのウェブベースのコーパス・ワークベンチであるSvarnaを紹介する。本システムは、シンプルなクライアント・サーバー・アーキテクチャに基づいて構築されている：

• バックエンド: PythonアプリケーションであるFastAPIを使用し、シングルページHTML/JavaScriptフロントエンドを提供する。SQLiteデータベースと**FTS5 (Full-Text Search 5)**拡張機能を利用している。FTS5のunicode61トークナイザーは、ギリシャ語のUnicode文字とダイアクリティカルマーク（発音区別符号）の適切な処理を保証する。
• データ構造: 各コーパスは、FTS5仮想テーブル（sentences）を持つ自己完結型のSQLiteファイルであり、そこにはJSON形式のメタデータ（文の本文、レジスター・ラベル、ソース情報）が含まれている。事前計算されたmarker_frequenciesテーブルは、93種類のギリシャ語談話マーカーの頻度を格納している。
• 処理戦略: すべての指標に対して事前計算されたインデックスに依存するシステムとは異なり、SvarnaはPythonを用いてクエリ実行時にテキスト処理（トークン化、頻度計算、n-gram抽出、およびコロケーション・スコアリング）を行う。このアプローチにより、データベース・スキーマを単純に保ち、インデックス構築を加速させることができるが、計算負荷の高いクエリ（例：高頻度語のコロケーション抽出）に対してはレスポンスタイムが低下する可能性がある。
• デプロイメント: アプリケーションはDockerでコンテナ化され、Azure Container Appsにデプロイされる。5つのデータベースファイルはAzure File Shareに保存され、実行時にマウントされる。これにより、コードとデータを分離し、コンテナイメージを再構築することなくデータの更新を可能にしている。
• 拡張性: システムはモジュール性を考慮して設計されている。新しいコーパスを追加するには、テキストを文に分割して標準的なスキーマに従って保存するための提供済みビルド・スクリプトを実行し、その後、環境変数を通じてデータベースを登録する必要がある。自動化されたインジェスチョン（取り込み）のために、support pipeline（svarna-glossapi）が提供されている。

主な貢献と機能
Svarnaは、合計5億700万語、約2,900万文に及ぶ5つの異なるデータベースを統合している：

1. コーパス・データベース: 制度的および汎用的なテキスト（Wikipedia、議会録、ウェブ・クロール、字幕、Europarl、およびツリーバンク）。
2. 文学データベース: 創造的なテキスト（Project Gutenberg、BabyLMの子供向け入力、戦間期の詩、およびTesserae古典ギリシャ語コーパス）。
3. 方言データベース: GRDD+コレクションからの9つの方言グループ（クレタ、キプロス、ポンティスなど）。
4. ソーシャルメディア・データベース: 有毒性（toxicity）のラベルが付与されたギリシャ語のTwitter/Xデータ。
5. 歴史的データベース: CLARIN:EL Creteコレクション。

本プラットフォームは、最小限のウェブ・インターフェースを介して以下の分析機能を提供する：

• コンコーダンサー: フレーズ・マッチング、接頭辞クエリ、およびブーリアン演算子をサポートしたKWIC（Key Word in Context）検索。
• 頻度分析: レジスター間の生頻度および正規化（100万語あたり）された頻度カウントを、表と棒グラフで可視化。
• コロケーション抽出: **点相互情報量（PMI）**を用いて有意な単語の組み合わせを特定し、ランク表や力学モデルによるネットワークとして可視化。
• 談話マーカー: 11の機能的カテゴリに分類された93のマーカーの事前計算済みインベントリを提供し、レジスター別の分布プロファイルを表示。
• レジスター比較: **対数比キーネス・スコア（log-ratio keyness scores）**を用い、あるレジスターが別のレジスターに対して統計的に過剰に現れる単語を特定。
• テキスト分析: n-gramリスト、分散プロット、コロケーション・ネットワークを含むVoyantスタイルのツール。
• Regex検索: 形態論的または正書法的なパターンのための生の正規表現マッチング。
• LLM統合: ユーザーが提供するAPIキーを介して、検索結果を大規模言語モデル（LLM）に送信し、語用論的なアノテーションやオープンエンドな研究上の問いへの回答を得るためのオプション層。

結果と限界
本論文は、使用例を通じてシステムの有用性を実証している。例えば、「ωστόσο（しかしながら）」のフォーマルなレジスターへの偏りと、レジスター中立的な「όμως（しかし）」を即座に可視化したり、コピュラ（繋ぎ言葉）である「είναι」の方言的変異を分析したりすることができる。

著者らは、いくつかの限界を明示的に認めている：

• 機会主義的なサンプリング: 本コーパスは、伝統的な意味でのバランスの取れたコレクションではない。自由に利用可能で再配布可能なデータに依存しているため、日常会話と比較してWikipediaや議会録などのソースが過剰に代表されている。
• 近似値: 頻度およびコロケーションの統計は、フル・コーパスの事前計算ではなく、一致するサンプルに基づいているため、非常に一般的な単語の結果は近似値となる。
• 拡張における技術的障壁: 現在、新しいコーパスを追加するには、ローカルでビルド・スクリプトを実行してセルフホスティングする必要があり、一定レベルの技術的能力が求められる。

意義
本論文は、SvarnaをSketch EngineやCQPwebのようなリソース豊富なツールの代替品としてではなく、既存の、分散しており、かつしばしばアクセス困難な無料のリソースを統合するための不可欠な手段として位置づけている。その主要な意義は、ログイン、APIキー、またはソフトウェアのインストールを必要とせずに、複数のレジスターや方言にわたる5億語以上の現代ギリシャ語を検索できる、初の自由でオープンソースのウェブベースのプラットフォームを提供することにある。FTS5と汎用的なビルド・パイプラインを活用した、再利用可能で言語に依存しないアーキテクチャを提供することで、Svarnaはより包括的な研究のための基礎を築き、より洗練された取り組みに向けた「第一段階の掃討（first sweep）」として機能することを目指している。