Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

言語は単なる言葉の連なりではありません。それは、すべての単語が特定の役割を担い、その形態の変化の歴史を持ち、他の単語との関係性のネットワークを形成している、構造化されたシステムなのです。コンピュータが言語を理解するためには、この構造の地図が必要です。この地図は「レキシコン（語彙目録）」と呼ばれ、単に単語とその意味を列挙するだけでなく、名詞が男性名詞か女性名詞か、あるいは動詞が「誰かに対して行われる動作」を表すのか「単独で行われる動作」を表すのかといった文法的な詳細も記録したデジタル辞書です。世界の多くの言語において、これらの地図はすでに膨大かつ詳細に整備されており、コンピュータによる翻訳、検索、テキスト分析の高精度な実行を可能にしています。しかし、アフリカの角の地域やディアスポラにわたって数百万人が話すソマリア語においては、これらのデジタル地図は不完全なままでした。ソマリア語には豊かな印刷辞書の伝統がありますが、その中の情報は人間の目向けに設計された形式の中に閉じ込められており、機械が体系的に利用することを困難にしていました。

Ogaal Labsの研究チームは、今まさにその鍵を開けました。彼らは「Qaamuuska-NLP」と呼ばれる新しいデジタル・リソースを作成しました。これは、2012年に出版された主要な印刷版ソマリア語辞書から直接抽出された、46,314件のエントリからなる構造化されたコレクションです。研究者たちは、単に本のページをスキャンして画像をテキストに変換したわけではありません。そのプロセスではしばしばエラーが発生するためです。代わりに、彼らは辞書のPDFファイル内に既に存在していたデジタル・テキスト層を活用しました。彼らは、本のレイアウトを読み取り、一つの単語エントリがどこで終わり、次のエントリがどこから始まるかを特定し、フォーマットの中に隠された特定の文法的手がかりを抽出するための、精密なルールベースの指示セットを構築しました。その結果、元の辞書の構成を保持しながら、コンピュータが即座にクエリを実行できる構造のレイヤーを加えた、クリーンでマシンリーダブルなデータベースが誕生しました。この作業は元の本に取って代わるものではなく、むしろその深い言語学的知識を、ソフトウェアが話すことができる新しい言語へと翻訳するものなのです。

この新しいリソースの出典は、Annarita PuglielliとCabdalla Cumar Mansuurによって編集された包括的な単一言語辞書『Qaamuuska Af-Soomaaliga』です。単純な単語リストとは異なり、この本にはソマリア語の仕組みを理解するために不可欠な豊富な文法情報が含まれています。そこには名詞の性、動詞のクラス、そして動詞が直接目的語を必要とするかどうかといった情報が記されています。また、類義語、他の単語への相互参照、さらには医学や法律といった特定の分野に属するかどうかを示すラベルも含まれています。研究者たちの課題は、これらの情報が整然としたデータの列として保存されているのではなく、印刷されたページの視覚的なデザインの中に埋め込まれていたことでした。この辞書は、二段組みのテキスト、特定の略語、そして見た目は同じだが意味が異なる単語を区別するための小さな上付き数字を使用しています。デジタル版を構築するために、研究者たちは、推測や例からの学習を必要とせずにこのレイアウトをナビゲートできるコンピュータ・プログラムを作成しました。プログラムはページの左カラムを読み、次に右カラムを読み、そして新しい単語エントリの開始を示す繰り返されるパターンをスキャンします。

プログラムが一度単語エントリを特定すると、テキストをその構成要素へと分解しました。メインの単語を、その定義、文法的タグ、および他の単語への参照から分離したのです。チームは、辞書に46,314の明確なレコードが含まれていることを発見しました。このうち、約25,000件は実際の定義を提供しており、残りの21,000件は読者を別のエントリへと導く相互参照でした。抽出プロセスは、辞書を有用にする文法的詳細を捉える上で非常に高い成功を収めました。34,726の動詞エントリに対し、システムはほぼすべてにおいて、その名詞の性を男性、女性、または両方の可能性があるものとして特定することに成功しました。11,445の動詞エントリについては、システムはほぼすべてのケースで、活用クラスと、その動詞が他動詞か自動詞かを捉えました。研究者たちは、新しい構造化データとともに、すべてのエントリの原文も保持しました。これにより、データベースを使用する誰もが常に元のソースを確認して情報を検証できるようになり、デジタル地図と物理的な本の間のつながりが保たれています。

研究者たちは、辞書の文法ラベルが実際の単語の形状とどの程度一致しているかを確認することで、自分たちの仕事の質をテストしました。彼らは、「ソマリア語の単語の末尾だけを見たとき、その文法的カテゴリーを予測できるか？」という単純な問いを投げかけました。彼らは、単語の最後の数文字を見て、その性や動詞クラスを推測するという直接的な手法を用いました。結果は、辞書のラベルがランダムではないことを示しました。動詞クラスについては、この手法は93.5パーセントの確率で正解し、最も一般的なクラスを単に推測する場合よりもはるかに優れた結果となりました。名詞の性については、この手法は86.4パーセントの確率で正解しました。これらの数値は、辞書の文法的情報が単語の物理的な形態と深く結びついていることを示唆しており、抽出されたデータが恣意的な選択ではなく、実際の言語パターンを反映していることを裏付けています。ただし、研究者たちは、このテストはリソースの内部的な一貫性をチェックするための診断ツールであり、現実世界におけるコンピュータのソマリア語分析能力の完全なテストではないことを注記しています。

この新しいリソースは、ソマリア語テクノロジーの景観における特定の空白を埋めるものです。他のプロジェクトが複数の辞書を組み合わせたり、単語の形態のリスト生成に焦点を当てたりしてきた一方で、この研究は、単一の権威ある情報源の構造を保持することに焦点を当てています。それは、編集者の決定事項や、原著者が言語を整理した特定の方法を捉えています。データベースには11,415件の類義語リンクと21,032件の相互参照が含まれており、辞書独自の論理の中で単語がどのように関連しているかを示すネットワークを構築しています。また、医学、物理学、法律などの専門分野に属する1,945のエントリを特定しており、ソマリア語におけるテクニカル・ボキャブラリー構築の出発点を提供しています。研究者たちは、このリソースは特定の2012年版辞書の表現であり、現在使用されているすべてのソマリア語の完全な調査ではないことに注意深く言及しています。範囲や特定の定義は、元の編集者による選択を反映しています。

著者たちは、このアプローチにおける限界についても率直に認めています。抽出ルールは特定のこの一冊の本のレイアウトに合わせて設計されているため、修正なしに別の辞書に直接適用することはできません。また、チームは、元のPDFにおいてアポストロフィの入力方法に不整合があったことを指摘しており、それが単語の完全な一致に影響を与える可能性があるとしていますが、将来の修正を可能にするために原文は保持しています。さらに、抽出コードとデータの統計的要約は公開準備が進められているものの、46,314語の全リストとその定義を自由に共有することはまだできません。これは、元の辞書に著作権があり、研究者がコンテンツ全体を再配布するための必要な許可をまだ確保している最中であるためです。この許可が得られるまでは、フルデータセットはプライベートな研究成果物として扱われますが、使用された手法自体は、他の人々が研究し適応できるように公開されています。

この仕事の価値は、静的な本を動的なツールへと変える能力にあります。辞書を構造化された形式に変換することで、研究者たちは、コンピュータが文法的特性に基づいて単語を検索したり、類義語や相互参照のネットワークを辿ったり、専門用語の分布を分析したりすることを可能にしました。これはソマリア語の自然言語処理におけるすべての問題を解決するものではありませんが、高品質で精査されたデータの強固な基礎を提供します。それは、貴重な言語学的知識が、しばしば印刷された本の中に眠っており、それを解き放つ方法を待っていることを示しています。Qaamuuska-NLPプロジェクトは、注意深くルールに基づいたアプローチを用いることで、元のソースのニュアンスや構造を失うことなく、この知識を回収することが可能であることを示しており、研究者、教育者、そしてソマリア語をデジタル時代へと導こうとする開発者に向けた新たなリソースを提供しています。