Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

インターネットを、何千もの異なる言語で書かれた本が詰まった、巨大で賑やかな図書館だと想像してみてください。長い間、司書たち（人工知能と呼ばれる賢いコンピュータプログラム）は、ラテン文字（英語、スペイン語、フランス語などで使われる文字）で書かれた本を読む方法しか知りませんでした。彼らはこれらの言語のための膨大な辞書を持っていましたが、エチオピアやエリトリアで使用されるゲエズ文字のような、他のスクリプトで書かれた本を読もうとすると、混乱してしまいました。彼らは単語を意味のない小さな断片に切り刻んでしまうか、あるいは手を挙げて「この単語は知らない！」と言ってしまうのです。これは、何百万人もの人々をデジタルな会話から疎外してしまう問題です。テキストを理解したり、答えを見つけたり、重要な名前を認識したりするための最高のツールを使うことができなくなってしまうからです。

これを解決するために、研究者たちはAIモデルに新しい単語を教えようとしてきました。しかし、それは一筋縄ではいきません。もし、新しい単語がどのように組み合わさるかを教えずに、ただ古い辞書の中に無理やり新しい単語を詰め込んだら、AIは迷子になってしまいます。この論文は、その具体的な課題、つまり、既存の「脳」を壊すことなく、ゲエズ文字という美しいスクリプトで書かれた主要な言語であるアムハラ語とティグリニャ語をようやく読み、理解できるように、いかにして超スマートなAIをアップグレードするかについて掘り下げています。

問題点：くっつかない「接着剤」

現代のAI言語モデルを、100の異なる言語で素晴らしい料理を作ることができる熟練のシェフだと考えてみてください。しかし、このシェフには非常に具体的なルールがあります。それは、彼らが使う食材（トークンと呼ばれます）が、主にラテン文字の言語向けに設計された既製品のセットに限られているということです。シェフがアムハラ語やティグリニャ語の料理を作ろうとすると、食材が適合しません。スクリプトが異なり、それは「音節アブギダ」です。つまり、各記号が単一の文字ではなく、子音と母音を合わせたものを表しているのです。

シェフの食材リストはこれらの言語には不適切であるため、単語を小さくて役に立たない「パン屑」のように切り刻んでしまいます。一つの単語が5つや6つの断片に分割されることもあり、多くの単語はシェフのパントリー（貯蔵庫）に存在すらしていません。AIが知らない単語に遭遇すると、単にそれを「UNK」（未知）とラベル付けし、すべての意味を捨て去ってしまいます。これにより、AIはニュース記事から人物の名前を見つけたり、ツイートが喜んでいるのか悲しんでいるのかを判断したりといったタスクにおいて、非常に拙いものになってしまいます。

解決策：カスタム仕立て屋としてのVEXMLM

研究者たちは、VEXMLMと呼ばれる新しいアプローチを紹介しました。VEXMLMを、シェフの既存の高品質なスーツ（AIモデル）を取り上げ、新しい体型に合わせてカスタムフィットさせる熟練の仕立て屋だと想像してください。彼らは単に新しい食材をパントリーに投げ込んだわけではありません。特定の、注意深いレシピに従って行いました。

まず、彼らはアムハラ語とティグリニャ語のために特別に作られた、全く新しいカスタム辞書を構築しました。ゲエズ文字に完璧に一致する3万個の新しいサブワード・ピース（単語の断片）を取り出し、それをAIの語彙に追加しました。これは、シェフに、調理しようとしている食材に実際に適した、新しい一揃いの専門的なナイフとスパイスを与えるようなものです。

しかし、ここが巧妙な点です。新しい食材をレシピに貼り付けただけでは、すぐに正しい味になるとは限りません。新しい単語は、どのように振る舞うべきかを知る必要があります。研究者たちは「平均初期化（mean initialization）」というテクニックを用いました。新しい単語が何を意味すべきかをランダムに推測する代わりに、AIの脳内にある既存のすべての単語の平均的な「風味」を計算し、新しい単方に対してその平均的な風味を与えました。これにより、システムに衝撃を与えることなく、新しい単語がスムーズに馴染むようにしました。

最後に、彼らは単に単語を追加しただけではありません。AIに、大量のアムハラ語とティグリニャ語のテキストを使用してしばらく「勉強」させました。これが「継続的な事前学習（continued pretraining）」フェーズです。これは、シェフが新しい食材を使って、その味をマスターするまで料理の練習をさせるようなものです。この学習セッションの後、彼らは質問回答、名前の認識、感情分析といった特定のタスクでAIをテストしました。

結果：大きな飛躍

結果は目覚ましいものでした。アムハラ語とティグリニャ語でテストした際、新しいVEXMLMモデルは明確な勝者となりました。

• 質問回答（Question Answering）: テキストの中から答えを見つけるよう求められた際、古いモデル（XLM-R）は正確な一致を66%の確率でしか正解できませんでした。VEXMLMはこれを**87%**まで引き上げました。これは大きな改善であり、AIが文章の文脈全体をより良く理解できるようになったことを意味します。
• 感情分析（Sentiment Analysis）: メッセージがポジティブかネガティブかを判断することにおいて、VEXMLMは80%の精度に達し、古いモデルの77%を上回り、さらに巨大な競合モデル（Glot500）の46%を圧倒しました。
• 名前の認識（NER）: ここは通常、「未知の単語」の問題が最も深刻な影響を与える部分です。古いモデルは知らない単語に苦戦し、正解率はわずか81.4%でした。VEXMLMはこれを**94.3%**にまで押し上げました。

興味深いことに、研究者たちは、新しい語彙はアムハラ語とティグリニャ語のために特別に構築されたものであるにもかかわらず、その恩恵が他のアフリカの言語にも波及していることを見出しました。ゲエズ文字を使用しない言語であっても、未知の単語を認識する能力に改善が見られました。著者らは、これは「学習セッション（継続的な事前学習）」が、特定の新しい単語だけでなく、複雑な単語構造全般を扱う能力をAIに向上させたためであると考えています。

これが意味すること

この論文は、低リソース言語を助けるために、巨大で高価なAIを一から構築する必要はないことを示しています。既存の強力なモデルを取り上げ、特定のスクリプトに合わせたカスタム語彙を与え、実際のテキストを使って練習させればよいのです。この研究は、ターゲットを絞ったアプローチが、単にモデルを大きくしたり、自律的に学習することを期待したりするよりも効果的であることを証明しています。

しかし、研究者たちは、これがあらゆる問題に対する魔法の杖ではないことにも注意を促しています。改善が最も劇的だったのは、彼らが具体的に学習させた言語（アムハラ語とティグリニャ語）でした。他の言語については、新しい語彙の直接的な結果ではなく、トレーニングプロセスによる有益な副作用として得られたものです。また、彼らのモデルには、一度に読める最大文章長などの制限があり、非常に長い文書には苦戦する可能性があることも指摘しています。

結局のところ、VEXMLMは一つの概念実証です。適切な道具と、少しの集中した練習があれば、AIをもっと包括的なものにし、ゲエズ文字を使用する言語の話し手がデジタル時代に取り残されないようにできるのです。