Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model

あらゆる言語が、それぞれ独自の、活気あふれる都市である世界を想像してみてください。英語やベトナム語のような都市は、高層ビルが立ち並び、果てしない図書館があり、何百万人もの人々が互いに指示を叫び合っている巨大なメトロポリスです。しかしその一方で、数百人の住民しかいない、小さな隠れた村もあります。そこでは長老たちが物語を頭の中に保持していますが、道路標識も地図もガイドブックもありません。人工知能の世界において、これらの「都市」は言語であり、「ガイドブック」はコンピュータがその言葉を話す方法を学ぶために必要な、膨大なテキストデータの山です。

長い間、AI翻訳機は、大都市のナビゲート方法しか知らない観光客のようなものでした。もしあなたが小さな村の言語から翻訳するよう頼んでも、彼らはただ呆然と立ち尽くすか、あるいは作り話をしてしまうでしょう。なぜなら、彼らはルールを学ぶための十分な例を目にしたことがなかったからです。これが「低リソース」言語の問題です。コンピュータの脳を訓練するためのデータが十分に存在しないのです。しかし、もし、まず大きな都市の言語を教え、その後にいくつかの特別な手がかりを見せることで、コンピュータに小さな村の言語を話す方法を教えることができたらどうでしょうか？ それこそが「転移学習（transfer learning）」の魔法です。それは、すでに千種類のフランス料理の作り方を習得している熟練のシェフを想像してみてください。もしそのシェフに、特定の地元のシチューのレシピをいくつか与えられたら、たとえその正確なレシピを見たことがなくても、持ち前のスキルを適応させて完璧に作ることができるはずです。この論文は、まさにその課題、つまり、ベトナムの少数民族が話す美しくもデータが乏しい言語であるバナール語とベトナム語の間の溝を、AIがいかに埋めるかについて深く掘り下げています。

この研究の背後にいる研究者たちは、バナール族とベトナム語を話す多数派の人々の間に、デジタルな架け橋を築こうとしました。彼らの主な目標は、非常に少ない「教科書」（対訳データ）しか手元にないにもかかわらず、バナール語のテキストをベトナム語に変換できる機械翻訳システムを作ることでした。彼らは、標準的なAIモデルを単に問題に投げ込むだけではうまくいかないことを発見しました。なぜなら、バナール語はデジタル界において非常に希少だからです。代わりに、彼らは「転移学習」と呼ばれる巧妙なトリックを用いました。彼らは、すでにベトナム語（「大都市」の言語）の仕組みを習得している超スマートなAIモデルからスタートしました。そして、このモデルに、新しい言語を学ぶための、ごくわずかで特別なバナール語・ベトナム語の文章ペアを与えたのです。

これをさらに上手く機能させるために、チームは二段階のプロセスを考案しました。まず、バナール語用のカスタム「単語分割器（word splitter）」を構築しました。バナール語の単語は複雑で、しばつ結合していることが多いため、コンピュータは文章を意味のある塊に分解するための助けを必要としたからです。これらの塊の中には、辞書にあるため翻訳が容易なもの（「アンカー」単語のようなもの）もありましたが、一方で、AIの知力を使って解明しなければならないトリッキーな「塊」もありました。BARTphoと呼ばれるモデルに基づいたAIは、これらの難しい塊を処理できるように微調整されました。

しかし、チームはそこで止まりませんでした。最高のAIを使ったとしても、データが足りないことに気づきました。そこで、彼らは**データ拡張（data augmentation）**と呼ばれる手法を用いて、データに対して「見立ての遊び」を行いました。一枚の猫の写真があり、コンピュータに猫とは何かを教えたいとしましょう。その写真を反転させたり、色を変えたり、切り抜いたりして、5枚の新しい「偽の」写真を作るかもしれません。研究者たちは、彼らの文章に対しても同様のことを行いました。文章の単語を入れ替えたり、単語を隠したり、文章の一部を混ぜ合わせたりする手法を用いて、新しい合成トレーニング例を作成しました。これにより、実世界の話し手をもっと探すことなく、トレーニング用データセットのサイズを倍増させ、AIにより多くの練習を与えることができたのです。

結果は非常に有望なものでした。彼らのカスタムシステムであるBV-BARTphoを他の標準的なAIモデルと比較したところ、それがトップとなりました。標準的なモデルの「BLEUスコア」（翻訳の正確さを測定する方法）は約20から30程度でした。しかし、特別な単語分割器とデータ拡張のトリックを用いた彼らのカスタムモデルは、バナール語からベトナム語への翻訳において33.58というスコアを達成しました。さらに興味深いことに、データ拡張の手法を特にベトナム語からバナール語への翻訳に対してテストした際、その手法は真価を発揮しました。入れ替え（swap）と隠蔽（token）（具体的には「swap」と「token」）を組み合わせることで、ベースラインの33.58から、一気に49.61までスコアを押し上げたのです。

この論文は、このアプローチがこの特定のタスクに対して非常に効果的であることを示唆しています。これは、AIに希少な言語を教えるために山の如きデータは必要ではなく、手元にあるわずかなデータを賢い方法で使い、関連する言語をすでに知っているモデルと組み合わせることが重要であると証明しています。バナール語からベトナム語への翻訳に成功することで、研究者たちはバナール文化を保存し、二つの民族グループが互いに理解しやすくすることを願っています。この論文は、これが世界中のあらゆる言語に対する完璧に解決された問題であると主張しているわけではありませんが、創造性とスマートなコンピューティングを通じて、困難な翻訳タスクを管理可能なものへと変え、この特定の文化的架け橋に対する非常に強力で機能的な解決策を示しています。