GottBERT: a pure German Language Model

技術要約：GottBERT：純粋なドイツ語言語モデル

問題提起
BERTやRoBERTaのような事前学習済み言語モデル（LM）は自然言語処理（NLP）に革命をもたらしたが、初期の研究の焦点は主に英語に置かれていた。多言語モデルも存在するが、単一言語モデルは、事前学習の効率、リソースの活用、およびダウンストリームタスクの性能において利点を持つことが多い。大規模なプロンプトベースのLLMが台頭している現在においても、計算効率の高い小型のBERT系モデルは実用的なデプロイメントにおいて極めて重要である。本研究の時点では、大規模で高品質なドイツ語コーパスを用いて専用に訓練された、単一言語のドイツ語RoBERTaモデルが欠如していた。既存のドイツ語モデル（GermanBERT、dbmdz BERTなど）は、主にオリジナルのBERTアーキテクチャに基づいているか、混合データソースを利用しており、OSCARコーパスの全スケールとRoBERTa特有のアーキテクチャ最適化を最大限に活用したものは存在しなかった。

手法
著者らは、ドイツ語版OSCAR（Open Super-large Crawled ALMAnaCH coRpus）データセットを利用した、初のドイツ語単一言語RoBERTaモデルであるGottBERTを開発した。その手法は、以下の主要な段階で構成されている。

1. データのキュレーションとフィルタリング：

   • ソース： モデルは、公開された最初の重複排除済みバージョンであるドイツ語版OSCARコーパス（145GB、約215億単語）を用いて訓練された。
   • フィルタリング戦略： FlauBERTに着想を得て、著者らは「クリーンな」バージョン（121GB、約181億単語）を作成するためのフィルタリングパイプラインを実装した。このプロセスでは以下に対処した：
     • エンコーディングエラー： UTF-8デコードの問題による誤ったウムラウトの修正、および再現不可能な文字を含む行の削除。
     • コンテンツの品質： スパム、単語リスト、およびドイツ語以外の文書の除去。
     • 構文的ヒューリスティック： n-gramベースの言語検出アルゴリズムを用いたASCIIアートのフィルタリング、および「汚れた」コンテンツを特定するために12kの文書で訓練された単一クラスSVMの利用。このSVMは、名詞の大文字化やストップワードの比率、句読点、ユニークな単語、および大文字トークンの割合といった、ドイツ語特有の言語的特徴を活用した。
   • 語彙（Vocabulary）： 40GBのランダムサンプリングされたドイツ語テキストを用いて、バイトペアエンコーディング（BPE）による52kのサブワードトークンからなる新しい語彙を算出した。これにより、英語で訓練されたGPT-2トークナイザーと比較してバイナリデータサイズが40%削減された。

2. 事前学習インフラストラクチャ：

   • ハードウェア： GottBERTは、TPU（Tensor Processing Unit）上で事前学習された最初の公開済みRoBERTaモデルである。ベースモデルは256コアのTPUv3ポッドで訓練され、大型モデルは128コアのTPUv4ポッドを使用された。
   • アーキテクチャ： モデルは標準的なRoBERTaアーキテクチャに従った（セグメント埋め込みと次文予測を削除し、ダイナミックマスキングを使用）。
   • ハイパーパラメータ： 訓練にはfairseqフレームワークを使用した。ベースモデルはバッチサイズ8k、ピーク学習率0.0004で100kステップ訓練された。大型モデルのピーク学習率は0.00015であった。
   • 生成されたモデル： 4つのモデルが生成された：GottBERTbaseおよびGottBERTlarge（未フィルタリングデータ）、ならびにfGottBERTbaseおよびfGottBERTlarge（フィルタリング済みデータ）。

3. 評価：

   • モデルは、5つのダウンストリームタスクに対してファインチューニングおよび評価された：
     • 自然言語推論（NLI）： XNLI（ドイツ語部分）。
     • 命名エンティティ認識（NER）： CoNLL 2003（ドイツ語）およびGermEval 2014。
     • テキスト分類： GermEval 2018（粗粒および細粒）および10kGNAD（ニュースのトピック分類）。
   • パフォーマンスはF1スコアと精度を用いて測定され、結果の堅牢性を確保するために、異なるハイパーパラメータを用いた24回の実行結果の平均が用いられた。

主な貢献

• 初のドイツ語RoBERTa： ドイツ語版OSCARコーパスのみを用いて訓練された、初の単一言語ドイツ語RoBERTaモデルの導入。
• フィルタリング手法： ドイツ語テキストに対する特定のフィルタリング手法（名詞の大文字化などの構文的特徴や、低品質なデータを除去するための機械学習（SVM）の活用）の開発と適用。
• オープンリリース： ドイツ語NLP研究コミュニティを支援するため、MITライセンスの下で全4種類のモデルバリアント（ベースおよびラージ、フィルタリング済みおよび未フィルタリング）を公開。
• 実証的分析： これらの新しいモデルを、既存のドイツ語BERTモデル（GermanBERT、dbmdz BERT、GBERT、GELECTRA）および多言語モデル（mBERT、XLM-RoBERTa）と比較した包括的な評価。

結果

• ベースモデル： GottBERTは競争力のあるパフォーマンスを示し、6つのタスク中4つでリードした。具体的には、GottBERTbaseおよびfGottBERTbaseは、NERおよびテキスト分類タスクにおいてトップまたはそれに準ずるスコアを達成した。
• 大型モデル： 大型モデルは堅牢なパフォーマンスを示したが、いくつかのタスクでは一般にGELECTRAlargeやGBERTlargeに劣った。XLM-Rlargeは、GermEval 2014のNERタスクにおいて最高のF1スコアを記録した。
• フィルタリングの影響： 著者らの予想に反して、OSCARコーパスのフィルタリングは結果を大幅に改善させることはなかった。いくつかのケースでは、未フィルタリングのモデルの方がフィルタリングされたモデルよりもわずかに優れた、あるいは同等のパフォーマンスを示した。著者らは、クリーニングプロセスが、モデルの性能向上に寄与することが知られている貴重なテキストの分散を、意図せず除去してしまった可能性を示唆している。
• 比較： GELECTRAモデルが一般に最も高い精度を達成したが（これはELECTRAアーキテクチャおよび、おそらくOPUSやOpenLegalDataを含むより大規模で多様な訓練データの可能性による）、GottBERTは、特にベースアーキテクチャのカテゴリにおいて強力なベースラインとしての地位を確立した。

意義と主張
本論文は、GottBERTがドイツ語NLPコミュニティにとって価値のある効率的なリソースであり、特定のタスクにおいて多言語モデルに匹敵する最先端の単一言語基盤を提供すると主張している。著者らは、特定のデータクリーニング戦略が期待されたほどの性能向上をもたらさなかった一方で、TPU上でのRoBERTaの事前学習成功とこれらのモデルのリリースが、将来の研究のための重要なインフラを提供することを強調している。

著者らは、彼らの結果がOSCARコーパスの最初のバージョンに特有のものであること、また、訓練データに十分に表現されていない文化的ニュアンスや方言に対してモデルが苦戦する可能性があることを謙虚に述べている。また、フィルタリングのアプローチは計算コストとデータ品質のトレードオフであったとし、今後の課題として、コーパスの分散を増やすこと（例：Wikipediaや法的データの組み込み）や、性能をさらに向上させるためのWhole Word Masking（WWM）の活用を挙げている。本研究は、巨大なLLMへのトレンドがある中でも、効率的な単一言語モデルの継続的な重要性を裏付けている。