Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

技術概要：ニューラル Hieroglyphic 翻訳におけるデータ汚染

問題定義
古代語や危機に瀕する言語（古代エジプト語など）は、極端なデータ不足により、自然言語処理（NLP）にとって独自の課題を呈しています。現代語とは異なり、これらの分野のデータセットは現存する考古学的遺物に依存し、専門家の注釈付けを必要とするため、拡張が困難です。このデータ不足は、データ品質の問題が不釣り合いに重大な結果を招くことになります。本論文は、古代エジプト語のヒエログリフからドイツ語への翻訳における特定の事例を検証しており、De Cao ら（2024）による最近の研究が、微調整された M2M-100 モデルを用いて 61.5 BLEU という最先端スコアを報告した事例を取り上げます。著者らは、公開されたモデルを用いてこれらの結果を再現した際、37.0 BLEU しか達成できず、大きな乖離を発見しました。このギャップは、評価対象が訓練データに意図せず含まれる「データ汚染」という方法論的な欠陥を示唆しています。古代コーパスは、医学的指示、捧げ物の定型文、王の称号など、テキスト間で定型的な反復が普遍的に用いられているため、標準的なランダム分割では対処できないこの汚染に対して特に脆弱です。

手法
本研究は、hiero-transformer リポジトリのデータを用いて、包括的な再現性と汚染監査を実施しました。

• データソース: 著者らは Thesaurus Linguae Aegyptiae (TLA) データセットを利用しました。デジタル化されたヒエログリフ源（ガーディナー記法）と空でないドイツ語ターゲットの両方を持つエントリをフィルタリングした結果、使用可能な訓練セットには 18,669 対、テストセットには 50 件の有効なサンプルのみが含まれていました。
• 汚染検出: 著者らは以下の 2 つの主要な検出手法を採用しました。
  1. 正規化完全一致: テストターゲットを、正規化（Unicode NFC、小文字化、句読点除去、空白の圧縮）後のすべての一意の訓練ターゲットと比較しました。その結果、50 件のテストサンプルのうち 16 件（32%）が、ターゲットとして訓練データと完全に一致していることが判明しました。
  2. 文字 n-gram 重複: 「ソフト」な漏洩を検出するため、テストターゲットに現れる文字 8-gram のうち、訓練ターゲットに含まれる割合を計算しました。70% の重複閾値において、テストサンプルの 50% がフラグ付けされました。
• 実験設定: 2 つのアーキテクチャ（M2M-100 と mBART-50）に対して、5 つのモデル設定を評価しました。
  1. 元の公開モデル（De Cao ら、2024）。
  2. 元の訓練手順のスクリプト再現。
  3. 近代化された低リソースレシピ（AdamW、コサインスケジューリング、ラベルスムージング、勾配クリッピング、データアップサンプリング）で訓練された 3 つのモデル。
• 評価プロトコル: パフォーマンスは、完全なテストセット（50 サンプル）、汚染されたサブセット（16 サンプル）、クリーンなサブセット（34 サンプル）の 3 つのサブセットに対して、BLEU（大文字小文字を区別しない）と chrF++ で測定されました。検証のため COMET-22 も使用されました。

主要な結果
調査により、この分野における過大評価された性能指標の主な要因がデータ汚染であることが確認されました。

• 性能の乖離: 5 つのモデルすべてにおいて、汚染されたサンプルはクリーンなサンプルよりも 29 から 47 BLEU ポイント高いスコアを記録しました。例えば、最高性能のモデル（M2M-100 ハイブリッド）は、汚染されたサンプルで 83.8 BLEU を達成したのに対し、クリーンなサンプルでは 37.3 BLEU でした。
• 指標の一貫性: 過大評価はアーキテクチャや指標を超えて一貫していました。汚染されたサンプルは、クリーンなサンプルよりも 0.23〜0.26 COMET-22 ポイント高いスコアでした。
• 記憶化対翻訳: 単に最良の一致する訓練ターゲットをコピーする検索ベースラインは、完全一致アイテムで 81.8 BLEU を達成し、最良のニューラルモデル（77.9 BLEU）と肩を並べましたが、クリーンなアイテムでは 0.0 でした。これは、汚染されたデータにおける高スコアが、真の翻訳能力ではなくターゲットの記憶化に由来することを示しています。
• ソースの独立性: 分析により、ターゲットの記憶化はソース入力とは独立して発生することが示されました。訓練サンプルとのソース重複がゼロのテスト項目でも、ターゲットの重複は 100% 達成され、16 件の完全一致アイテムのうち 10 件は、訓練ソースとの類似度が 5% 未満でした。
• 非汚染の限界: テストセットの 33 のソースドキュメントからすべての訓練文を削除するドキュメントレベルの非汚染実験を行ったところ、完全一致アイテムの BLEU スコアはわずか 4.6 ポイント低下しました。これは、汚染されたターゲットの 8 件が、他の ソースドキュメント（例えば、「Werde gekocht」というフレーズが複数の独立したパピルスに登場するなど）を通じて訓練データに存続していたためです。これは、ドキュメントレベルの分割では不十分であり、ターゲットレベルの重複排除が必要であることを示しています。

主要な貢献

1. 古代言語 NMT における初の汚染監査: 本研究は、古代コーパスにおける定型的な反復が、現代のベンチマークには存在しない体系的なデータ漏洩リスクを生み出していることを特定し、公開テストセットにおいて 32% の完全なターゲット重複を明らかにしました。
2. アーキテクチャ横断的な頑健性: 著者らは、性能の過大評価がモデル固有のものではなくデータセット固有のものであることを実証しました。なぜなら、M2M-100 と mBART-50 のアーキテクチャ、およびさまざまな訓練レジームを超えてその乖離が持続するからです。
3. 段階的な非汚染分析: 本論文は、完全一致、文字 8-gram 重複、ドキュメントレベルの漏洩分析、およびアイテムごとの頻度カタログ化を通じて、汚染の深刻さを特徴付けました。
4. 修正されたベースラインとプロトコル: 著者らは、完全なターゲット重複がない 34 サンプルの非汚染テストセットを公開し、30.9〜39.2 BLEU の修正されたベースラインを確立しました。また、ドキュメントレベルの分割、ターゲットの重複排除、ジャンル層化を含む分割プロトコルを提案しました。

意義と主張
本論文は、ヒエログリフからドイツ語への翻訳で報告された 61.5 BLEU スコアは、真のモデル能力の反映ではなく、データ汚染の産物であると主張しています。修正されたベースライン（30.9〜39.2 BLEU）は、この危機に瀕する文字体系に対するニューラル機械翻訳（NMT）の現実的な評価を提供します。著者らは、NMT は古代テキストの一般的な大意を捉えることができる（コーパスの選別に有用）一方で、分野用語や固有表現の識別に重大な誤りを含んでおり、専門家の検証なしに文献学的分析には不適切であると論じています。

本研究は、定型的な反復が（ラテン語、ギリシャ語、アッカド語を含む）古代コーパスの普遍的な性質であることを強調しており、汚染は以前は監査されていなかった古代言語 NLP ベンチマークにおける、可能性が高く体系的な問題であることを示唆しています。著者らは、将来のベンチマークは、誤った評価を避けるために汚染統計を報告し、汚染状態別に分割結果を提示する必要があると結論付けています。また、特定された汚染は意図的な操作ではなく、標準的な前処理手順に起因する可能性が高いと指摘し、彼らの研究を再現性への建設的な貢献として位置付けています。