Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

Résumé technique : Contamination des données dans la traduction neuronale des hiéroglyphes

Énoncé du problème
Les langues anciennes et en danger, telles que l'égyptien ancien, présentent des défis uniques pour le traitement automatique des langues (TAL) en raison de l'extrême rareté des données. Contrairement aux langues modernes, les jeux de données pour ces domaines reposent sur des artefacts archéologiques survivants et nécessitent une annotation spécialisée, ce qui les rend difficiles à étendre. Cette rareté rend les problèmes de qualité des données disproportionnément conséquents. L'article examine un cas spécifique de traduction des hiéroglyphes vers l'allemand où une étude récente (De Cao et al., 2024) a rapporté un score de pointe de 61,5 BLEU en utilisant un modèle M2M-100 finement ajusté. Les auteurs ont constaté une divergence significative en reproduisant ces résultats avec le modèle publié publiquement, n'obtenant que 37,0 BLEU. Cet écart suggérait un défaut méthodologique potentiel, à savoir une contamination des données, où les cibles d'évaluation apparaissent par inadvertance dans les données d'entraînement. Les corpus anciens y sont particulièrement vulnérables en raison de l'utilisation omniprésente de répétitions formulaires (par exemple, instructions médicales, formules d'offrandes, épithètes royales) à travers les textes, ce que le fractionnement aléatoire standard ne parvient pas à résoudre.

Méthodologie
L'étude a mené un audit complet de reproductibilité et de contamination en utilisant les données du dépôt hiero-transformer.

• Source des données : Les auteurs ont utilisé le jeu de données Thesaurus Linguae Aegyptiae (TLA). Après filtrage des entrées possédant à la fois des sources hiéroglyphiques numérisées (en notation Gardiner) et des cibles allemandes non vides, l'ensemble d'entraînement utilisable contenait 18 669 paires, et l'ensemble de test ne contenait que 50 échantillons valides.
• Détection de la contamination : Les auteurs ont employé deux méthodes de détection principales :
  1. Correspondance exacte normalisée : Les cibles de test ont été comparées à toutes les cibles d'entraînement uniques après normalisation (Unicode NFC, mise en minuscules, suppression de la ponctuation, effondrement des espaces blancs). Cela a révélé que 16 échantillons de test sur 50 (32 %) avaient des cibles identiques aux données d'entraînement.
  2. Chevauchement de n-grammes de caractères : Pour détecter une « fuite » douce, les auteurs ont calculé la fraction des 8-grammes de caractères dans les cibles de test apparaissant dans les cibles d'entraînement. À un seuil de chevauchement de 70 %, 50 % des échantillons de test ont été signalés.
• Configuration expérimentale : Cinq configurations de modèles ont été évaluées sur deux architectures (M2M-100 et mBART-50) :
  1. Le modèle original publié (De Cao et al., 2024).
  2. Une reproduction scriptée de la procédure d'entraînement originale.
  3. Trois modèles entraînés avec une recette modernisée pour les ressources limitées (AdamW, calendrier cosinus, lissage des étiquettes, écrêtage du gradient et suréchantillonnage des données).
• Protocole d'évaluation : La performance a été mesurée à l'aide de BLEU (sans distinction de casse) et de chrF++ sur trois sous-ensembles : l'ensemble de test complet (50 échantillons), le sous-ensemble contaminé (16 échantillons) et le sous-ensemble propre (34 échantillons). COMET-22 a également été utilisé pour la validation.

Résultats clés
L'enquête a confirmé que la contamination des données est le principal moteur des métriques de performance gonflées dans ce domaine :

• Écart de performance : Pour les cinq modèles, les échantillons contaminés ont obtenu des scores de 29 à 47 points BLEU supérieurs aux échantillons propres. Par exemple, le modèle le plus performant (M2M-100 Hybride) a atteint 83,8 BLEU sur les échantillons contaminés contre 37,3 BLEU sur les échantillons propres.
• Cohérence des métriques : L'inflation était cohérente à travers les architectures et les métriques. Les échantillons contaminés ont obtenu 0,23–0,26 points COMET-22 de plus que les échantillons propres.
• Mémorisation vs Traduction : Une ligne de base de récupération qui copiait simplement la cible d'entraînement la mieux correspondante a obtenu 81,8 BLEU sur les éléments de correspondance exacte, rivalisant avec le meilleur modèle neuronal (77,9 BLEU), tout en obtenant 0,0 sur les éléments propres. Cela indique que les scores élevés sur les données contaminées découlent de la mémorisation de la cible plutôt que d'une véritable capacité de traduction.
• Indépendance de la source : L'analyse a montré que la mémorisation de la cible se produit indépendamment de l'entrée source. Un élément de test avec zéro chevauchement de source avec n'importe quel échantillon d'entraînement a tout de même atteint 100 % de chevauchement de cible, et 10 des 16 éléments de correspondance exacte avaient des sources d'entraînement avec moins de 5 % de similarité.
• Limites de la décontamination : Une expérience de décontamination au niveau du document (suppression de toutes les phrases d'entraînement des 33 documents sources de l'ensemble de test) a réduit le score BLEU sur les éléments de correspondance exacte de seulement 4,6 points. Cela est dû au fait que 8 des 16 cibles contaminées persistaient dans les données d'entraînement via d'autres documents sources (par exemple, la phrase « Werde gekocht » apparaissant sur plusieurs papyrus indépendants). Cela démontre que le fractionnement au niveau du document est insuffisant ; un déduplication au niveau de la cible est requis.

Contributions clés

1. Premier audit de contamination pour le TAO des langues anciennes : L'étude identifie que la répétition formulaire dans les corpus anciens crée des risques systématiques de fuite de données absents des benchmarks modernes, révélant un chevauchement exact de cible de 32 % dans un ensemble de test public.
2. Robustesse inter-architecture : Les auteurs démontrent que l'inflation de la performance est inhérente au jeu de données, et non spécifique au modèle, car l'écart persiste à travers les architectures M2M-100 et mBART-50 et divers régimes d'entraînement.
3. Analyse graduée de la décontamination : L'article caractérise la gravité de la contamination par le biais de la correspondance exacte, du chevauchement de 8-grammes de caractères, de l'analyse de fuite au niveau du document et du catalogage de la fréquence par élément.
4. Lignes de base et protocole corrigés : Les auteurs publient un ensemble de test décontaminé de 34 échantillons (sans chevauchement exact de cible) et établissent des lignes de base corrigées de 30,9–39,2 BLEU. Ils proposent également un protocole de fractionnement impliquant un partitionnement au niveau du document, une déduplication de la cible et une stratification par genre.

Signification et affirmations
L'article affirme que le score de 61,5 BLEU rapporté pour la traduction des hiéroglyphes vers l'allemand est un artefact de la contamination des données plutôt qu'un reflet de la véritable capacité du modèle. Les lignes de base corrigées (30,9–39,2 BLEU) fournissent une évaluation réaliste de la traduction automatique neuronale (TAN) pour ce système d'écriture en danger. Les auteurs soutiennent que si la TAN peut capturer le sens général des textes anciens (utile pour le tri des corpus), elle contient des erreurs significatives dans les termes de domaine et l'identification des entités, la rendant inadaptée à l'analyse philologique sans vérification par un expert.

L'étude souligne que la répétition formulaire est une propriété universelle des corpus anciens (y compris le latin, le grec et l'akkadien), suggérant que la contamination est un problème systématique probable dans les benchmarks de TAL pour les langues anciennes qui n'a pas été audité auparavant. Les auteurs concluent que les futurs benchmarks doivent rapporter les statistiques de contamination et partitionner les résultats par statut de contamination pour éviter des évaluations trompeuses. Ils présentent leur travail comme une contribution constructive à la reproductibilité, notant que la contamination identifiée a probablement résulté de procédures de prétraitement standard plutôt que d'une manipulation intentionnelle.