Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

Technische Samenvatting: Datacontaminatie bij Neuronale Hiëroglifische Vertaling

Probleemstelling
Oude en bedreigde talen, zoals het Oudegyptisch, vormen unieke uitdagingingen voor Natural Language Processing (NLP) vanwege extreme data-schaarste. In tegenstelling tot moderne talen zijn datasets voor deze domeinen afhankelijk van bewaard gebleven archeologische artefacten en vereisen ze specialistische annotatie, wat ze moeilijk uitbreidbaar maakt. Deze schaarste maakt kwaliteitsproblemen met data onevenredig ingrijpend. Het artikel onderzoekt een specifiek geval van hiëroglifisch-naar-Duits vertaling waarbij een recente studie (De Cao et al., 2024) een state-of-the-art score van 61,5 BLEU rapporteerde met een fijngefineerd M2M-100-model. De auteurs vonden een aanzienlijke discrepantie bij het reproduceren van deze resultaten met het publiek vrijgegeven model, waarbij ze slechts 37,0 BLEU behaalden. Deze kloof suggereerde een mogelijke methodologische fout, namelijk datacontaminatie, waarbij evaluatiedoelen onbedoeld in de trainingsdata voorkomen. Oude corpora zijn hierdoor bijzonder vatbaar, vanwege het wijdverbreide gebruik van formele herhaling (bijvoorbeeld medische instructies, offerformules, koninklijke epitheta) over teksten heen, wat standaard willekeurige splitsing niet aanpakt.

Methodologie
De studie voerde een uitgebreide reproducibiliteits- en contaminatie-audit uit met behulp van de gegevens uit de hiero-transformer-repository.

• Data Bron: De auteurs gebruikten de Thesaurus Linguae Aegyptiae (TLA)-dataset. Na filtering voor invoer met zowel gedigitaliseerde hiëroglifische bronnen (in Gardiner-notatie) als niet-lege Duitse doelen, bevatte de bruikbare trainingsset 18.669 paren en de testset slechts 50 geldige steekproeven.
• Contaminatie Detectie: De auteurs hanteerden twee primaire detectiemethoden:
  1. Genormaliseerde Exacte Match: Testdoelen werden vergeleken met alle unieke trainingsdoelen na normalisatie (Unicode NFC, kleine letters, verwijdering leestekens, samenvoegen van witruimte). Dit onthulde dat 16 van de 50 teststeekproeven (32%) doelen hadden die identiek waren aan trainingsdata.
  2. Karakter n-gram Overlap: Om "zachte" lekken te detecteren, berekenden de auteurs het fractie van karakter 8-grams in testdoelen die voorkwamen in trainingsdoelen. Bij een overlapdrempel van 70% werden 50% van de teststeekproeven gemarkeerd.
• Experimentele Opstelling: Vijf modelconfiguraties werden geëvalueerd over twee architecturen (M2M-100 en mBART-50):
  1. Het origineel vrijgegeven model (De Cao et al., 2024).
  2. Een script-reproductie van de originele trainingsprocedure.
  3. Drie modellen getraind met een gemoderniseerd, low-resource recept (AdamW, cosine-schedule, label smoothing, gradient clipping en data upsampling).
• Evaluatieprotocol: Prestaties werden gemeten met BLEU (hoofdletterongevoelig) en chrF++ op drie subsets: de volledige testset (50 steekproeven), de gecontamineerde subset (16 steekproeven) en de schone subset (34 steekproeven). COMET-22 werd ook gebruikt voor validatie.

Belangrijkste Resultaten
Het onderzoek bevestigde dat datacontaminatie de primaire drijvende kracht is van opgeblazen prestatiemetrics in dit domein:

• Prestatiekloof: Over alle vijf modellen heen scoorden gecontamineerde steekproeven 29 tot 47 BLEU-punten hoger dan schone steekproeven. Bijvoorbeeld, het best presterende model (M2M-100 Hybrid) behaalde 83,8 BLEU op gecontamineerde steekproeven versus 37,3 BLEU op schone steekproeven.
• Metricconsistentie: De inflatie was consistent over architecturen en metrics. Gecontamineerde steekproeven scoorden 0,23–0,26 COMET-22-punten hoger dan schone steekproeven.
• Memorisatie versus Vertaling: Een retrieval-baseline die simpelweg het best passende trainingsdoel kopieerde, behaalde 81,8 BLEU op exact-match items, wat concurreerde met het beste neurale model (77,9 BLEU), terwijl het 0,0 scoorde op schone items. Dit geeft aan dat hoge scores op gecontamineerde data voortkomen uit doelmemorisatie in plaats van echte vertaalcapaciteit.
• Brononafhankelijkheid: Analyse toonde aan dat doelmemorisatie onafhankelijk van de broninvoer optreedt. Eén testitem met nul bronoverlap met enige trainingssteekproef behaalde toch 100% doeloverlap, en 10 van de 16 exact-match items hadden trainingsbronnen met minder dan 5% gelijkenis.
• Grenzen van Decontaminatie: Een experiment op documentniveau (verwijdering van alle trainingszinnen uit de 33 brondocumenten van de testset) verlaagde de BLEU-score op exact-match items slechts met 4,6 punten. Dit komt doordat 8 van de 16 gecontamineerde doelen via andere brondocumenten in de trainingsdata bleven bestaan (bijvoorbeeld de frase "Werde gekocht" die voorkomt in meerdere onafhankelijke papyri). Dit toont aan dat documentniveau-splitsing ontoereikend is; doelniveau-deduplicatie is vereist.

Belangrijkste Bijdragen

1. Eerste Contaminatie-Audit voor Oude-Taal NMT: De studie identificeert dat formele herhaling in oude corpora systematische data-lekrisico's creëert die afwezig zijn in moderne benchmarks, waarbij een exacte doeloverlap van 32% in een publieke testset wordt onthuld.
2. Robuustheid over Architecturen: De auteurs tonen aan dat de prestatie-inflatie inherent aan de dataset is en niet model-specifiek, aangezien de kloof persisteert over M2M-100- en mBART-50-architecturen en diverse trainingsregimes.
3. Gegradueerde Decontaminatie-analyse: Het artikel karakteriseert de ernst van contaminatie via exact matching, karakter 8-gram-overlap, analyse van lekken op documentniveau en catalogering per item-frequentie.
4. Gecorrigeerde Baselines en Protocol: De auteurs geven een gecontamineerde testset van 34 steekproeven vrij (zonder exacte doeloverlap) en stellen gecorrigeerde baselines vast van 30,9–39,2 BLEU. Zij stellen ook een splitsingsprotocol voor met documentniveau-partitionering, doel-deduplicatie en genre-stratificatie.

Betekenis en Aanspraken
Het artikel beweert dat de gerapporteerde score van 61,5 BLEU voor hiëroglifisch-naar-Duits vertaling een artefact is van datacontaminatie in plaats van een reflectie van ware modelcapaciteit. De gecorrigeerde baselines (30,9–39,2 BLEU) bieden een realistische beoordeling van Neuronale Machine Vertaling (NMT) voor dit bedreigde schriftsysteem. De auteurs betogen dat NMT weliswaar het algemene idee van oude teksten kan vatten (nuttig voor corpusselectie), maar aanzienlijke fouten bevat in domeintermen en entiteitsidentificatie, waardoor het ongeschikt is voor filologische analyse zonder expertverificatie.

De studie benadrukt dat formele herhaling een universele eigenschap is van oude corpora (waaronder Latijn, Grieks en Akkadisch), wat suggereert dat contaminatie een waarschijnlijke, systematische kwestie is in benchmarks voor oude-taal NLP die eerder niet zijn geaudit. De auteurs concluderen dat toekomstige benchmarks contaminatiestatistieken moeten rapporteren en resultaten moeten partitioneren op contaminatiestatus om misleidende evaluaties te voorkomen. Zij presenteren hun werk als een constructieve bijdrage aan reproduceerbaarheid, waarbij zij opmerken dat de geïdentificeerde contaminatie waarschijnlijk voortkwam uit standaard voorverwerkingsprocedures in plaats van opzettelijke manipulatie.