Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

Sintesi Tecnica: Contaminazione dei Dati nella Traduzione Geroglifica Neurale

Enunciato del Problema
Le lingue antiche e in pericolo di estinzione, come l'egiziano antico, presentano sfide uniche per l'Elaborazione del Linguaggio Naturale (NLP) a causa della scarsità estrema dei dati. A differenza delle lingue moderne, i dataset per questi domini si basano su manufatti archeologici sopravvissuti e richiedono annotazione specialistica, rendendoli difficili da espandere. Questa scarsità rende le questioni relative alla qualità dei dati sproporzionatamente decisive. Il documento indaga un caso specifico di traduzione da geroglifico a tedesco in cui uno studio recente (De Cao et al., 2024) ha riportato un punteggio all'avanguardia di 61,5 BLEU utilizzando un modello M2M-100 fine-tuned. Gli autori hanno riscontrato una significativa discrepanza nel riprodurre questi risultati con il modello rilasciato pubblicamente, ottenendo solo 37,0 BLEU. Questo divario suggeriva un potenziale difetto metodologico, specificamente la contaminazione dei dati, in cui gli obiettivi di valutazione appaiono involontariamente nei dati di addestramento. I corpora antichi sono particolarmente suscettibili a ciò a causa dell'uso pervasivo di ripetizioni formulari (ad esempio, istruzioni mediche, formule di offerta, epiteti reali) attraverso i testi, che la divisione casuale standard non riesce ad affrontare.

Metodologia
Lo studio ha condotto un audit completo di riproducibilità e contaminazione utilizzando i dati del repository hiero-transformer.

• Fonte dei Dati: Gli autori hanno utilizzato il dataset Thesaurus Linguae Aegyptiae (TLA). Dopo aver filtrato le voci con fonti geroglifiche digitalizzate (in notazione Gardiner) e target tedeschi non vuoti, il set di addestramento utilizzabile conteneva 18.669 coppie, mentre il set di test conteneva solo 50 campioni validi.
• Rilevamento della Contaminazione: Gli autori hanno impiegato due metodi principali di rilevamento:
  1. Corrispondenza Esatta Normalizzata: I target di test sono stati confrontati con tutti i target di addestramento unici dopo la normalizzazione (Unicode NFC, conversione in minuscolo, rimozione della punteggiatura, collasso degli spazi bianchi). Ciò ha rivelato che 16 su 50 campioni di test (32%) avevano target identici ai dati di addestramento.
  2. Sovrapposizione di n-grammi di caratteri: Per rilevare una "perdita" soft, gli autori hanno calcolato la frazione di 8-grammi di caratteri nei target di test presenti nei target di addestramento. Con una soglia di sovrapposizione del 70%, il 50% dei campioni di test è stato segnalato.
• Configurazione Sperimentale: Sono state valutate cinque configurazioni di modello su due architetture (M2M-100 e mBART-50):
  1. Il modello originale rilasciato (De Cao et al., 2024).
  2. Una riproduzione scriptata della procedura originale di addestramento.
  3. Tre modelli addestrati con una ricetta modernizzata a risorse limitate (AdamW, programma di apprendimento coseno, smoothing delle etichette, clipping del gradiente e sovracampionamento dei dati).
• Protocollo di Valutazione: Le prestazioni sono state misurate utilizzando BLEU (case-insensitive) e chrF++ su tre sottoinsiemi: l'intero set di test (50 campioni), il sottoinsieme contaminato (16 campioni) e il sottoinsieme pulito (34 campioni). COMET-22 è stato utilizzato anche per la convalida.

Risultati Chiave
L'indagine ha confermato che la contaminazione dei dati è il principale motore delle metriche di prestazioni gonfiate in questo dominio:

• Divario di Prestazioni: In tutti e cinque i modelli, i campioni contaminati hanno ottenuto un punteggio da 29 a 47 punti BLEU più alto rispetto ai campioni puliti. Ad esempio, il modello con le prestazioni migliori (M2M-100 Hybrid) ha ottenuto 83,8 BLEU sui campioni contaminati contro 37,3 BLEU sui campioni puliti.
• Coerenza delle Metriche: L'inflazione è stata coerente tra architetture e metriche. I campioni contaminati hanno ottenuto 0,23–0,26 punti COMET-22 in più rispetto ai campioni puliti.
• Memorizzazione vs Traduzione: Una linea di base di recupero che semplicemente copiava il target di addestramento con la migliore corrispondenza ha ottenuto 81,8 BLEU sugli elementi a corrispondenza esatta, rivaleggiando con il miglior modello neurale (77,9 BLEU), mentre otteneva 0,0 sugli elementi puliti. Ciò indica che i punteggi elevati sui dati contaminati derivano dalla memorizzazione del target piuttosto che da una genuina capacità di traduzione.
• Indipendenza della Sorgente: L'analisi ha mostrato che la memorizzazione del target avviene indipendentemente dall'input sorgente. Un elemento di test con zero sovrapposizione sorgente rispetto a qualsiasi campione di addestramento ha comunque ottenuto una sovrapposizione target del 100%, e 10 dei 16 elementi a corrispondenza esatta avevano sorgenti di addestramento con una somiglianza inferiore al 5%.
• Limiti della Decontaminazione: Un esperimento di decontaminazione a livello di documento (rimozione di tutte le frasi di addestramento dai 33 documenti sorgente del set di test) ha ridotto il punteggio BLEU sugli elementi a corrispondenza esatta di soli 4,6 punti. Questo perché 8 dei 16 target contaminati persistevano nei dati di addestramento tramite altri documenti sorgente (ad esempio, la frase "Werde gekocht" che appare su più papiri indipendenti). Ciò dimostra che la divisione a livello di documento è insufficiente; è richiesta la deduplicazione a livello di target.

Contributi Chiave

1. Primo Audit di Contaminazione per NMT in Lingue Antiche: Lo studio identifica che la ripetizione formulari nei corpora antichi crea rischi sistematici di perdita di dati assenti nei benchmark moderni, rivelando una sovrapposizione esatta del target del 32% in un set di test pubblico.
2. Robustezza Trans-Architetturale: Gli autori dimostrano che l'inflazione delle prestazioni è intrinseca al dataset, non specifica del modello, poiché il divario persiste attraverso le architetture M2M-100 e mBART-50 e vari regimi di addestramento.
3. Analisi di Decontaminazione Graduale: Il documento caratterizza la gravità della contaminazione attraverso il matching esatto, la sovrapposizione di 8-grammi di caratteri, l'analisi della perdita a livello di documento e il catalogamento della frequenza per elemento.
4. Baseline Corrette e Protocollo: Gli autori rilasciano un set di test decontaminato di 34 campioni (senza sovrapposizione esatta del target) e stabiliscono baseline corrette di 30,9–39,2 BLEU. Propongono inoltre un protocollo di divisione che coinvolge la partizione a livello di documento, la deduplicazione del target e la stratificazione per genere.

Significato e Affermazioni
Il documento afferma che il punteggio riportato di 61,5 BLEU per la traduzione da geroglifico a tedesco è un artefatto della contaminazione dei dati piuttosto che un riflesso della vera capacità del modello. Le baseline corrette (30,9–39,2 BLEU) forniscono una valutazione realistica della Traduzione Automatica Neurale (NMT) per questo sistema di scrittura in pericolo. Gli autori sostengono che, sebbene la NMT possa cogliere il senso generale dei testi antichi (utile per la triage del corpus), contiene errori significativi nei termini di dominio e nell'identificazione delle entità, rendendola inadatta all'analisi filologica senza verifica esperta.

Lo studio evidenzia che la ripetizione formulari è una proprietà universale dei corpora antichi (inclusi latino, greco e accadico), suggerendo che la contaminazione è un problema probabile e sistematico nei benchmark NLP per lingue antiche che non è stato precedentemente auditato. Gli autori concludono che i futuri benchmark devono riportare le statistiche di contaminazione e partizionare i risultati per stato di contaminazione per evitare valutazioni fuorvianti. Inquadrano il loro lavoro come un contributo costruttivo alla riproducibilità, notando che la contaminazione identificata è probabilmente nata da procedure di pre-elaborazione standard piuttosto che da manipolazione intenzionale.