Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

기술 요약: 신경 계층적 상형문자 번역의 데이터 오염

문제 제기
고대어와 멸종 위기 언어(예: 고대 이집트어)는 극심한 데이터 부족으로 인해 자연어 처리 (NLP) 분야에서 독특한 과제를 제시합니다. 현대 언어와 달리, 이러한 분야의 데이터셋은 생존한 고고학적 유물에 의존하며 전문가의 주석이 필요하여 확장하기 어렵습니다. 이러한 부족함은 데이터 품질 문제를 비례적으로 더 치명적인 결과로 만듭니다. 본 논문은 De Cao 등 (2024) 의 최근 연구가 미세 조정된 M2M-100 모델을 사용하여 61.5 BLEU 의 최첨단 점수를 보고한 상형문자에서 독일어 번역의 특정 사례를 조사합니다. 저자들은 공개된 모델을 사용하여 이 결과를 재현했을 때 37.0 BLEU 만 달성하는 등 상당한 불일치를 발견했습니다. 이 격차는 평가 대상이 실수로 훈련 데이터에 포함되는 데이터 오염과 같은 방법론적 결함을 시사했습니다. 고대 코퍼스는 의료 지시문, 공양 문구, 왕실 칭호 등 텍스트 전반에 걸쳐 관례적 반복이 광범위하게 사용되기 때문에 특히 이러한 오염에 취약하며, 표준 무작위 분할은 이를 해결하지 못합니다.

방법론
본 연구는 hiero-transformer 저장소 데이터를 사용하여 포괄적인 재현성 및 오염 감사를 수행했습니다.

• 데이터 소스: 저자들은 Thesaurus Linguae Aegyptiae(TLA) 데이터셋을 활용했습니다. 디지털화된 상형문자 소스 (가르디너 표기법 포함) 와 비어 있지 않은 독일어 표적이 모두 있는 항목을 필터링한 후, 사용 가능한 훈련 세트에는 18,669 개의 쌍이, 테스트 세트에는 50 개의 유효한 샘플만 포함되었습니다.
• 오염 탐지: 저자들은 두 가지 주요 탐지 방법을 사용했습니다:
  1. 정규화 정확 일치: 테스트 표적을 정규화 (Unicode NFC, 소문자 변환, 구두점 제거, 공백 축소) 한 후 모든 고유 훈련 표적과 비교했습니다. 그 결과 50 개의 테스트 샘플 중 16 개 (32%) 가 훈련 데이터와 동일한 표적을 가진 것으로 나타났습니다.
  2. 문자 n-gram 중첩: '소프트' 유출을 탐지하기 위해 저자들은 테스트 표적에 나타나는 문자 8-gram 의 비율이 훈련 표적에 나타나는 비율을 계산했습니다. 70% 중첩 임계값에서 테스트 샘플의 50% 가 플래그가 지정되었습니다.
• 실험 설정: 두 가지 아키텍처 (M2M-100 및 mBART-50) 에서 다섯 가지 모델 구성이 평가되었습니다:
  1. 원래 공개된 모델 (De Cao 등, 2024).
  2. 원래 훈련 절차의 스크립트 재현.
  3. 현대화된 저자원 레시피 (AdamW, 코사인 스케줄, 라벨 스무딩, 그래디언트 클리핑, 데이터 업샘플링) 로 훈련된 세 가지 모델.
• 평가 프로토콜: 성능은 전체 테스트 세트 (50 샘플), 오염된 하위 세트 (16 샘플), 그리고 정제된 하위 세트 (34 샘플) 의 세 가지 하위 집합에서 BLEU (대소문자 구분 없음) 와 chrF++ 를 사용하여 측정되었습니다. 검증 목적으로 COMET-22 도 사용되었습니다.

주요 결과
조사 결과, 데이터 오염이 이 분야에서 과장된 성능 지표의 주요 원인임이 확인되었습니다:

• 성능 격차: 다섯 가지 모델 전반에 걸쳐 오염된 샘플은 정제된 샘플보다 BLEU 점수가 29~47 포인트 더 높았습니다. 예를 들어, 가장 성능이 좋은 모델 (M2M-100 Hybrid) 은 오염된 샘플에서 83.8 BLEU 를 기록한 반면, 정제된 샘플에서는 37.3 BLEU 를 기록했습니다.
• 지표 일관성: 인플레이션은 아키텍처와 지표 전반에 걸쳐 일관되었습니다. 오염된 샘플은 정제된 샘플보다 COMET-22 점수가 0.23~0.26 포인트 더 높았습니다.
• 기억 대 번역: 가장 잘 맞는 훈련 표적을 단순히 복사하는 검색 기준선은 정확 일치 항목에서 81.8 BLEU 를 달성하여 최상의 신경 모델 (77.9 BLEU) 과 견줄 만했으나, 정제된 항목에서는 0.0 점을 기록했습니다. 이는 오염된 데이터에서의 높은 점수가 진정한 번역 능력보다는 표적 기억에서 비롯된 것임을 나타냅니다.
• 소스 독립성: 분석 결과, 표적 기억은 소스 입력과 무관하게 발생함이 드러났습니다. 훈련 샘플과 소스 중첩이 전혀 없는 한 테스트 항목에서도 100% 표적 중첩을 달성했으며, 16 개의 정확 일치 항목 중 10 개는 훈련 소스와 5% 미만의 유사성을 보였습니다.
• 오염 제거 한계: 테스트 세트의 33 개 소스 문서에서 모든 훈련 문장을 제거하는 문서 수준 오염 제거 실험은 정확 일치 항목의 BLEU 점수를 4.6 포인트만 감소시켰습니다. 이는 16 개의 오염된 표적 중 8 개가 다른 소스 문서를 통해 훈련 데이터에 남아 있었기 때문입니다 (예: "Werde gekocht"라는 구절이 여러 독립적인 파피루스에 나타남). 이는 문서 수준 분할만으로는 부족하며 표적 수준 중복 제거가 필요함을 보여줍니다.

주요 기여

1. 고대어 NMT 에 대한 최초의 오염 감사: 본 연구는 고대 코퍼스의 관례적 반복이 현대 벤치마크에는 없는 체계적인 데이터 유출 위험을 조성하여 공개 테스트 세트에서 32% 의 정확 표적 중첩을 드러냈음을 규명했습니다.
2. 교차 아키텍처 견고성: 저자들은 성능 인플레이션이 모델 특정적이 아니라 데이터셋 고유의 것임을 입증했습니다. M2M-100 및 mBART-50 아키텍처와 다양한 훈련 체제 전반에 걸쳐 격차가 지속되기 때문입니다.
3. 단계적 오염 제거 분석: 본 논문은 정확 일치, 문자 8-gram 중첩, 문서 수준 유출 분석, 항목별 빈도 카탈로그화를 통해 오염의 심각성을 특징화했습니다.
4. 수정된 기준선 및 프로토콜: 저자들은 정확 표적 중첩이 없는 34 개의 샘플로 구성된 오염 제거 테스트 세트를 공개하고 30.9~39.2 BLEU 의 수정된 기준선을 확립했습니다. 또한 문서 수준 분할, 표적 중복 제거, 장르 계층화를 포함하는 분할 프로토콜을 제안했습니다.

의의 및 주장
본 논문은 상형문자에서 독일어 번역에 대한 보고된 61.5 BLEU 점수가 실제 모델 능력을 반영하는 것이 아니라 데이터 오염의 산물이라고 주장합니다. 수정된 기준선 (30.9~39.2 BLEU) 은 이 멸종 위기 문자 체계에 대한 신경 기계 번역 (NMT) 의 현실적인 평가를 제공합니다. 저자들은 NMT 가 고대 텍스트의 일반적인 요지를 포착할 수 있어 (코퍼스 분류에 유용함) 도메인 용어와 개체 식별에 상당한 오류를 포함하고 있어 전문가 검증 없이는 어문학적 분석에 적합하지 않다고 주장합니다.

본 연구는 관례적 반복이 라틴어, 그리스어, 아카드어를 포함한 고대 코퍼스의 보편적 속성임을 강조하며, 오염은 이전에 감사되지 않았던 고대어 NLP 벤치마크에서 가능성 있고 체계적인 문제임을 시사합니다. 저자들은 향후 벤치마크가 오인된 평가를 피하기 위해 오염 통계를 보고하고 오염 상태별로 분할 결과를 제시해야 한다고 결론지었습니다. 그들은 식별된 오염이 의도적인 조작이 아니라 표준 전처리 절차에서 비롯되었을 가능성이 있음을 지적하며, 자신의 작업을 재현성에 대한 건설적인 기여로 규정합니다.