MTQE.en-he: Machine Translation Quality Estimation for English-Hebrew

기술 요약: MTQE.en-he

문제 정의

기계 번역 품질 평가(MTQE)는 MT 파이프라인의 핵심 구성 요소로, 시스템이 고품질 출력을 수용하고 저품질 출력을 인간의 검토 대상으로 분류할 수 있게 합니다. MTQE는 고자원 언어 쌍에 대해서는 광범위하게 연구되어 왔으나, 히브리어는 특정한 과제를 안고 있습니다. 히브리어는 주석이 달린 자원이 영어보다 현저히 적은 중자원 언어로 분류됩니다. 또한, 히브리어의 풍부한 형태론적 특성은 효과적인 번역과 품질 평가를 어렵게 만드는 저자원 학습과 유사한 조건을 형성합니다. 본 연구 이전에는 WMT 공유 작업에 히브리어-영어 테스트 세트가 존재했음에도 불구하고, 영어-히브리어 MTQE를 위한 공개적으로 사용 가능한 벤치마크는 존재하지 않았습니다.

방법론

데이터셋 구축 (MTQE.en-he)

저자들은 영어-히브리어 MTQE를 위한 최초의 공개 벤치마크인 MTQE.en-he를 소개합니다.

• 출처: 이 데이터셋은 네 가지 도메인(문학, 뉴스, 사회, 구어)을 다루는 WMT24++ 코퍼스에서 추출한 959개의 영어 세그먼트로 구성됩니다.
• 번역: 히브리어 번역은 구글 번역(Google Translate)을 사용하여 생성되었습니다.
• 주석 달기: 두 언어 모두에 대해 원어민 수준의 숙련도와 광범한 번역 워크플로우 경험을 갖춘 세 명의 전문가가 세그먼트에 주석을 달았습니다.
• 점수 산정: 주석은 표준 WMT QE 가이드라인을 따라 0에서 100 사이의 Direct Assessment(DA) 방식으로 수행되었습니다. 평가를 위한 정답(ground truth)은 세 명의 주석자 점수의 평균값입니다.
• 통계: 데이터셋은 높은 점수 분포(73%의 세그먼트가 70점 이상)와 짧은 세그먼트 길이(59%가 30단어 미만)를 보입니다. 주석자 간 일치도(한 명의 주석자와 나머지 평균 간의 피어슨 상관계수)는 평균 0.5337이었습니다.

베이스라인 벤치마크

본 논문은 전체 데이터셋에 대해 세 가지 뚜리한 접근 방식을 평가합니다:

1. ChatGPT 프롬프팅: 두 가지 프롬프팅 전략인 "freestyle"(개방형 판단)과 "guidelines"(전체 주석 지침 포함)를 테스트했습니다.
2. TransQuest: 두 가지 버전인 다국어(any-to-any) 모델과 영어-전용(en-any) 모델을 평가했습니다.
3. CometKiwi: 문장 수준과 단어 수준의 품질 예측을 동시에 수행할 수 있는 모델입니다.

미세 조정(Fine-Tuning) 실험

데이터셋은 점수 분포를 유지하기 위해 층화 추출(stratified sampling)을 사용하여 훈련(300), 검증(100), 테스트(559) 슬라이스로 분할되었습니다. 저자들은 네 가지 방법을 사용하여 50 스텝(5 에포크) 동안 TransQuest와 CometKiwi를 미세 조정했습니다:

• 전체 미세 조정 (FullFT): 모델의 모든 파라미터를 업데이트합니다.
• LoRA (Low-Rank Adaptation): 베이스 모델을 동결하고 어텐션 및 피드 포워드 레이어에 대해 저차원 업데이트를 학습합니다.
• BitFit: 편향(bias) 항과 헤드 분류기 레이어만 미세 조정합니다(파라미터의 약 0.2%).
• FTHead: 분류 헤드만 미세 조정합니다.

모든 방법은 동일한 하이퍼파라미터(배치 크기 32, 학습률 3e-5, 선형 감소를 포함한 10% 웜업)를 사용했습니다.

앙상블

저자들은 또한 모델의 예측 점수를 평균 내는 앙상블 접근 방식도 테스트했습니다. 그들은 오컴의 면도날(더 단순한 솔루션을 선호함)에 근거하여 앙상블을 위해 "freestyle" ChatGPT 프롬프트를 선택했습니다.

주요 결과

베이스라인 성능

전체 데이터셋(n=959)에서 CometKiwi가 피어슨 상관계수 0.4828, 스피어만 상관계수 0.5456으로 가장 강력한 단일 베이스라인으로 나타났습니다. TransQuest (en-any)가 피어슨 0.4327로 그 뒤를 이었으며, ChatGPT (freestyle)는 피어슨 0.4266을 기록했습니다.

• 한계점: TransQuest와 CometKiwi 모두 정답 점수가 "우수 또는 완벽" 범위(데이터셋의 31%)에 있음에도 불구하고 0.91 이상의 점수를 예측하는 데 실패했습니다. ChatGPT는 특정 점수를 반복하는 경향을 보여 산점도에서 수평 띠를 형성했습니다.

앙상블 개선 효과

세 모델(ChatGPT-freestyle, TransQuest, CometKiwi)을 앙상블한 결과, 가장 우수한 단일 모델 성능을 보였으며, 최상의 개별 베이스라인(CometKiwi)보다 피어슨에서 6.4 퍼센트 포인트(0.5472 vs. 0.4828), 스피어만에서 5.6 퍼센트 포인트(0.6014 vs. 0.5456) 더 높은 성능을 기록했습니다.

미세 조정 결과

• 전체 미세 조정 (Full Fine-Tuning): FullFT는 TransQuest를 개선하는 데 실패했으며, CometKiomi의 성능을 2~3 퍼센트 포인트 저하시켰습니다. 분석 결과 오버피팅(과적합) 징후와 분포 붕괴(모델의 출력 분포가 일관되지 않거나 평탄해지는 현상)가 발견되었습니다.
• 매개변수 효율적 방법 (Parameter-Efficient Methods): LoRA, BitFit, FTHead는 테스트 세트에서 두 모델(TransQuest, CometKiwi) 모두의 피어슨 및 스피어만 상관계수를 2~3 퍼센트 포인트 성공적으로 향상시켰습니다.
  • CometKiwi + LoRA: 0.4670 피어슨 달성 (기존 0.4495에서 상승).
  • TransQuest + LoRA: 0.4445 피어슨 달성 (기존 0.4205에서 상승).
• 안정성: FullFT와 달리, 매개변수 효율적 방법들은 안정적인 학습 곡선과 완만하고 일관된 분포 변화를 보여주었습니다.

의의 및 주장

본 논문은 세 가지 주요 혁신성을 주장합니다:

1. 최초의 공개 데이터셋: 영어-히브리어 MTQE를 위한 최초의 공개 데이터셋으로, 이 중자원 언어 쌍에 대한 자원 부족 문제를 해결합니다.
2. 새로운 패러다임 벤치마킹: 이 특정 언어 쌍에 대해 ChatGPT 프롬프팅과 모델 앙상블을 사용하는 베이스라인을 구축했습니다.
3. 매개변수 효율적 미세 조정: 자원이 부족한 시나리오에서는 전체 모델 업데이트가 오버피팅되기 쉬운 반면, 매개변수 효율적 방법(LoRA, BitFit, FTHead)은 안정적으로 학습하며 측정 가능한 개선을 가져온다는 것을 입증했습니다.

저자들은 MTQE.en-he를 저자원 언어 시스템에 대한 향후 연구를 가능하게 하는 도구로 배치합니다. 그들은 단일 번역 엔진(구글 번역) 사용, 예산 제약으로 인한 MQM 메트릭 대신 DA 점수 사용, 그리고 낮은 점수의 샘플 수가 제한적인 적은 데이터셋 크기 등을 포함한 한계점을 명시적으로 언급했습니다. 이 연구는 영어-히브리어 및 유사한 언어 쌍에 대한 예측 품질을 개선하기 위한 합성 데이터 생성, 교차 언어 전이 및 캘리브레이션에 관한 추가 연구를 촉발하는 것을 목표로 합니다.