Fluency and Faithfulness in Human and Machine Literary Translation

기술적 요약: 인간 및 기계 문학적 번역의 유창성과 충실성

문제 제기
문학적 번역은 목표 언어에서 유창하고 자연스러운 텍스트를 생성하는 것 (유창성) 과 원문의 의미 및 스타일적 내용을 보존하는 것 (충실성) 사이에서 종종 상충되는 두 가지 목표를 균형 있게 조율해야 합니다. 프레드리히 실라이어마허의 정립과 같은 번역 이론은 이를 대립되는 양극으로 제시하지만, 이러한 긴장 관계는 대규모로 경험적으로 거의 검토된 바가 없습니다. 최근의 대규모 언어 모델 (LLM) 은 문학적 기계 번역에서 높은 유창성을 보여주지만, 이러한 유창성이 의미 보존과 일치하는지는 여전히 불분명합니다. 또한, 골드 표준 참조 없이 번역을 평가하기 위해 참조 없는 품질 추정 지표 (COMET-KIWI 등) 가 점점 더 많이 사용되고 있지만, 문학적 맥락에서 이러한 지표와 구문적 유창성 간의 관계는 잘 이해되지 않고 있습니다.

방법론
저자들은 16 개 원어 언어에 걸친 106 편의 소설에서 번역된 130,486 개의 단락으로 구성된 말뭉치를 분석했습니다. 데이터셋에는 인간 번역, Google Translate 출력, 그리고 Gemma3 아키텍처 기반의 파인튜닝 모델인 TranslateGemma 가 생성한 번역이 포함됩니다.

유창성과 충실성 간의 관계를 측정하기 위해 본 연구는 두 가지 독립적인 지표를 사용합니다:

1. 유창성 (원문 유사성): 유창성은 번역된 단락이 원문 영어 텍스트와 얼마나 유사한지로 정의됩니다. 의미 내용으로부터 구문 구조를 분리하기 위해 저자들은 토큰을 세분화된 품사 (POS) 태그로 대체하여 텍스트를 익명화했습니다. POS n-gram(언igram, 바이그램, 트라이그램) 으로 훈련된 로지스틱 회귀 분류기는 원문 영어 단락 (1800~1930 년 소설 말뭉치에서 추출) 과 번역된 단락을 구분합니다. 분류기는 책 단위 그룹 교차 검증과 구간 길이 조절을 위한 길이 계층화 다운샘플링으로 훈련됩니다. 유창성은 $1 - P(\text{번역} | x)$로 정의되며, 여기서 높은 점수는 원문 영어 구문과의 더 큰 유사성을 나타냅니다.
2. 충실성 (의미 적절성): 충실성은 원문과 목표어 텍스트 쌍을 기반으로 번역 품질을 예측하는 참조 없는 신경 지표인 COMET-KIWI 를 사용하여 측정됩니다. 저자들은 BGE-M3 임베딩을 사용한 왕복 의미 유사성과 COMET-KIWI 점수 간의 강한 양의 상관관계를 입증함으로써 충실성의 대리 지표로서 COMET-KIWI 를 검증했습니다.

주요 기여

• 대규모 경험적 분석: 본 연구는 인간, Google Translate, 그리고 LLM 출력에 걸친 13 만 건 이상의 번역을 단락 수준에서 분석하여 유창성과 충실성 간의 상호작용을 검토합니다.
• POS 기반 유창성 프레임워크: 저자들은 엄격한 책 단위 홀드아웃 평가를 통해 POS 기반 번역체 분류를 사용하여 의미 충실도와 독립적인 구문적 유창성을 측정하는 확장 가능한 방법을 제안합니다.
• 참조 없는 평가 적용: 본 작업은 골드 참조 없이 의미적 충실성을 평가하기 위해 COMET-KIWI 를 문학적 번역에 적용하고, 이를 구문적 유창성 신호와 상관관계 분석했습니다.
• 상충 관계에 대한 경험적 증거: 본 연구는 특히 유사한 길이의 인간 번역에서 유창성과 충실성 신호 간의 부정적 관계에 대한 증거를 제공합니다.

결과

• 길이 혼란 요인: 저자들은 단락 길이가 두 지표 모두에 상당한 혼란 요인임을 발견했습니다. 더 긴 단락은 COMET-KIWI 점수와 유창성 점수 모두와 음의 상관관계를 보입니다.
• 음의 상관관계: 부분 스피어만 상관관계를 사용하여 단락 길이를 통제한 후, 유창성과 충실성 사이에 일관된 음의 관계가 나타납니다. 이는 번역이 구문적으로 '원문과 유사한' (유창한) 방향으로 갈수록 예측된 의미적 적절성이 감소하는 경향이 있음을 시사합니다.
• 원어별 변이:
  • 인간 번역: 통계적으로 유의한 음의 상관관계 ($\rho \approx -0.078$) 를 보이며, 원어민과 같은 구문을 달성하는 것이 의미적 변화를 수반할 수 있는 뚜렷한 상충 관계를 시사합니다.
  • Google Translate: 인간 번역보다 약간 약하지만 음의 상관관계 ($\rho \approx -0.051$) 를 보입니다.
  • TranslateGemma (LLM): 약하고 종종 통계적으로 유의하지 않으며 때로는 양의 상관관계를 보입니다. 이는 LLM 이 인간 번역가나 전통적인 기계 번역 시스템과 동일한 유창성과 충실성 간의 긴장 관계를 보이지 않거나, 지표들이 그들의 출력의 서로 다른 측면을 포착할 수 있음을 시사합니다.
• 지표의 불일치: 결과는 COMET-KIWI 가 POS 기반 유창성 신호와 일치하지 않음을 시사합니다. 높은 유창성 (원문 유사성 측면에서) 이 반드시 COMET-KIWI 로 측정된 높은 의미적 충실성과 동일하지는 않습니다.

의의 및 주장
본 논문은 이러한 발견이 문학적 번역에서 구문적으로 원어민과 같은 영어를 생성하는 것과 의미적 대응을 보존하는 것 사이의 체계적이지만 다소 미미한 긴장 관계에 대한 경험적 증거를 제공한다고 주장합니다. 저자들은 이러한 상충 관계는 유사한 길이의 인간 문학적 번역에서 더 뚜렷하게 관찰된다고 논합니다.

본 연구는 COMET-KIWI 와 같은 자동 평가 지표가 원문과 정렬된 구조적 패턴을 보존하는 번역을 암묵적으로 선호하여 표면적 충실도와 상관관계가 있을 때 '번역체' 신호를 보상할 수 있음을 시사합니다. 반면, POS 기반 유창성 지표는 의미적 적절성과는 다를 수 있는 구문적 자연스러움을 포착합니다. 저자들은 관계의 크기는 미미하지만 분석적 접근 전반에 걸쳐 패턴의 일관성이 문학적 번역에서 유창성과 충실성이 완전히 독립적인 신호가 아님을 나타낸다고 결론지었습니다. 또한 유창성 분류기의 행동은 1800~1930 년 텍스트로 훈련된 역사적 인간 번역과 현대 표준 영어에 최적화된 현대 기계 출력 사이의 스타일적 차이를 검토하는 렌즈 역할을 한다고 지적합니다.