Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

기술 요약: 언어적 복잡성이 기계 번역 품질을 예측할 수 있는가? 철학 텍스트의 복잡성-품질 연관성에 관한 코퍼스 기반 연구

문제 제기
인공지능과 신경망 기계 번역(NMT)은 고자원 영역(예: 법률, 저널리즘, 학술 텍스트)에서 번역 품질을 크게 발전시켰으나, 저자원이며 인지적 부하가 높은 영역인 철학 텍스트에서 이러한 시스템이 어떻게 작동하는지에 대한 이해에는 주목할 만한 공백이 존재한다. 특히, 기존 문헌은 전통적인 NMT, DeepSeek과 같은 대규모 언어 모델(LLM) 기반 시스템, 그리고 DeepL과 같은 딥러닝 기반 시스템을 복잡하고 추상적인 원문 자료에 적용하여 종합적으로 비교하는 연구가 부족하다. 또한, 언어적 복잡성과 번역 오류 사이의 관계를 다룬 선행 연구들은 특정 언어 쌍(예: 굴절어)이나 장르(예: 저널리즘)에 국한되어 있어, 저자원 문학 및 철학적 맥락에서의 "복잡성-품질 연관성"을 탐구하는 데 한계가 있었다. 본 연구는 독일어-중국어 철학 텍스트에서 어휘적 및 통사적 복잡성 지표가 기계 번역 품질을 예측할 수 있는지에 대한 의문을 다룬다.

연구 방법론
본 연구는 독일 철학자 테오도르 W. 아도르노(Theodor W. Adorno)의 《유고집(Nachgelassene Schriften)》을 활용한 코퍼스 기반 실험 설계를 채택하였다. 기존 학습 데이터로부터 발생할 수 있는 편향을 제거하기 위해, 저자들은 기존에 중국어 번역이 존재하지 않는 텍스트를 선정하였다. 참조 번역(Reference translation)은 숙련된 학술 번역가에 의해 작성되었으며, 역번역(Back-translation)을 통해 검증되었다(원문 독일어 대비 BLEU 점수 0.72 획득). 또한 용어 정렬(Terminological alignment) 과정을 거쳤다.

코퍼스는 세 가지 서로 다른 시스템에 의해 중국어로 번역된 254개의 텍스트 세그먼트(약 59,564 단어)로 구성된다:

1. DeepL (딥러닝 기반)
2. DeepSeek (LLM 기반)
3. NMT (표준 신경망 기계 번역 모델)

번역 품질은 인간 참조 번역에 대해 계산된 BLEU 점수(Bilingual Evaluation Understudy)를 사용하여 정량화되었다. 언어적 복잡성은 번역투(Translationese) 및 제2언어 작문에 관한 선행 연구에서 차용한 중국어 특화 지표들을 사용하여 다음과 같이 분류하여 측정하였다:

• 어휘 지표(Lexical Indices): 유형-토큰 비율(TTR1, TTR2, TTR1C, TTR2C), 평균 단어 순위(MWR), 평균 글자 순위(MCR).
• 통사 지표(Syntactic Indices): 평균 문장 길이(MLS), 평균 절 길이(MLC), 평균 T-단위 길이(MLTU), 문장당 T-단위 수(T/S), 문장당 절 수(C/S).

BLEU 점수를 예측하기 위해 세 가지 다중 회귀 모델을 구축하였다:

• 모델 1: 어휘적 복잡성에만 기반한 모델.
• 모델 2: 통사적 복잡성에만 기반한 모델.
• 모델 3: 어휘적 및 통사적 특징을 통합한 결합 모델.

주요 결과
분석 결과, 언어적 복잡성의 예측력과 관련하여 다음과 같은 결과가 도출되었다:

• 시스템 성능: DeepL은 코퍼스 전반에 걸쳐 DeepSeek 및 표준 NMT 모델보다 일관되게 높은 BLEU 점수를 기록했다. 이 결과는 LLM 기반 시스템(DeepSeek 등)이 이 특정 영역에서 전통적인 NMT 모델을 대체할 수 있는 우월한 대안이 될 것이라는 가설에 도전한다.
• 모델 1 (어휘적 복잡성): R-제곱 값이 0.849로 강력한 설명력을 보여주었다. 어휘적 풍부함과 다양성(TTR1, TTR1C, TTR2, MWR, MCR의 양의 계수로 나타남)은 번역 품질의 유의미한 정적 예측 변수였다. 반면, TTR2C는 음의 계수를 보였는데, 이는 과도한 어휘적 반복이나 중복이 품질을 저해함을 시사한다.
• 모델 2 (통사적 복잡성): R-제곱 값이 0.395로 중간 정도의 설명력을 보였다. 긴 문장 구조(MLS)와 절(MLC)은 품질과 양의 상관관계를 보였으나, 절 밀도(C/S)와 같은 다른 통사적 특징은 통계적으로 유의미하지 않았다. 이는 통사적 복잡성 단독으로는 어휘적 복잡성보다 약한 예측 변수임을 나타낸다.
• 모델 3 (결합 복잡성): R-제곱 값이 0.86으로 가장 높은 설명력을 달성했다. 이 모델은 어휘적 및 통사적 특징을 모두 통합하는 총체적 접근 방식이 번역 결과를 가장 포괄적으로 예측한다는 것을 확인시켜 주었다. 특히, 결합 모델에서 주절 대비 종속절의 비율(T/S)은 음의 계수를 나타냈는데, 이는 높은 구조적 종속성이 번역의 난이도를 높이고 품질을 저하시킬 수 있음을 시사한다.

의의 및 기여
본 논문은 다음과 같은 구체적인 방식으로 기계 번역 품질 평가(MTQA) 분야에 기여한다고 주장한다:

1. 도메인 확장: 고자원 또는 저널리즘 장르가 아닌, 저자원이며 추상적인 영역(철학 텍스트)에서 복잡성-품질 관계를 조사함으로써 연구 공백을 메운다.
2. 시스템 비교: DeepL, DeepSeek(LLM), 표준 NMT의 성능을 비교하는 실증적 데이터를 제공하여, 서로 다른 구조적 접근 방식이 복잡한 의미 및 통사 구조를 어떻게 처리하는지에 대한 통찰을 제공한다.
3. 예측 모델링: 언어적 복잡성을 바탕으로 번역 품질을 예측하는 회귀 모델의 유용성을 검증한다. 본 연구는 어휘적 풍부함이 통사적 복잡성보다 더 지배적인 요인임을 입증하는 동시에, 두 요인의 통합이 가장 정확한 예측을 제공함을 확립한다.
4. 방법론적 프레임워크: 검증된 참조 번역과 특정 복잡성 지표를 갖춘 엄격하게 구축된 코퍼스를 활용함으로써, 도전적이고 비표준화된 도메인에서 MT 성능을 평가할 수 있는 재현 가능한 프레임워크를 제시한다.

저자들은 현재의 MT 시스템이 유망한 모습을 보이고 있으나, 철학 텍스트에서의 성능은 원문의 어휘적 다양성과 통사적 구조에 크게 의존한다고 결론짓는다. 본 연구는 특히 저자원 및 고복잡성 응용 분야에서 MT 시스템을 평가하고 개선하기 위해 어휘적 고려와 통사적 고려의 균형 잡힌 통합이 필요함을 강조한다.