기술 요약: 번역 불가능한 것의 번역

문제 정의

기계 번역(MT)과 대규모 언어 모델(LLM)이 표준 벤치마크에서 높은 성능을 달나 성취했음에도 불구하고, 의미가 언어 간에 완전히 보존될 수 없는 "롱테일(long-tail)" 사례에서는 여전히 상당한 과제가 남아 있다. **번역 불가능성(untranslatability)**이라 불리는 이러한 사례들은 단일 대상 문장이 소스 의미의 모든 측면을 포착할 수 없는 언어적, 문화적, 또는 문체적 불일치로 인해 발생한다. 현재의 NLP 접근 방식은 번역을 의미론적으로 동등한 텍스트 간의 일대일 매핑으로 취급하는 경우가 많으며, 직접적인 번역이 불가능한 시나리오를 다루는 데 실패한다. 언어학 및 번역학의 기존 자원들은 이론적 정의를 제공하지만, 계산 실험에 적합한 대규모의 실행 가능한 프레임워크는 부족한 실정이다.

방법론

1. 구조화된 프레임워크

저자들은 번역 불가능성을 두 가지 핵심 구성 요소로 분해하는 공식 프레케임을 도입한다:

• 번역 불가능성 유형 (uTypes): 불일치의 원인을 세 가지 영역으로 분류하는 구조화된 온톨로지:
  • 언어적(Linguistic): 신조어, 구체성, 구문, 동사 형태, 기타 굴절, 음성학, 철자법.
  • 비유적(Figurative): 언어유희, 관용구.
  • 문화적(Cultural): 종교, 역사, 관습.
• 보상 전략 (cStrats): 직접적인 번역이 실패할 때 의미를 전달하기 위해 사용되는 6가지 기법의 분류 체계:
  • 적응(Adaptation, AD): 효과(예: 유머)를 보존하기 위해 소스 요소를 대상 언어의 대응물로 교체함.
  • *주석(Annotation, AN): * 설명적 맥락이나 각주를 추가함.
  • 차용(Borrowing, BO): 소스 언어의 용어를 그대로 유지함.
  • 번역차용(Calque, CA): 구조를 보존하기 위해 직역함.
  • 선택지(Options, OP): 정보가 부족한 소스에 대해 여러 유효한 번역을 제공함.
  • 의역(Paraphrase, PA): 대상 언어의 평이한 어휘로 의미를 재표현함.

저자들은 번역 확률 $P(e|f)$를 단순한 토큰 수준의 예측으로 취급하는 대신, uType($u$), 맥락($m$), 그리고 보상 전략($c$)의 식별을 포함하도록 재정의할 것을 제안한다.

2. 데이터셋 구축

이 프레임워크를 실행하기 위해, 저자들은 스페인어와 일본어를 소스 언어로, 영어를 대상 언어로 하는 다국어 데이터셋을 구축했다.

• 생성 과정: 인간 전문가의 시드 예시와 LLM(GPT-4o) 생성을 결합한 반복적인 파이프라인을 사용했다. 인간 전문가는 각 uType과 cStrat에 대한 초기 시드를 제공했으며, 이는 LLM이 추가 예시와 번역을 생성하도록 유도하는 프롬프트로 사용되었다.
• 규모: 이 데이터셋은 언어당 1,300개의 소스 문장(13개 uType당 100개 예시)을 포함한다. 각 소스 문장은 6가지 cStrat과 기본(프롬프트되지 않은) 번역을 사용하여 생성된 번역과 쌍을 이루며, 결과적으로 총 18,200개의 번역이 생성되었다.
• 검증: 인간 언어 전문가들이 데이터 샘 샘플을 검증하였으며, 스페인어의 약 96%, 일본어의 약 95%의 예시가 할당된 uType의 유효한 인스턴스임을 확인했다.

3. 인간 선호도 연구

저자들은 보상 전략이 인지된 번역 품질에 어떻게 영향을 미치는지 평가하기 위해 연구를 수행했다.

• 설정: 이중 언어 구사자인 주석가들이 다양한 소스 문장에 대해 7개의 후보 번역(전략별 하나와 기본 번역 하나)의 순위를 매겼다.
• 변수: 연구는 다양한 uType, 번역 맥락(일반, 교과서, 영화), 소스 언어(스페인어 vs 일본어)에 따른 선호도를 조사했다.
• 지표: 주석가의 순위를 집계하기 위해 평균 역순위(Mean Reciprocal Rank, MRR)가 사용되었다.

주요 결과

1. 전략 선호도는 번역 불가능성 유형에 따라 달라진다:

   • **주석(AN)**이 전반적으로 가장 선호되는 전략이었다. 주석가들은 추가적인 설명적 맥락을 포함하는 출력을 일관되게 선호했으며, 이는 번역 불가능한 사례에서 전통적인 번역 형식에 대한 엄격한 준수보다 명확성과 완전성을 선호함을 시사한다.
   • **적응(AD)**은 언어적 불일치(예: 신조어, 동사 형태)에는 잘 작동했으나, 내용을 변경하면 의미가 왜곡되는 문화적/비유적 불일치에는 부적절했다.
   • **차용(BO)**은 일반적으로 가장 선호도가 낮았으나, 문화적 기반이 있는 경우(관습)에는 상대적으로 더 나은 성능을 보였다.
   • **선택지(OP)**는 여러 해석이 존재하는 구체성(Specificity) 불일치에 매우 효과적이었다.

2. 맥락이 전략에 영향을 미친다:

   • 교과서(Textbook) 맥락(정확한 이해를 우선시함)에서는 주석(Annotation)이 현저히 더 선호되었다.
   • 영화(Movie) 맥락(자연스러움과 간결함을 우선시함)에서는 주석이 덜 선호되었으나, 여전히 기본 번역보다는 우수한 성능을 보였다.
   • 기본 번역(명시적 전략 없음)은 맥락 의존적 시나리오에서 일관되게 낮은 선호도를 보였으며, 이는 명시적 전략 적용이 사용자 기대에 더 잘 부합함을 나타낸다.

3. 소스 언어의 차이:

   • 주석(Annotation)이 일본어와 스페인어 모두에서 최선책이었으나, 일본어의 경우 그 선호도가 더 강했다. 이는 일본어와 영어 사이의 언어적, 문화적 거리가 더 멀어 더 명시적인 설명이 필요함을 반영한다.
   • 적응(Adaptation)은 일본어보다 스페인어에서 훨씬 더 선호되었으며, 이는 구조적, 문화적 차이가 일본어의 적응을 더 어렵게 만든다는 것을 시사한다.

4. 다운스트림 유용성:

   • 예비 실험 결과, 이 데이터셋의 예시를 포함하는 것이 제로샷 베이스라인(정확도 0.761 vs 0.704)에 비해 번역 불가능한 문장을 탐지하는 분류기의 정확도를 향상시키는 것으로 나타났다.

의의 및 기여

본 논문은 번역 불가능성을 고립된 예외 사례로 취급하는 것을 넘어, 이를 연구하기 위한 최초의 구조화된 프레임워크를 구축했다고 주장한다. 구체적인 기여는 다음과 같다:

1. 기계 번역을 위한 구조화된 번역 불가능성 유형의 온톨로지.
2. 보상 전략의 분류 체계.
3. 이 프레임워크를 실행하는 다국어 데이터셋(18,200개 예시).
4. 번역 품질이 사용된 전략에 따라 달라짐을 보여주는 경험적 증거(설명적 맥락에 대한 일관된 인간 선호도).
5. 번역을 단순한 의미론적 동등성이 아닌, 불일치 식별과 전략 선택을 포함하는 구조화된 과정으로 보는 전략 기반 기계 번역의 정식화.

저자들은 본 연구가 번역을 언어적, 문화적 경계를 가로지르는 의미 협상의 과정으로 모델링하기 위한 토대를 제공하며, 현재의 MT 목표와 인간의 기대 사이의 간극을 강조한다고 결론짓는다.