Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy

기술 요약: 어떤 토큰이 문맥을 필요로 하는가? 번역 책임에 관한 번역 기반 분석: 다산성(Fertility)과 엔트로피(Entropy)를 중심으로

문제 정의
문장 외 문맥(extra-sentential context)이 담화 수준의 모호성(예: 대용어, 생략)을 해결하는 데 결정적이라는 점은 잘 알려져 있으나, 현재의 문서 단위 기계 번역(DocMT) 시스템은 모든 토큰을 잠재적으로 관련 있는 것으로 취급하여 문맥을 밀도 있고 순차적으로 인코딩하는 경겠습니다. 이러한 접근 방식은 문맥 처리가 선택적이고 비선형적인 인간의 번역 방식과 대조됩니다. 문맥 활용을 분석하기 위한 기존 방법들은 두 가지 한계가 있습니다. 즉, 특정 담화에 국한된 테스트 세트(예: 대명사 번역 벤치마크)에 의존하거나, 어텐션 시각화 또는 상호 정보량 분석과 같은 설명 가능한 AI(XAI) 기술을 통해 모델 내부 구조에 접근해야 한다는 점입니다. 결과적으로, 어떤 특정 토큰이 문맥을 필요로 하는지, 그리고 문맥이 인간과 유사한 방식으로 번역 과정에 어떻게 영향을 미치는지 정량화할 수 있는 모델 불가지론적(model-agnostic)이며 정답(ground-truth)에 기반한 프레임워크가 부재한 상황입니다.

방법론
저자들은 인간의 참조 번역을 분석하여 선택적 문맥 사용을 정량화하는 사후(post-hoc), 모델 불가지론적 프레임워크를 제안합니다. 이 방법은 단어 정렬(word alignments)에서 유도된 두 가지 지표에 의존합니다:

1. 다산성(Fertility): 특정 소스 또는 문맥 토큰으로부터 생성되는 타겟 토큰의 수로 정의됩니다. 이는 토큰의 구조적 기여도를 측정합니다.
2. 엔트로피(Entropy): 특정 품사(PoS) 범주에 대해 다산성 패턴이 문맥에 따라 얼마나 안정적인지를 측정합니다. 높은 엔트로피는 토큰이 번역에 참여하는 방식의 가변성을 나타내며, 낮은 엔트로피는 일관된 동작을 의미합니다.

프레임워크의 작동 방식은 다음과 같습니다:

• 데이터: 세 가지 언어 쌍(독일어 $\leftrightarrow$ 영어, 영어 $\to$ 힌디어)의 참조 번역을 처리합니다.
• 정렬: awesome-align 툴킷을 사용하여 소스/문맥과 타겟 문장 간의 토큰 수준 정렬을 추출합니다.
• 문맥 조건: 네 가지 설정(문맥 없음, 이전 문장(Prev-1), 다음 문장(Next-1), 무작위 문장(Random-1))을 비교 실험합니다.
• 분석: 문맥이 도입될 때 "생성적 책임(generative responsibility)"이 어떻게 변화하는지 관찰하기 위해, 품사 범주(기능어와 내용어로 그룹화)에 대한 평균 다산성과 엔트로피를 계산합니다.

주요 결과
참조 번역에 대한 분석은 문맥이 어떻게 활용되는지에 대한 몇 가지 뚜렷한 발견을 제시합니다:

• 책임의 재분배: 문맥을 추가하는 것은 전체 코퍼스 수준의 다산성(소스 토큰당 생성되는 총 타겟 토큰 수)을 변경하지 않습니다. 대신, 문맥은 재분배를 일으킵니다. 소스 토큰의 커버리지는 57% 감소하는 반면, 문맥 토큰의 커버리지는 920% 증가합니다.
• 기능어에 대한 선택적 영향: 소스 다산성의 감소는 균일하게 일어나지 않습니다. 기능어(대명사, 조사, 조동사, 접속사, 한정사 등)는 가장 큰 다산성 감소(대명사의 경우 최대 약 13%)를 보입니다. 반면, 내용어(명사, 고유 명사, 형용사)는 대체로 안정적이며, 특히 고유 명사는 거의 변화가 없었습니다. 이는 문맥이 새로운 어휘 정보를 추가하기보다는 문법적 토큰의 모호성을 해결한다는 것을 시사합니다.
• 엔트로피와 안정성: 기능어는 문맥이 추가될 때 다산성 패턴의 변화(더 큰 가변성)를 보이는 높은 엔트로피를 나타내는 반면, 내용어는 안정적입니다. 이는 문맥 사용이 담화 관련 토큰에 대해 매우 선택적이고 가변적임을 나타냅니다.
• 문맥 토큰의 동작: 문맥 토큰이 번역에 참여할 때, 일반적으로 낮은 엔트로피를 가진 약 하나의 타겟 토큰을 생성하며, 이는 복잡한 생성보다는 집중된 일대일 기여를 나타냅니다.
• 무작위 문맥: 무작위로 샘플링된 문장조차도 0이 아닌 정렬 커버리지를 도입하고 소스 다산성을 감소시키지만, 일관된 이전/다음 문장에 비해서는 그 정도가 덜합니다. 이는 정렬 모델이 담화적 일관성이 없는 경우에도 의미적으로 유사한 토큰들을 연결할 수 있음을 시사하지만, 일관된 문맥이 더 유의미한 책임 변화를 유도한다는 것을 보여줍니다.

의의 및 기여
본 논문은 인간 번역의 "선택적 문맥 사용"을 특징지음으로써 기계 번역 시스템을 평가하기 위한 진단적 기준(baseline)을 확립한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 새로운 프레임워크: 다산성과 엔트로피를 사용하여 특정 담화 테스트 세트나 모델 내부 구조 없이도 문맥 사용을 정량화할 수 있는 사후, 모델 불가지론적 방법론을 도입했습니다.
2. 책임 재분배의 개념: 문맥이 새로운 정보를 추가하는 것이 아니라, 생성적 책임을 소스 토큰에서 문맥 토큰으로 선택적으로 이동시킨다는 가설을 제시합니다.
3. 경험적 정답(Ground Truth): 인간 번역 분석을 통해 기능어가 선택적 문맥 주의(attention)의 주요 대상임을 식별하여, 모델의 행동을 비교할 수 있는 벤치마크를 제공합니다.
4. 해석 가능성: 다산성과 엔트로피의 결합 분석은 문맥 정보가 어디에서 번역에 기여하는지, 그리고 그것이 얼마나 일관되게 활용되는지에 대한 해석 가능한 신호를 제공합니다.

저자들은 본 프레-임워크가 인간이 문맥을 처리하는 방식에 대한 "정답 특성화(ground-truth characterisation)"를 제공한다고 결론지으며, 효과적인 번역 모델은 밀도 있고 무차별적인 인코딩보다는 이러한 선택적이고 정밀한 문맥 호출을 모방해야 한다고 제안합니다. 향-후 연구는 이 프레임워크를 모델 생성 출력에 적용하여 인간의 기준점과 비교하는 것을 목표로 합니다.