G^2C-MT: Graph-Guided Context Selection for Document-Level Machine Translation

기술 요약: G2C-MT

문제 정의
문서 단위 기계 번역(DocMT)은 어휘적 일관성, 상호 참조 해결(coreference resolution), 그리고 논리적 일관성을 보장하기 위해 장거리 담화 의존성(long-range discourse dependencies)을 포착해야 한다. 거대 언어 모델(LLM)은 긴 문맥을 처리하는 데 유망한 성능을 보여주었으나, 문서 전체를 한 번에 번역하는 방식은 문장 누락, 문맥 희석, 그리고 입력 길이에 대한 LLM의 이차 복잡도(quadratic complexity)로 인한 과도한 디코딩 비용 문제를 야기한다. 기존 솔루션들은 검색 기반 방법이나 그래프 기반 전략을 통해 이를 완화하려고 시도했다. 그러나 검색 기반 접근 방식은 문장을 비구조적인 집합으로 취급하여 명시적인 담화 구조를 보존하지 못하는 경우가 많다. 반면, 기존의 그래프 기반 방법들은 관계 분류를 위해 비용이 많이 드는 LLM 기반 방식을 사용하여 엣지(edge)를 정의하며, 1차 이웃(first-order neighbors) 선택에 국한되어 전역적 문서 구조에 필수적인 심층적 다중 홉(multi-hop) 담화 경로를 포착하지 못한다.

방법론
저자들은 경량 담화 그래프 상에서의 구조화된 경로 탐색 문제로 문맥 선택을 재정의한 G2C-MT(Graph-Guided Context for Machine Translation) 프레임워크를 제안한다. 파이프라인은 세 단계로 구성된다:

1. 방향성 담화 그래프 구축 (Directed Discourse Graph Construction):
   소스 문서는 각 단락을 노드로 하는 가중치 부여된 유향 비순환 그래프(DAG)로 모델링된다. 유향 엣지는 타겟 단락과 이전 단락($j < i$)을 연결하며, 번역의 순차적 특성을 반영한다. 엣지 가중치($w_{ij}$)는 다음 세 가지 요소의 융합을 통해 계산된다:

• 의미적 관련성 ($S_{sem}$): 노이즈를 줄이기 위해 임계값에 의해 절단된 단락 임베딩 간의 코사인 유사도.
• 순차적 인접성 ($S_{seq}$): 지역적 일관성을 보장하기 위한 인접 단락에 대한 고정 가중치.
• 키워드 중복 ($S_{key}$): 의미적 유사성이 놓칠 수 있는 용어 일관성(예: 고유 명사)을 포착하기 위한 TF-IDF 기반 점수.
  이 구축 과정은 값비싼 LLM 추론 대신 사전 학습된 임베딩과 TF-IDF에 의존하므로 매우 가볍다.

2. 깊이 편향 문맥 경로 샘플링 (Depth-Biased Context Path Sampling):
   타겟 단락을 위한 과거 문맥을 선택하기 위해, 이 방법은 타겟 노드에서 시작하여 역추적하는 **깊이 편향 무작위 보행(depth-biased random walk)**을 채택한다.

• 깊이 휴리스틱 (Depth Heuristic): 동적 계획법(dynamic programming)을 사용하여 노드로부터의 최장 경로 길이인 $\phi(v)$를 계산하며, 이는 풍부한 역사적 문맥을 제공할 수 있는 잠재력을 추정한다.
• 확률적 전이 (Probabilistic Transition): 워커(walker)는 엣지 가중치($w_{ij}$)와 편향 항 $(\phi(v_{next}) + 1)^\lambda$을 결합한 확률 분포에 따라 이전 노드로 전이한다. 하이퍼파라미터 $\lambda$는 즉각적인 이웃보다 더 깊고 정보가 풍부한 문맥 경로를 선호하도록 제어한다.
• 다중 경로 샘플링 (Multi-Path Sampling): 무작위 보행의 확률적 특성 덕분에, 단일 타겟에 대해 여러 개의 서로 다른 문맥 경로를 샘형할 수 있다.

3. 경로 기반 문맥 생성 (Path-Based Contextual Generation):
   샘플링된 경로는 자연스러운 문서 순서를 복원하기 위해 역전된 후, 소스 단락과 그에 대응하는 번역을 포함하는 구조화된 프롬프트로 포맷팅된다. 이 프롬프트는 현재 타겟 단락의 번역을 생성하기 위해 LLM에 입력된다.

• 집계를 통한 강건성 (Robustness via Aggregation): 모호한 입력의 경우, 프로토콜은 서로 다른 샘플링된 경로로부터 여러 번역을 생성할 수 있다. 최종 출력은 이러한 후보들을 클러스터링(k-means 활용)하고 클러스터 중심점에 가장 가까운 것을 선택함으로써 결정된다.

주요 기여

• 경량 그래프 모델링: 본 논문은 값비싼 LLM 기반 관계 분류 대신 효율적인 구축 과정(임베딩 + TF-IDF)을 사용하여 문서 문맥을 DAG로 모델링하는 새로운 프레임워크를 도입한다.
• 깊이 편향 트래버설: 고정 윈도우나 1차 이웃 방식이 놓치는 장거리 비선형 의존성 추출을 가능하게 하기 위해, 더 깊은 문맥 경로를 명시적으로 선호하는 편향된 무작위 보행 메커니즘을 설계하였다.
• 다중 경로 강건성: 확률적 트래버설은 다중 경로 샘플링을 자연스럽게 지원하여, 담화 수준의 모호성에 대한 강건성을 개선하기 위해 다양한 번역 후보를 집계할 수 있게 한다.

실험 결과
본 방법은 SAP 데이터셋(기술 IT 도메인)과 IWSLT 2017 데이터셋(내러티브/TED 강연)의 두 벤치마크에서 다양한 LLM 백본(DeepSeek-V3, Gemini-2.5-Flash-lite, Qwen-2.5/3 시리즈)을 사용하여 평가되었다.

• 성능: G2C-MT는 문장 단위, 윈도우 기반, 의미 기반 검색, 그리고 GRAFT 및 DelTA와 같은 에이전트 기반 프레임워크를 포함한 강력한 베이스라인들을 지속적으로 능가했다. 모든 번역 방향과 모델 백본에 대해 가장 높은 d-BLEU 점수를 달연했다.
• 담화 지표: 담화 특화 지표(BlonDe, d-Prism, d-Comet)에서 G2C-MT는 최고의 점수를 기록하였으며, 이는 로컬 윈도우나 전역적 의미 유사성에만 의존하는 방법들보다 개체, 시제, 대명사 처리가 우수함을 입증한다.
• 효율성: 문맥 큐레이션을 위해 여러 번의 LLM 호출이 필요한 에이전트 기반 방법과 달리, G2C-MT는 그래프 구축 및 경로 샘플링이 전처리 단계이므로 $N$개의 단락에 대해 정확히 $N$번의 LLM 호출만을 필요로 한다.
• 절제 연구 (Ablation): 키워드 엣지 또는 깊이 편향 무작위 보행을 제거했을 때 가장 큰 성능 저하가 발생하였으며, 이는 용어 일관성과 심층 문맥 추출의 중요성을 강조한다.

의의 및 주장
본 논문은 G2C-MT가 구조화된 담화 의존성을 명시적으로 모델링함으로써 문서 수준 번역을 위한 강력하고 계산 효율적인 솔루션을 제공한다고 주장한다. 문맥 선택을 그래프 상의 경로 탐색 문제로 봄으로써, 이 방법은 지역적 일관성(순차적 엣지로 포착)과 전역적 관련성(의미 및 키워드 엣지로 포착) 사이의 간극을 성공적으로 메운다. 저자들은 자신들의 접근 방식이 고정 윈도우의 제한점과 비구조적 의미 검색의 노이즈 사이의 트레이드오프를 피하면서, 높은 번역 품질과 일관성을 유지하는 동시에 복잡한 멀티 에이전트 프레임워크에 대한 확장 가능한 대안을 제공한다고 단언한다.