ANCHOR: An English-to-Chinese Transcreation Method for Transferring Check-Worthiness Estimation Data

기술 요약: ANCHOR – 체크 가능성(Check-Worthiness) 추정 데이터 전이를 위한 영어-중국어 트랜스크리에이션 방법론

문제 정의
영어 주석 데이터를 중국어로 번역하는 것은 자동 팩트체크의 핵심적인 상류 작업인 체크 가능성 추정 데이터셋을 구축하는 데 있어 자원 효율적인 경로를 제공한다. 그러나 표준 기계 번역은 종종 원문 텍스트의 '체크 가능성' 레이블을 보존하는 데 실패한다. 번역은 엔티티를 누락하거나, 클레임의 범위를 변경하거나, 정보를 추가함으로써 텍스트의 속성을 변화시켜 원래의 레이블을 부적절하게 만들 수 있다. 또한, 문화적으로 로드된 표현(예: 정치적 은유, 지역적 참조, 관용구)은 특정한 과제를 제기한다. 직역은 중국어 독자에게 원래의 기능을 모호하게 만들 수 있는 반면, 과도한 재작성(rewriting)은 사실적 범위, 주장 강도 또는 화용적 기능을 변경할 위험이 있다. 기존 방법들은 의미 보존, 문화적 적응, 그리고 레이블 일관성을 동시에 달성하는 데 어려움을 겪는 경우가 많다.

방법론: ANCHOR
저자들은 소스 레이블이 여전히 적용 가능한 상태를 유지하면서 영어 체크 가능성 데이터를 중국어로 전이하도록 설계된 트랜스크리에이션 파이프라인인 ANCHOR(Adaptive Naturalization for Check-worthiness-Oriented Rewriting)를 제안한다. 이 방법은 **문화 의존성 분류(Cultural Dependence Classification)**에 의해 결정되는 이중 경로 아키텍처로 작동한다.

1. 문화 의존성 분류:

   • LLM(GPT-5.2)이 입력 텍스트를 높음(High) 또는 낮음(Low) 문화 의존성으로 분류한다.
   • 높은 의존성: 대상 언어에서의 이해도를 위해 적응이 필요한 문화 특화적 은유, 지역적 참조 또는 관용구를 포함하는 텍스트.
   • 낮은 의존성: 문화 간에 이해 가능한 일반적인 감정 표현 또는 사실적 주장.
   • 이 단계는 텍스트를 가정화(Domestication) 경로 또는 외국화(Foreignization) 경로로 라우팅한다.

2. 외국화 경로 (낮은 문화 의존성):

   • 최소한의 변경으로 문맥, 레지스터 및 의미적 경계를 보존하도록 설계되었다.
   • 검색(Retrieval): 중국 외교부 기자회견(2024–2025)에서 추출한 4,987개의 이중 언어 항목으로 구성된 자체 구축 병렬 코퍼스를 활용한다.
   • 하이브리드 검색: 밀집 벡터 유사도(text-embedding-3-large 사용)와 희소 및 다중 벡터 점수를 결합한 2단계 검색 시스템을 사용하여 상위-$k$개의 이중 언어 데몬스트레이션을 선택한다.
   • 생성 및 선택: 검색된 데몬스트레이션을 기반으로 LLM(Qwen-3 Max)이 $n=5$개의 후보 번역을 생성한다. 변형된 타겟 측 텍스트로 학습된 자기 지도 학습형 리랭커(frozen sentence encoder + MLP scoring head)가 가장 높은 점수의 후보를 선택한다.

3. 가정화 경로 (높은 문화 의존성):

   • 표현을 적응시키되 재작성의 범위를 엄격히 제한하도록 설계되었다.
   • 제약 조건: 생성 프롬프트(GPT-5.2 사용)는 네 가지 규칙을 강제한다:
     1. 기존의 검증 가능한 사실을 유지할 것; 새로운 사실적 주장을 도입하지 말 것.
     2. 클레임 대상(엔티티, 숫자, 시간, 인과 관계)과 주장 범위를 보존할 것.
     3. 감정적 톤과 화용적 기능을 유지하되, 의견을 검증 가능한 세부 사항으로 확장하지 말 것.
     4. 위의 사실적 요소들을 유지하면서 문화적 표현을 기능적으로 동등한 중국어 표현으로 적응시킬 것.

주요 기여

1. ANCHOR 프레임워크: 체크 가능성 레이블을 보존하기 위해 데몬스트레이션 보조 외국화와 제약 기반 가정화를 결합하여 문화 의존성에 따라 텍스트를 동적으로 라우팅하는 새로운 트랜스크리에이션 방법론을 제시한다.
2. 평가 체계: 일반 번역 품질(COMET-QE, COMETKiwi, LLM Score로 측정)과 체크 가능성 보존(번역이 원래의 클레임을 지원하는지에 대한 인간의 판단)을 분리하는 이중 평가 방식을 제공한다. 이 설계는 클레임 손실과 비사실적 표현의 사실적 재작성을 명확히 구분한다.
3. 경험적 검증: ANCHOR가 높은 레이블 보존율을 유지하면서 경쟁력 있는 일반 번역 품질을 달성함을 보여주는 종합적인 베이스라인 및 어블레이션 실험을 수행한다.

결과

• 레이블 보존: Baidu, Google, DeepL 및 NMT 모델을 포함한 7개의 번역 모델을 대상으로 한 베이스라인 실험에서, ANCHRO는 **99.38%**의 레이블 보존율을 달 기록하며 DeepL과 함께 모든 모델 중 가장 높은 수치를 기록했다. 특히, ANCHOR는 부정 샘플(비체크 가능성 클레임)을 100.00% 보존하여 DeepL(99.44%)을 앞질렀으며, OPUS-MT(98.33%) 및 NLLB-600M(97.41%)과 같은 모델들을 크게 상회했다.
• 직접 번역 대비 어블레이션: GPT-5.2 직접 번역과 비교했을 때, ANCHOR는 보존율을 1.88 퍼센트 포인트 개선했다(97.19% vs. 95.31%). 이러한 이득은 고유 명사, 수량 및 엔티티 처리에서의 오류 감소(직접 번역 15개 오류 대비 ANCHOR 9개 오류)에 기인한다.
• 일반 번역 품질: ANCHOR는 8개 모델 중 LLM Score(90.63)에서 DeepL(91.78)에 근접하며 2위를 차지했다. 그러나 저자들은 일반 품질 지표(COMET-QE, COMETKiwi)가 레이블 보존과 완벽하게 상관관는데는 미치지 못한다고 언급했다. 예를 들어, Google Translate는 더 높은 COMET-QE 점수를 가졌으나 레이블 보존율은 더 낮았다.
• 경로별 성능: 외국화 경로는 NLP4IF 데이터에서 DeepL과 경쟁력 있는 성능을 보였다. 가정화 경로는 문화적 표현의 필수적인 재작성으로 인해 문장 수준의 대응성이 감소함에 따라 일반 품질 지표에서 직접 번역보다 낮은 점수를 보였다.
• 인간 평가: 문화 의존성 분류는 0.8225의 정확도(높은 의존성 텍스트에 대한 재현율 100%)를 달성했다. 가정화된 번역은 의미 정확성, 문화적 관련성 및 유창성 측면에서 평균 4.386/5의 인간 평점을 받았다.

의의 및 주장
본 논문은 ANCHOR가 중국어 체크 가능성 데이터셋 구축을 위해 영어 주석 자원을 재사용할 수 있는 실질적인 방법을 제공한다고 주장한다. 문화적 적응과 사실적 보존 사이의 긴장 관계를 명시적으로 다룸으로써, ANCHOR는 번역이 클레임의 검증 가능성이나 범위를 변경하는 '레이블 드리프트(label drift)' 위험을 완화한다. 저자들은 체크 가능성 데이터 전이에 있어서 레이블 보존이 최우선 목표이며, 일반 번역 품질은 언어적 사용성을 나타내는 이차적 지표라고 강조한다. 본 연구는 사실적 및 화용적 경계에 의해 제약된 생성 파이프라인이 고품질의 직접 번역 모델이나 일반 LLM 번역이 갖지 못한, 원본 레이블링 의도에 대한 높은 충실도를 유지하며 언어 간 데이터를 성공적으로 전이할 수 있음을 입증한다. 이 연구는 텍스트와 원본 레이블 간의 대응 관계를 유지하기 위해서는 단순히 고품질 번역 지표에 의존하는 것이 아니라, 문화적 라우팅 및 제약 기반 재작성과 같은 특정 전략이 필요함을 강조한다.