Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection

기술 요약: LOONG – 인간과 유사한 장문 문서 번역 에이전트

문제 제기
문서 수준의 기계 번역 (DocMT) 은 여전히 대형 언어 모델 (LLM) 에게 중요한 과제로 남아 있습니다. LLM 은 문장 수준의 번역에서는 탁월한 성능을 발휘하지만, 제한된 컨텍스트 창으로 인해 글로벌 일관성을 유지하는 데 어려움을 겪고, 번역 품질을 저하시키는 중복된 컨텍스트 정보의 존재로 인해 장문 문서 번역에서는 어려움을 겪습니다. 기존 접근 방식은 종종 엄격한 문장 수준 정렬 (Doc2Doc 방법) 을 유지하지 못하거나, 무분별하게 불필요한 컨텍스트를 포함시켜 노이즈를 유발하고 최적하지 않은 성능을 초래합니다. 또한, 표준 청킹 방법은 문서 길이가 증가함에 따라 실패하는 경우가 많아 컨텍스트 용량 한계를 초과하게 되고, 이로 인해 번역 실패가 발생합니다.

방법론
저자들은 전문 번역가의 인지 과정을 모방하도록 설계된 LOONG이라는 인간과 유사한 장문 문서 번역 에이전트를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소에 기반합니다:

1. 인간과 유사한 기억 모듈 (3E):
   LOONG 은 각 문서 세그먼트 처리 후 업데이트되는 다중 세분도 기억 아키텍처를 사용합니다. 이 모듈은 세 가지 유형의 역사적 정보를 저장합니다:

   • 본질 (Essence): 이전 세그먼트의 글로벌 요약을 저장하여 의미적 진행과 장르 신호를 포착합니다.
   • 예시 (Exemplars): 스타일 일관성을 유지하고 컨텍스트 내 시연을 제공하기 위한 이중 언어 문장 쌍 (원문 - 번역문) 입니다.
   • 개체 (Entities): 용어의 정확성을 보장하기 위해 이중 언어 이름과 도메인별 속성을 포함한 개체 (예: 등장인물, 조직) 의 구조화된 기록입니다.

2. 관찰 - 행동 적응형 컨텍스트 선택:
   LOONG 은 검색된 모든 역사에 수동적으로 주의를 기울이는 대신, 유용한 컨텍스트와 중복 정보를 구분하기 위해 심층 추론 메커니즘을 활용합니다. 에이전트는 각 세그먼트에 대해 순차적인 3 단계 추론 과정을 수행합니다:

   • 관찰 (Observe): 에이전트는 본질, 예시, 개체 기억에서 검색된 후보 항목들과 함께 현재 세그먼트를 관찰합니다.
   • 행동 (Act): 에이전트는 각 후보의 의미적 관련성을 분석하는 추론 사고를 생성하고 번역을 위한 최적의 하위 집합을 선택합니다.
   • 순차적 분해 (Sequential Decomposition): 결합 검색 공간을 관리하기 위해 에이전트는 각 기억 유형 (본질, 그다음 예시, 그다음 개체) 에 대한 컨텍스트 선택 전략을 병렬이 아닌 순차적으로 탐색합니다.

3. 강화 학습 및 정렬:

   • 선호 데이터 구축: 시스템은 다양한 "관찰 - 행동" 궤적을 샘플링하여 선호 데이터 세트를 구축합니다. 품질 지표 (sCOMET) 를 기반으로 선호 및 비선호 컨텍스트 선택 행동과 번역 출력을 식별합니다.
   • 학습: 에이전트는 선호 인스턴스에 대한 콜드스타트 감독 미세 조정 (SFT) 을 거친 후 전체 선호 데이터 세트를 사용한 직접 선호 최적화 (DPO) 를 통해 2 단계 프로세스로 최적화됩니다. 학습 효율성을 높이기 위해 저랭크 적응 (LoRA) 이 사용됩니다.
   • 정렬 강제 추론: 원문과 번역문 간의 엄격한 문장 수준 정렬 (평가 및 기억 업데이트에 필수적) 을 보장하기 위해 LOONG 은 재귀 알고리즘을 사용합니다. LLM 출력이 원문 문장 경계와 정렬되지 않으면, 정렬이 달성될 때까지 세그먼트가 재귀적으로 분할됩니다.

주요 기여

• LOONG 에이전트: 정적 컨텍스트 창에 의존하는 대신 심층 추론을 통해 유용한 컨텍스트 정보를 검색하고 적응적으로 식별하는 DocMT 에이전트 개발.
• 순차적 탐색 전략: 컨텍스트 선택 과정을 순차적 단계로 분해하여 선호 데이터를 구축하는 새로운 방법으로, 특정 컨텍스트 유형 (본질, 예시, 개체) 의 유용성에 대한 세분화된 피드백을 가능하게 함.
• 정렬 강제 알고리즘: 원문과 생성된 번역 문서 간의 엄격한 문장 수준 대응을 보장하는 문서 수준 번역을 위한 전용 알고리즘으로, Doc2Sent 와 Doc2Doc 접근법의 강점을 결합함.

실험 결과
실증 평가는 다양한 백본 모델 (Qwen2.5/3, Llama3.1) 과 도메인 (뉴스, 연설, 문학) 에 걸쳐 영어 $\Leftrightarrow$ 중국어, 독일어, 프랑스어 번역 작업에서 수행되었습니다.

• 성능 향상: LOONG 은 베이스라인 (문장, 세그먼트, Doc2Doc, 그리고 기억 기반 에이전트 DELTA) 보다 상당한 개선을 달성했습니다. 문장 수준 (sCOMET), 문서 수준 (dCOMET), 그리고 LLM-as-a-Judge 지표 전반에 걸쳐 평균 13.0 점까지의 향상을 보였습니다.
• 강건성: 에이전트는 보이지 않는 도메인 (예: 웹소설, TED 강연) 과 언어 (체코어, 포르투갈어, 러시아어 $\to$ 영어와 같은 저자원 쌍 포함) 에서 강력한 일반화 능력을 나타냈습니다.
• 노이즈 저항성: 주입된 가짜 컨텍스트 노이즈가 포함된 실험에서 LOONG 은 안정적인 성능을 유지한 반면, 베이스라인 방법은 심각한 성능 저하를 겪었습니다.
• 초장문 문서 안정성: 서유기의 첫 12 장을 번역한 사례 연구 (중국어 $\to$ 포르투갈어) 에서 LOONG 은 컨텍스트 오버플로우 없이 작업을 성공적으로 완료한 반면, 표준 전체 역사 방법은 문서가 컨텍스트 한계를 초과하자마자 실패했습니다.

의의
본 논문은 LOONG 이 초장문 텍스트의 일관성과 응결성이라는 문서 수준 번역의 longstanding 병목 현상을 해결한다고 주장합니다. 심층 추론 능력과 문서 수준 번역 사이의 간극을 메움으로써, LOONG 은 무분별한 컨텍스트 포함보다 적응적이고 추론 주도적인 컨텍스트 선택이 우월함을 보여줍니다. 이 연구는 이러한 에이전트가 추가 튜닝 없이 다양한 도메인에 직접 배포될 수 있음을 시사하며, 글로벌 일관성과 용어 정확성 유지가 중요한 고품질 장문 문서 번역 작업에 대한 강력한 솔루션을 제공합니다.