기술 요약: OmniAlign

문제 정의

교차 언어 시퀀스 정렬(Cross-lingual sequence alignment)은 병렬 코퍼스 구축과 번역 메모리 구축부터 교차 언어 정보 투영에 이르는 다국어 NLP 애플리케이션을 가능하게 하는 기초적인 작업입니다. 그러나 기존 도구들은 대개 특정 정밀도에 특화되어 있습니다:

• 단어 수준 정렬 도구(예: SimAlign, AwesomeAlign)는 시퀀스 길이가 길어짐에 따라 성능 저하를 겪는 경우가 많으며, 최대 입력 길이(예: 512 토큰)에 의해 제한되는 경우가 빈번하여 긴 텍스트 시나리오에는 부적합합니다.
• 문장 수준 정렬 도구(예: VecAlign, BertAlign)는 문장 임베딩과 유사도 계산에 의존하지만, 세밀한 단어 수준의 정렬을 제공하는 능력은 부족합니다.
• 실무자들은 현재 단어 정렬과 문장 정렬을 위해 별도의 시스템을 필요로 하며, 특히 다국어 및 긴 텍로 환경에서 작업 흐름이 파편화되는 문제를 겪고 있습니다.

다양한 컨텍스트 길이에 걸쳐 단어 및 문장 정렬을 모두 처리할 수 있는 단일하고 실용적인 다국어 정렬 도구가 부족한 실정입니다.

방법론

OmniAlign은 11개의 주요 언어를 대상으로 양방향 단어 및 문장 정형을 지원하는 통합된 경량(0.3B 파라미터) 인코더 전용 모델을 도입함으로써 이러한 한계를 해결합니다.

아키텍처

이 모델은 mGTE-base 아키텍처를 기반으로 구축되었습니다. mGTE-base는 인코더 전용 설계(문장 내 토큰 의존성에 더 우수함), 강력한 다국어 능력, 그리고 긴 시퀀스(최대 8,192 토큰) 지원을 위해 선택되었으며, 이를 통해 mBERT와 같은 모델의 512 토큰 제한을 극복합니다.

정렬 메커니즘

1. 단어 정렬 (Word Alignment):

   • 인코더의 문맥화된 토큰 임베딩으로부터 유도됩니다.
   • 소스(source)와 타겟(target) 토큰 임베딩 간의 유사도 행렬($S = st^T$)을 계산합니다.
   • 행(row)을 Softmax로 정규화하여 확률 행렬($S_{xy}$ 및 $S_{yx}$)을 얻습니다.
   • 최종 정렬은 임계값 $c$ 이상의 이 행렬들의 교집합에 의해 결정되며, 토큰 수준의 정렬을 단어 수준의 결과로 매핑합니다.

2. 문장 정렬 (Sentence Alignment):

   • BertAlign에서 영감을 받았으나 토큰 길이 제약을 강화한 2단계 알고리즘을 활용합니다.
   • 1단계 (1–1 정렬): 최대 내적 탐색(maximum inner-product search)을 사용하여 각 소스 문장에 대해 상위-$k$개의 후보 타겟 문장을 검색합니다. 대각선 조정 탐색 윈도우를 갖춘 동적 계획법(DP) 알고ло리즘이 최적의 1–1 정렬 경로를 결정합니다.
   • 2단계 (m–n 정렬): 1–1 앵커에 의해 유도되어, 알고리즘은 유연한 $m$–$n$ 정렬을 허용하기 위해 로컬 영역에서 두 번째 DP 탐색을 수행합니다.
   • 점수 산정: 스팬(span) 임베딩의 내적과 함께 토큰 길이 페널티(문자 수가 아닌)를 결합하여 사용하며, 이는 구조적으로 다양한 언어 쌍(예: 중국어-영어)에 대해 더 견고합니다.

4단계 학습 파이프라인

세밀한 정확도와 문장 표현 품질 사이의 균균형을 맞추기 위해, OmniAlign은 특정 학습 체계를 채택합니다:

1. 지속적 사전 학습 (Continued Pre-training): Qwen3를 통해 합성된 병렬 코퍼스를 사용하여 마스크드 언어 모델링(MLM) 목표를 통해 토큰 수준의 의미론적 표현을 강화합니다. 이때 짧은 문서와 긴 문서를 혼합하여 사용합니다.
2. 자기 지도 학습 (Self-Supervised Learning): 모델의 온라인 예측에서 유도된 의사 레이블(pseudo-labels)을 사용하여 토큰 수준의 정렬 정확도를 최적화하며, 소스-대상 및 대상-소스 확률 행렬 간의 일관성을 강제합니다.
3. 지도 미세 조정 (Supervised Fine-tuning): 짧은 텍스트에 대한 인간 주석 골드 레이블을 사용하여 모델을 정교화함으로써 정렬 정밀도를 극대화합니다.
4. 문장 임베딩 지식 증류 (Sentence Embedding Knowledge Distillation): 초기 레이어(단어 정렬 모듈 포함)를 고정한 상태에서 마지막 레이어들을 미세 조정하여, 강력한 다국어 교사 모델(LaBSE)로부터 문장 수준의 표현 능력을 증류함으로써 단어 정렬 성능을 해치지 않으면서 문장 정렬 성능을 복원합니다.

주요 기여

1. 통합 모델: 단일 오픈 소스 모델(0.3B 파라미터)인 OmniAlign을 소개하며, 이는 별도의 시스템 없이도 11개 언어에 대해 양방향 단어 및 문장 정렬을 동시에 지원합니다.
2. 다단계 학습 레시피: 지속적 사전 학습, 자기 지도 학습, 지도 미세 조정 및 지식 증류를 결합하여 토큰 수준과 문장 수준의 능력을 모두 최적화하는 새로운 프레임워크를 제시합니다.
3. 긴 컨텍스트 강건성: 모델은 긴 텍스트 단어 정렬(최대 8,192 토큰)에서도 높은 성능을 유지하며, 이는 기존의 많은 방법론이 실패하거나 성능이 저하되는 시나리오입니다.
4. 제로샷 일반화: 모델은 언어 쌍별 가중치가 아닌 공유된 다국어 인코더를 활용하여, 추가 학습 없이도 보지 못한 언어 쌍에 대해 강력한 일반화 능력을 보여줍니다.

실험 결과

• 단어 정렬: OmniAlign은 9개의 언어 쌍(예: zh-en, de-en, ja-en)에서 매우 경쟁력 있는 성능을 달성했습니다. 4개의 데이터셋에서 1위를, 3개에서 2위를 차지했으며, SimAlign, AwesomeAlign 및 WSPAlign의 다국어 버전을 능가했습니다. BinaryAlign가 완전 감독 하의 특정 짧은 텍스트 벤치마크에서 우수한 결과를 보이지만, OmniAlign은 BinaryAlign이 성능이 저하되는 긴 텍스트에서도 강건함을 유지합니다.
• 문장 정렬: 모델은 7개 언어 방향에서 최상위권 F1 점수를 기록하며 4개 테스트 세트에서 1위를 차지했습니다. 특히 다국어 공동 정렬 메커니즘과 토큰 길이 제약 덕분에 여러 쌍에서 LaBSE 기반 베이스라인을 능가했습니다.
• 긴 텍스트 성능: 입력 길이를 확장한 실험(최대 1,850 토큰)에서 OmniAlign은 완만한 성능 저하(AER이 8.5에서 12.6으로 상승)만을 보인 반면, AwesomeAlign 및 ACC-Align과 같은 베이스라인은 심각한 성능 저하를 겪거나 입력을 처리하지 못했습니다.
• 보지 못한 언어: 보지 못한 쌍(예: bg-en, en-hu)에 대한 제로샷 평가에서 OmniAlign은 베이스라인 성능과 대등하거나 이를 능가하여, 언어 방향 전반에 걸친 일반화 능력을 입증했습니다.

의의

본 논문은 OmniAlign이 단어 수준과 문장 수준의 과업 사이의 간극을 메우는 실용적이고 통합된 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 효율성: 다양한 정렬 요구 사항을 위해 단일 경량 모델을 제공함으로써, 별도의 단어 및 문장 정렬기를 유지 관리하는 것에 비해 배포 및 유지 관리 비용을 절감합니다.
• 확장성: 현재 많은 최첨단 단어 정렬기들이 도달하지 못하는 긴 텍스트 시나리오를 성공적으로 처리합니다.
• 일반화: 특정 단계의 다단계 파이프라인으로 학습된 단일 다국어 모델이 언어별 체크포인트 없이도 본 적 있는 언어 쌍과 보지 못한 언어 쌍 모두에 효과적으로 일반화될 수 있음을 입증합니다.

저자들은 짧은 텍스트에 대한 지도 미세 조정이 품질을 향상시키지만, 모델이 이전 학습 단계에서 습득한 긴 컨텍스트 이해 능력을 유지하여 실제 환경의 긴 문서 작업에 대해서도 강건함을 유지한다고 강조합니다.