BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages

기술 요약: 저자원 북동부 인도 언어를 위한 BM25 증강 다중 샷 번역

문제 정의
본 논문은 WMT26 저자원 인도 언어 번역 공유 과제에 참여하는 11개 저자원 북동부 인도 언어의 기계 번역(MT) 문제를 다룹니다. 이 언어들은 인도-아리아어족(아삼어), 오스트로아시아어족(카시어), 8개의 티베트-버마어족(미조어, 벵골 문자와 메이테이 마예크 문자로 표기된 마니푸르어, 보도어, 코크보록어, 카르비어, 니시어, 타긴어), 그리고 영어 기반 크리올(나가미스어) 등 네 가지의 뚜렷한 언어 가족을 포괄합니다. 이 중 특히 니시어, 카르비어, 타긴어는 이전의 MT 연구가 거의 전무한 상태입니다. 과제는 데이터 가용성에 따라 카테고리 1(중간 규모 데이터)과 카테고리 2(매우 제한된 데이터)로 나뉩니다. 저자들은 이전 에디션에서 주를 이루었던 모델 미세 조정(fine-tuning)에 의존하지 않고 영어를 이들 언어로 양방향 번역하는 것을 목표로 합니다.

방법론
플로리다 대학교의 "gators" 팀이 제출한 제안 시스템은 이전에 AmericasNLP 2026(미국 원주민 언어)에서 사용되었던 검색 증강 다중 샷 번역 파이프라인을 변형한 것입니다. 핵심 아키텍처는 대규모 언어 모델(LLM)과 희소 검색 인덱스를 사용하는 추론 시점의 검색 증강 생성(RAG)입니다.

1. 데이터 준비:

   • 검색 뱅크(Retrieval Banks): 시스템은 공식 WMT26 데이터와 공개 코퍼스(예: Samanantar, Endangered Recipes, IndicGenBench FLORES) 및 이전 WMT 릴리스(WMT23)를 병합하여 언어별 학습 뱅크($R$)를 구축합니다.
   • 증강(Augmentation): 특히 카테고리 2 언어들에 대해 상당한 데이터 증강이 적용되었습니다. 예를 들어, 보도어 코퍼스는 9.3배 확장되어 114,000개 이상의 쌍을 확보했으며, 다른 언어들도 소규모 증강을 거쳤습니다.
   • 필터링: 데이터는 SHA-256 중복 제거, 유니코드 정규화(NFC/NFKC), 길이 비율 필터링을 거쳤습니다. 노이즈가 있는 외부 소스에 대해서는 교차 언어 유사성 필터링(LaBSE)이 선택적으로 적용되었습니다.
   • 도메인 정렬: 저자들은 이미지 캡션 데이터인 Multi30k의 합성 데이터가 볼륨을 증가시킴에도 불구하고 성능에 부정적인 영향을 미친다는 것을 발견한 후, 이를 명시적으로 제외했습니다.

2. 검색 메커니즘 (BM25):

   • 시스템은 주어진 소스 문장 $q$에 대해 학습 뱅크에서 가장 유사한 상위 $r$개의 병렬 예시를 검색하기 위해 BM25(Okapi 변형)를 사용합니다.
   • 인덱스 방향: 저자들의 이전 작업에서 발견된 중요한 수정 사항은 BM25 인덱스를 소스 언어 측에 구축하는 것입니다. 영어-인도어($En \to X$)의 경우 인덱스는 영어로 구축되며, 인도어-영어($X \to En$)의 경우 인덱스는 인도어로 구축됩니다.
   • 중복 제거: 겹치는 코퍼스로 인해 거의 동일한 예시들이 프롬프트에 과도하게 채워지는 것을 방지하기 위해, 시스템은 정확히 일치하는 항목을 건너뛰고 60자 정규화 접두사를 기준으로 중복을 제거합니다.

3. 문맥 내 번역 (In-Context Translation):

   • 모델: 번역은 Google GenAI SDK를 통해 Gemini 2.5 Flash를 사용하여 생성됩니다. 모델 미세 조정은 수행되지 않습니다.
   • 프롬프트 구성: 프롬프트는 입력 문장 $q$, $r$개의 검색된 학습 예시, 그리고 단어 중복 순위 기반의 leave-one-out 제외 방식을 통해 선택된 $d$개의 개발 예시($D_d$)로 구성됩니다.
   • 시스템 프롬프트: 각 언어에는 특정 언어적 특징을 인코딩하는 맞춤형 시스템 프롬프트가 포함됩니다 (예: 카시어에게 VOS 어순을 경고하거나, 데바나가리 스크립트를 사용함에도 불구하고 보도어의 티베트-버마적 특성을 명시하는 것).
   • 후처리: 모델 접두사 제거, 유니코드 정규화, 그리고 예상되는 유니코드 블록에 대한 출력 문자 검증을 포함합니다 (이는 메이테이 마가 벵골어로 회귀하는 것을 방지하기 위해 메이테이 마예크에 있어 매우 중요합니다).

4. 하이퍼파라미터 최적화:

   • 22개 언어-방향 쌍 모두에 대해 검색 횟수 $r \in \{0, 20, 40, 80\}$ 및 개발 예시 횟수 $d \in \{0, 10, 20, 49\}$에 대한 그리드 서치를 수행했습니다.
   • 구성들은 홀드아웃 개발 세트(셀당 50개 문장)를 사용하여 ChrF 메트릭으로 평가되었습니다.

주요 기여

• 새로운 도메인으로의 RAG 전이: 본 논문은 이전에 AmericasNLP 과제에서 성공적이었던 검색 증강 방식이 서로 다른 언어 구조와 스크립트 체계에도 불구하고, 북동부 인도 언어 가족에 효과적으로 전이됨을 입증합니다.
• 결정적 버그 수정: 저자들은 이전 파이凡라인에서 번역 방향과 관계없이 BM25 인덱스가 타겟 언어(스페인어)로 잘못 구축되었던 버그를 식별하고 해결했습니다. 이를 소스 언어 기반 인덱스 구축으로 수정한 결과 $X \to En$ 성능이 크게 향 향상되었습니다.
• 도메인 민감도 분석: 절제 실험(ablation studies)을 통해 저자들은 BM25 기반 RAG에서 도메인 정렬이 단순한 데이터 양보다 더 중요하다는 것을 보여줍니다. 뉴스/정부 텍스트 도메인에 이미지 캡셔닝 작업(Multi30k)의 합성 데이터를 적용하는 것은 해로웠습니다.
• 포괄적인 그리드 서치: 연구는 $r$(검색)과 $d$(개발 예시)가 22개의 별개 언어 쌍 사이에서 어떻게 상호작용하는지에 대한 상세한 분석을 제공하며, $En \to X$와 $X \to En$ 방향 간의 최적 구성의 비대칭성을 밝혀냈습니다.

결과
시스템은 WMT26 테스트 세트에 대해 BLEU 및 ChrF++ 메트릭으로 평가되었습니다.

• 성능: 이 제출물은 19개 번역 작업 중 9개에서 최고의 BLEU 점수를, 19개 중 11개에서 최고의 ChrF++ 점수를 기록했습니다.
• 방향성 비대칭성:
  • $En \to X$: 검색($r$)은 일반적으로 유익했으며, 11개 언어 중 10개에서 $r=80$이 최적이었습니다. 이는 RAG가 저자원 언어 생성을 효과적으로 돕는다는 것을 시사합니다.
  • $X \to En$: 검색은 종종 덜 중요하거나 오히려 해로웠습니다. 11개 중 7개의 $X \to En$ 작업에서 최적의 $r$은 0이었는데, 이는 LLM이 이미 잘 알고 있는 고자원 언어(영어)를 생성할 때, 검색된 예시가 쿼리와 거의 동일하지 않는 한 검색이 가치를 더하지 못함을 시사합니다.
• 데이터 부족: 매우 작은 코퍼스(예: 약 900쌍의 카르비어)를 가진 언어의 경우, $r$을 늘려도 성능 이득이 정체되었으며, 이는 검색 강도가 코퍼스 크기에 의해 제한됨을 나타냅니다.
• 스크립트 효과: 논문은 벵골 스크립트로 표기된 마니푸르어와 메이테이 마예크 스크립트 간의 상당한 성능 격차를 언급하는데, 이는 LLM의 사전 학습 노출도가 전자에 더 높기 때문인 것으로 보입니다.

의의 및 주장
저자들은 자신들의 접근 방식이 검색 증강 MT의 능력을 고립시켜 보여줌으로써, 저자원 환경에서 미세 조정이 반드시 필요하지 않다는 것을 증명한다고 주장합니다. 시스템의 성공은 다음 사항에 달려 있습니다:

1. 고품질, 도메인 정렬된 검색 뱅크.
2. 올바른 인덱스 구축 (소스 언어 인덱싱).
3. 선별된 개발 예시($d$)를 활용한 전략적 문맥 내 학습 (소규모 코퍼스의 경우 $r$보다 더 영향력이 컸음).

본 논문은 시스템이 API 접근(Gemini)에 의존하며 안전 필터 및 속도 제한과 같은 제약이 있지만, 저자원 번역을 위한 강력한 훈련 불필요(training-free) 대안이 될 수 있음을 결론짓습니다. 저자들은 개발 세트에서 테스트 세트로의 성능 저하가 관찰되었음을 솔직하게 언급하며, 이는 이전의 연구 결과와 일치하지만, 그럼에도 불구하고 시스템이 대부분의 지표에서 경쟁자들을 앞섰다고 덧붙였습니다.