Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation

기술 요약: 메니샷 번역을 넘어: 저자원 기계 번역을 위한 인-컨텍스트 데몬스트레이션의 스케일링

문제 정의
저자원 언어를 위한 기계 번역(MT)은 고품질 병렬 데이터의 부족으로 인해 근본적인 제약을 받습니다. 대규모 언어 모델(LLM)은 일반적으로 기계 번역 성능을 향상시켰지만, 덜 대표적인 언어들에 적응하는 것은 여전히 어렵습니다. 전통적인 방식인 지도 미세 조정(supervised fine-tuning)은 종종 가용하지 않은 대량의 감독 데이터를 필요로 합니다. 인-컨텍스트 학습(ICL)은 추론 시 데몬스트레이션 예시를 조건화함으로써 파라미터가 필요 없는 대안을 제공하지만, 저자원 환경에서 ICL의 스케일링 동작은 완전히 이해되지 않았습니다. 구체적으로, 인-컨텍스트 예시의 수가 현대의 롱 컨텍스트 모델(최대 1M 토큰)의 한계까지 증가함에 따라 성능이 계속 개선되는지, 아니면 수확 체감 및 성능 저하가 발생하는지는 불분명합니다. 또한, 서로 다른 데이터 소스(단일 언어 데이터 vs. 병렬 데이터)가 이러한 스케일링 동작에 미치는 영향도 미해결 과제로 남아 있습니다.

방법론
본 연구는 인-컨텍스트 데몬스트레이션의 수와 훈련 코퍼스의 유형을 체계적으로 변화시켜 저자원 MT를 위한 메니샷 ICL의 스케일링을 조사합니다.

• 모델: 저자들은 초장기 컨텍스트 지원(최대 1M 토큰)을 갖춘 두 가지 디코더 전용 트랜스포머 모델인 Qwen2.5-7B-Instruct-1M과 Nemotron-8B-UltraLong-1M-Instruct를 평가했습니다.
• 대상 언어: 실험은 두 가지 저자원 오스트로네시아 어족 언어인 **자바어(Javanese)**와 **순다어(Sundanese)**에 집중했습니다.
• 코퍼스 유형: 세 가지 뚜렷한 유형의 인-컨텍스트 데몬스트레이션을 테스트했습니다:
  1. 비지도 단일 언어 데이터: 번역 쌍 없이 크롤링된 대상 언어(자바어/순다어)의 텍스트.
  2. 인스트럭션 스타일 데이터: 대상 언어로 번역된 태스크 지향적 예시(예: Alpaca 데이터셋)이며, 인스트럭션-입력-출력 트리플 형식으로 구성되었습니다.
  3. 병렬 데이터: 대상 언어 문장을 영어와 인도네시아어로 번역하여 생성된 합성 병렬 코퍼스입니다. 인도네시아어는 대상 언어와 유형론적 유사성이 높기 때문에 참조 언어로 포함되었습니다.
• 실험 설정: 컨텍스트 예산은 27 토큰부터 약 100만 토큰($2^{20}$)까지 확장되었습니다. 연구에는 평가를 위해 FLORES+ 데이터셋이 사용되었습니다. 성능은 COMET-22(신경 기반 메트릭)와 ChrF++(문자 n-gram 중첩)를 사용하여 측정되었습니다. 저자들은 순서 민감도를 테스트하기 위해 "first-k" 샘플링(처음 $k$개의 예시를 취함)을 무작위 샘플링과 비교했습니다.
• 합성 데이터 구축: 병렬 데이터의 부족을 해결하기 위해, 저자들은 Aya 컬렉션 데이터셋에서 문장을 추출하고 이를 OpenAI의 GPT-5 모델을 사용하여 영어와 인도네시아어로 번역함으로써 합성 병렬 코퍼스를 구축했습니다.

주요 기여

1. 1M 토큰까지의 스케일링 특성 규명: 본 논문은 100만 토큰 규모에서 저자원 MT를 위한 메니샷 ICL의 첫 번째 경험적 특성을 제공합니다. 이는 효과적인 컨텍스트 크기가 모델이 지원하는 최대 윈도우보다 훨씬 작을 수 있음을 입증합니다.
2. 데이터 유형 민감도 분석: 본 연구는 인-컨텍스트 코퍼스의 유형이 성능 이득의 크기와 스케일링 궤적 모두에 결정적인 영향을 미친다는 것을 보여줍니다. 특히, 인스트럭션 스타일의 단일 언어 데이터가 특정 구성에서 병렬 데이터와 경쟁할 수 있음을 발견했습니다.
3. 리소스 공개: 저자들은 향후 연구를 촉진하기 위해 영어-인도네시아어-자바어 및 영어-인도네시아어-순다어 삼중항에 대한 합성 병렬 코퍼스를 구축하여 공개했습니다.

결과

• 비선형 스케일링 및 포화: 성능은 컨텍스트 크기에 따라 선형적으로 스케일링되지 않습니다. 추가적인 컨텍스트로 인한 이득은 빠르게 포화되며, 일반적으로 $2^{14}$에서 $2^{16}$ 토큰(16K–64K 토큰) 사이에서 발생합니다. 이 지점을 넘어서면 더 많은 예시를 추가해도 수확 체감이 나타납니다.
• 성능 붕괴: 컨텍스트 윈도우가 최대 한계(1M 토큰 근처)에 도달함에 따라, 성능은 종종 저하되며 때로는 제로샷 베이스라인보다 낮아지기도 합니다. 이러한 "붕괴"는 분산된 어텐션 메커니즘 및 "lost-in-the-middle" 현상과 같은 요인 때문으로 간주됩니다. Qwen 모델은 Nemotron에 비해 한계 근처에서 더 뚜렷한 저하와 출력 길이 불안정성을 보였습니다.
• 코퍼스 유형 효과:
  • 병렬 데이터: 일반적으로 가장 높은 성능 이득을 제공했으며, 특히 영어에서 대상 언어로의 번역에서 그러했습니다.
  • 인스트럭션 데이터: 놀랍게도, 인스트럭션 스타일의 단일 언어 데이터는 여러 시나리오에서 병렬 데이터와 대등한 성능을 달imi, 이는 태스크 수행 신호와 포맷팅이 매우 효과적임을 시사합니다.
  • 비지도 단일 언어 데이터: 일관되게 가장 낮은 점수를 기록했습니다.
  • 참조 언어: 참조 언어(영어 vs. 인도네시아어)의 선택은 방향별 효과를 보였습니다. 인도네시아어 병렬 예시는 대상 언어에서 영어로의 번역에 더 유익했던 반 반면, 영어 병렬 예시는 영어에서 대상 언어로의 번역에 도움이 되었습니다.
• 샘플링 견고성: "first-k"와 무작위 샘플링을 비교한 실험에서 유의미한 성능 차이가 나타나지 않았으며, 이는 관찰된 스케일링 트렌드가 예시의 특정 선택에는 견고함을 시사합니다. 다만 위치 효과는 잠재적인 요인으로 남아 있습니다.

의의 및 주장
본 논문은 단순히 컨텍스트 윈도우 크기를 최대화한다고 해서 저자원 MT에서 비례적인 품질 이득이 발생하는 것은 아니라고 주장합니다. 대신, 성능이 저하될 수 있는 모델의 최대 용량보다 훨씬 낮은 "유효 컨텍스트 한계"가 존재합니다. 본 연구는 데이터 유형과 모델 아키텍처가 스케일링 동작의 결정적인 요인임을 강조합니다.

저자들은 고품질 병렬 데이터가 부족한 저자원 언어의 경우, 인스트럭션 스타일의 단일 언어 데이터가 병렬 감독에 대한 실행 가능하고 경쟁력 있는 대안을 제공한다고 강조합니다. 이 발견은 인-컨텍스트 예시의 구조와 태스크 정의가 병렬 쌍이 제공하는 정렬만큼이나 중요할 수 있음을 시사합니다. 마지막으로, 결과는 특정 코퍼스 유형과 모델 아키텍처를 고려하지 않고 무분별하게 컨텍스트 윈도우를 최대치로 확장하는 것에 대해 경고하며, 이는 오히려 역효과를 낼 수 있습니다. 이 작업은 단순한 브루트 포스 방식의 컨텍스트 확장이 아닌 신중한 샘플링 전략의 필요성을 역설합니다.