Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction

1. 연구 배경 및 문제 제기 (Problem)

• 저자원 언어 (Low-resource languages) 의 번역 난제: 대규모 언어 모델 (LLM) 은 일반적으로 방대한 병렬 코퍼스 (parallel corpora) 를 필요로 합니다. 그러나 전 세계 많은 언어는 훈련 데이터가 부족하여 신경 기계 번역 (NMT) 시스템 구축이 어렵습니다.
• 인-컨텍스트 번역 (ICMT) 의 가능성과 한계: 최근 연구들은 LLM 이 훈련 데이터가 아닌, 문맥 (in-context) 에 제공된 문법서, 사전, 교과서 등의 설명을 통해 저자원 언어를 번역할 수 있는지 탐구했습니다.
  • 일부 연구 (Tanzer et al., 2023; Gemini Team, 2024) 는 LLM 이 문법 설명을 기반으로 번역을 시도할 수 있음을 보였으나,
  • 다른 연구 (Aycock et al., 2024) 는 LLM 이 실제 문법 설명보다는 문맥 내의 **예제 번역 (parallel examples)**에 의존하며, 문법 설명만으로는 번역이 어렵다고 주장했습니다.
• 평가의 어려움: 자연어 번역은 여러 가지 올바른 번역이 존재할 수 있어, 기존 평가 지표 (BLEU 등) 가 모델의 성능을 실제보다 과도하게 낙관적으로 평가할 수 있습니다. 또한, 어떤 요인 (문법 복잡도, 어순, 표기법 등) 이 번역 실패를 유발하는지 분리하여 분석하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 자연어 번역의 복잡성을 통제하기 위해 **형식 언어 (Formal Language)**를 기반으로 한 **동기 문맥 자유 문법 (Synchronous Context-Free Grammar, SCFG)**을 활용한 새로운 평가 프레임워크를 제안했습니다.

• SCFG 기반의 형식적 유사 작업 (Formal Analogue):
  • 자연어 문법 (문법서) 을 SCFG 로 추상화하여 두 개의 형식 언어 (소스 언어 $L_s$, 타겟 언어 $L_t$) 쌍을 정의합니다.
  • SCFG 는 두 언어 간의 대응 규칙을 명시적으로 정의하므로, 생성된 문장 쌍에 대해 **정답 (Gold Translation)**을 항상 알 수 있어 정확한 평가가 가능합니다.
• 데이터 생성 및 통제 변수:
  • 훈련 데이터에 존재하지 않는 완전히 새로운 자연스러운 형식 언어 어휘를 생성하여 데이터 누출 (Data Contamination) 을 방지했습니다.
  • 다음 변수들을 체계적으로 조작하여 모델 성능에 미치는 영향을 측정했습니다:
    1. 문법 크기 (Grammar Size): 규칙 수 (25 개 ~ 10,000 개 이상).
    2. 문장 길이 (Sentence Length): 단어 수 (3 개 ~ 50 개).
    3. 어순 (Word Order): SVO(영어형), SOV(바스크어형), OVS(히크카리야어형) 간 변환.
    4. 형태소 (Morphology): 인칭/수 일치 (Agreement) 유무 및 방향 (NoAgr $\to$ Agr 등).
    5. 문자 체계 (Orthography): 라틴, 키릴, 히브루 (점유/비점유 포함) 등 다양한 스크립트.
• 평가 모델: OpenAI 의 GPT-5 시리즈 (gpt-5, mini, nano) 와 Google 의 Gemma 3 시리즈 (1b, 4b, 12b) 를 평가 대상으로 사용했습니다.
• 평가 지표:
  • 정확 일치 (Exact Match): 생성된 번역이 정답과 완전히 동일한지 (가장 엄격한 기준).
  • Bag-of-Words, BLEU, chrF++: 기존 기계 번역 지표들과 비교하여 지표의 신뢰도를 검증했습니다.

3. 주요 결과 (Key Results)

실험 결과, LLM 의 인-컨텍스트 번역 능력은 문법과 문장의 복잡성에 따라 급격히 저하되는 것으로 나타났습니다.

1. 문법 크기와 문장 길이의 영향:
   • 문법 규칙이 작고 (수백 개), 문장이 짧을 (<10 단어) 때는 모델이 높은 정확도를 보였습니다.
   • 그러나 문법 크기가 인간 언어 모델링 수준 (수천 개 규칙) 에 도달하거나 문장이 길어지면 (>20 단어), 모델의 정확도는 급격히 하락했습니다. 이는 모델이 긴 추론 과정에서 규칙을 유지하고 적용하는 데 한계가 있음을 시사합니다.
2. 어순 (Word Order) 의 영향:
   • 소스와 타겟 언어 간의 기본 어순 차이 (SVO $\to$ SOV 등) 는 모델 성능에 거의 영향을 미치지 않았습니다. 모델은 제공된 문법 규칙을 바탕으로 단어 재배열을 잘 수행했습니다.
3. 형태소 (Morphology) 의 영향:
   • 두 언어 모두 인칭/수 일치 (Agreement) 가 없는 경우가 가장 쉬웠습니다.
   • 가장 어려운 경우는 일치 규칙이 없는 언어에서 일치 규칙이 있는 언어로 번역하는 경우였습니다. 이때 모델은 소스 언어의 정보를 타겟 언어의 형태소 규칙에 맞게 확장하는 데 실패했습니다.
4. 문자 체계 (Orthography) 의 영향:
   • 타겟 언어의 문자 체계가 훈련 데이터에 익숙하지 않을수록 성능이 떨어졌습니다.
   • 라틴 문자: 가장 높은 성능.
   • 키릴 문자: 중간 성능.
   • 히브루 문자: 성능이 크게 저하됨.
   • 히브루 문자 (모음 표시 포함): 완전 실패 (0% 정확도). 모델은 익숙하지 않은 문자 조합을 생성하거나 복사하는 데 극도로 취약했습니다.
5. 오류 분석:
   • 모델의 주요 오류는 단어 회상 오류 (Recall Error, 잘못된 단어 사용), 원어 유출 (Source Vocabulary Leakage, 번역하지 않고 원어를 그대로 사용), 생략 (Omission), **환각 (Hallucination, 문법에 없는 단어 생성)**이었습니다.
   • 기존 지표 (BLEU, chrF++) 는 모델의 실제 정확도 (Exact Match) 를 과대평가하는 경향이 강했습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 통제된 실험 환경 구축: 자연어의 복잡성을 제거하고 문법적 요소 (문법 크기, 어순, 형태소, 문자 체계) 를 분리하여 LLM 의 인-컨텍스트 번역 능력을 정밀하게 분석할 수 있는 SCFG 기반 평가 프레임워크를 최초로 제안했습니다.
2. Aycock et al. (2024) 의 반박 및 보완: 이전 연구가 "문법 설명만으로는 번역이 불가능하다"고 주장한 것과 달리, 본 연구는 작은 문법과 짧은 문장에서는 LLM 이 문법 설명을 효과적으로 활용할 수 있음을 증명했습니다. 다만, 복잡도가 증가하면 성능이 무너진다는 한계를 명확히 했습니다.
3. 모델의 병목 현상 규명:
   • 번역 실패의 주된 원인은 어순 변환 능력이 부족해서가 아니라, 복잡한 규칙 집합을 장기간 유지하고 적용하는 능력의 부재와 익숙하지 않은 문자 체계 (Orthography) 처리 능력의 취약성에 있음을 발견했습니다.
   • 특히, 모델이 훈련 데이터의 n-gram 패턴에 과도하게 의존하여 새로운 문자열을 생성하는 데 실패하는 '취약성 (Brittleness)'을 지적했습니다.
4. 실용적 시사점: 저자원 언어 번역을 위해 문법서를 인-컨텍스트로 제공하는 접근법은 유망하지만, 현재 LLM 은 복잡한 문법과 낯선 문자 체계 처리에 한계가 있으므로, 실제 적용을 위해서는 문법 단순화나 추가적인 보조 자료 (예제 문장 등) 가 필요함을 시사합니다.

5. 결론

이 논문은 LLM 이 문법 설명을 통해 새로운 언어를 학습하고 번역할 수 있는 잠재력을 확인하면서도, 그 강건성 (Robustness) 이 문법 복잡도와 표기법 차이 앞에서 매우 제한적임을 실증적으로 증명했습니다. 이는 저자원 언어 번역을 위한 인-컨텍스트 학습 전략의 현재 한계를 명확히 하고, 향후 모델 개발 시 추론 능력과 문자 처리 능력의 향상이 필수적임을 강조합니다.