Making Large Language Models Speak Tulu: Structured Prompting for an Extremely Low-Resource Language

1. 문제 정의 (Problem Statement)

• 저자원 언어의 한계: 대규모 언어 모델 (LLM) 은 고자원 언어 (전체 데이터의 약 90% 차지) 에서는 뛰어난 성능을 보이지만, 200 만 명 이상의 화자가 있음에도 디지털 자원이 거의 없는 **튜루어 (Tulu, 드라비다어족)**와 같은 극도로 저자원 언어에서는 성능이 현저히 떨어집니다.
• 어휘 오염 (Vocabulary Contamination): 튤루어는 인접한 고자원 언어인 **칸나다어 (Kannada)**와 문자 체계 (칸나다 문자) 가 동일하거나 유사합니다. LLM 은 훈련 데이터의 편향으로 인해 튤루어로 응답하라는 지시에도 불구하고, 실제로는 칸나다어의 어휘와 문법 구조를 사용하여 응답하는 '어휘 오염' 현상이 발생합니다.
• 기존 방법의 부재: 튤루어는 병렬 코퍼스나 대규모 훈련 데이터가 부족하여 기존에 널리 쓰이는 파인튜닝 (Fine-tuning) 이나 사전 학습 (Pre-training) 방식이 적용 불가능합니다.

2. 방법론 (Methodology)

저자들은 모델의 파라미터를 업데이트하지 않고, **구조화된 프롬프팅 (Structured Prompting)**만으로 튤루어 대화 능력을 유도하는 재사용 가능한 프레임워크를 제안했습니다. 주요 구성 요소는 다음과 같습니다.

A. 로마자 표기 시스템 (Romanization System)

• 목적: 칸나다어와의 혼동을 방지하고 토큰화 효율성을 높임.
• 구현:
  • 튤루어와 칸나다어를 구별할 수 있는 일관된 로마자 표기법 설계 (예: 후치음, 장모음, 구개음화 등 음운론적 특징을 디아크리틱으로 표기).
  • 효과: 칸나다 문자 사용 시 단어당 평균 3.2 개의 토큰이 소요되던 것이, 제안된 로마자 표기법에서는 1.4 개로 감소 (56% 효율 향상). 이는 모델이 언어 경계를 유지하는 데 도움을 주어 오염을 줄이는 데 기여했습니다.

B. 명시적 문법 문서화 (Explicit Grammar Documentation)

• 근거: 훈련 데이터가 없으므로, LLM 에게 튤루어의 언어적 지식을 직접 제공.
• 내용: 원어민 3 명과 협력하여 다음과 같은 규칙을 문서화하여 프롬프트에 포함:
  • 동사 활용 (성, 시제, 인칭, 수, 격식 등 15 개高频 동사의 48 가지 형태).
  • 8 가지 격 (Case) 마커 및 형태음운론적 변화.
  • 대명사 체계 및 SOV(주어 - 목적어 - 동사) 어순.
• 검증: 200 개의 실제 문장에 대해 문법 규칙의 커버리지가 87~95% 로 확인됨.

C. 부정적 제약 (Negative Constraints)

• 핵심 기법: "칸나다어 단어를 절대 사용하지 말라"는 명시적 금지 명령과 함께, 고빈도 칸나다어 단어 (예: '나'를 뜻하는 naanu) 와 그 튤루어 대체어 (y¯an) 를 짝지어 제공.
• 역할: 모델이 확률적으로 높은 칸나다어 토큰을 생성하는 것을 억제하고, 저확률인 튤루어 토큰을 선택하도록 유도.

D. 자기 검증 (Self-Verification)

• 메타인지 프롬프팅: 응답 생성 전에 prohibited words(금지된 단어) 회피, 동사 활용 정확성, SOV 어순, 격 마커 확인 등을 스스로 점검하도록 지시.

E. 프롬프트 아키텍처

• 총 약 2,800 토큰의 5 층 구조로 구성:
  1. Identity: 튤루어 원어민으로서의 정체성 설정.
  2. Negative Constraints: 금지된 칸나다어 단어 목록 (가장 중요한 부분으로 초기 배치).
  3. Grammar Rules: 상세한 문법 규칙 및 표.
  4. Few-Shot Examples: 자연스러운 사용 예시.
  5. Self-Verification: 생성 전 검증 지시.

3. 주요 기여 (Key Contributions)

1. 파라미터 업데이트 없는 저자원 언어 접근: 튤루어와 같이 훈련 데이터가 거의 없는 언어에서도 구조화된 프롬프팅만으로 85% 의 문법 정확도를 달성함을 증명.
2. 부정적 제약의 일관된 효과: 모델 아키텍처 (Gemini, GPT-4o, Llama) 에 관계없이 부정적 제약이 어휘 오염을 12~18%p 일관되게 감소시킴.
3. 기계적 증거 (Falsification Experiment): 의도적으로 잘못된 문법 규칙을 프롬프트에 주입했을 때 성능이 47%p 급감한 것을 통해, 모델이 단순히 패턴을 암기하는 것이 아니라 제공된 문법 규칙을 실제로 학습하고 적용하고 있음을 입증.
4. 엄격한 인간 평가: 원어민 3 명을 대상으로 한 블라인드 평가 (Cohen's κ = 0.72) 를 통해 시스템의 유효성을 검증.

4. 실험 결과 (Results)

• 평가 모델: Gemini 2.0 Flash, GPT-4o, Llama 3.1 70B.
• 성능 지표:
  • 어휘 오염 (Contamination): 베이스라인 (단순 지시) 의 80% 에서 5% 로 감소.
  • 문법 정확도 (Grammar Accuracy): 베이스라인 1525% 에서 **7885% 로 향상**.
  • 모델별 차이: Gemini 2.0 Flash 가 85% 정확도/5% 오염으로 가장 우수했으며, GPT-4o(82%/7%), Llama(78%/6%) 도 우수한 성능을 보임.
• Ablation Study (성분 제거 실험):
  • 부정적 제약 제거: 오염도가 12~18%p 증가 (가장 일관된 영향).
  • 문법 문서화 제거: 모델에 따라 정확도 감소 폭이 다름 (GPT-4o 는 24%p 감소, Llama 는 8%p 감소). 이는 모델이 명시적 구조를 활용하는 능력이 아키텍처에 따라 다르다는 것을 시사.
  • 상호작용: 문법과 제약 조건은 시너지 효과를 발휘 (개별 개선 효과의 합보다 1.3 배 더 큰 개선).
• 인간 평가 결과:
  • 전반적인 점수는 베이스라인 2.0/5.0 에서 4.0/5.0으로 상승.
  • **유창성 (Fluency)**이 3.6/5.0 으로 상대적으로 낮음 (번역투 느낌).
  • 오류 유형: 문법적 과일반화 (22%), 동사 일치 오류 (18%), 비자연스러운 코드스위칭 (12%) 등.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 고비용의 재학습 없이도 LLM 을 저자원 언어에 적용할 수 있는 실용적인 경로를 제시.
  • LLM 이 고자원 언어에서 학습한 추상적인 문법 연산 (격 표시, 시제 등) 을 명시적 지시를 통해 저자원 언어에 인스턴스화할 수 있음을 보여줌.
  • 토큰화 효율성 (로마자 표기) 이 다국어 모델 성능에 미치는 영향을 정량적으로 입증.
• 한계 및 윤리적 고려사항:
  • 유창성 부족: 문법적 정확도는 높으나, 원어민 수준의 자연스러운 화용론적 능력 (Register, 문화적 맥락) 은 부족함.
  • 방언 및 표준화: 주로 만갈로어 (Mangalore) 방언 기반 문법을 사용했으므로 다른 방언이나 사회방언에는 적용이 제한적일 수 있음.
  • 로마자 표기: 기술적 효율성은 높으나, 튤루어 화자 커뮤니티의 선호도 (칸나다 문자 또는 티갈리 문자) 와 충돌할 수 있음.
  • 적용 범위: 고위험 분야 (법률, 의료, 교육) 에는 적합하지 않으며, 저위험 탐색적 용도로 제한되어야 함.

결론

이 연구는 **구조화된 프롬프팅 (Explicit Grammar + Negative Constraints + Romanization)**이 훈련 데이터가 극도로 부족한 언어에서도 LLM 의 성능을 획기적으로 개선할 수 있음을 입증했습니다. 특히, 모델 내부의 파라미터를 변경하지 않고도 외부 지식을 효과적으로 주입하여 '어휘 오염'을 해결하고 문법적 정확도를 높일 수 있다는 점은 저자원 NLP 분야에서 중요한 통찰을 제공합니다.