기술 요약: TFD – 포괄적인 구조화된 티베트어 기초 데이터셋

1. 문제 제기

고자원 언어에서 대규모 언어 모델 (LLM) 의 놀라운 성공에도 불구하고, 티베트어 분야의 진전은 심각하게 제한되어 있습니다. 주요 한계는 단순히 원시 티베트어 텍스트의 부족이 아니라, 현대 LLM 개발 파이프라인 전체를 아우르는 구조적으로 완전한 데이터 생태계의 부재에 있습니다. 기존 티베트어 자료들은 일반적으로 소규모, 도메인 특화적, 노이즈가 많으며 표준화된 처리가 결여되어 있습니다. 특히, 기존 자원은 사전 학습, 지시 미세 조정 (instruction tuning), 안전 정렬, 선호도 최적화, 추론 감독을 포함한 현대적 학습 단계의 전체 스펙트럼을 동시에 지원하지 못합니다. 그 결과, 현재 티베트어 LLM 은 제한된 일반화 능력, 약한 담론 모델링, 불안정한 생성을 보입니다.

2. 방법론: 티베트어 기초 데이터셋 (TFD)

이 구조적 격차를 해소하기 위해 저자들은 티베트어용 LLM 개발 파이프라인 전체를 아우르도록 설계된 첫 번째 구조화되고 대규모이며 전문가가 큐레이션한 데이터셋인 TFD를 소개합니다. TFD 는 두 가지 주요 하위 데이터셋으로 구성됩니다:

2.1 TIBSTC (일반 지도 미세 조정)

TIBSTC 는 5 가지 범주에 걸쳐 110 억 개 이상의 토큰을 포함하는 다성분 컬렉션입니다:

• 코퍼스: 문학, 법률, 종교, 의학, 일상 소통을 아우르는 이질적인 사전 학습 코퍼스 (1 억 2,200 만 개 이상의 인스턴스). 전통적인 문법과 구문을 포함하여 문화적 고유성을 보존합니다.
• Alpaca-Ti: 지도 지시 미세 조정을 위한 데이터셋 (4 만 2 천 개 인스턴스). 영어 Alpaca 데이터셋을 번역하고 현지화하여 구성되었습니다. 의미적 충실도와 문화적 정렬을 위해 구글 번역/Claude-3.5-Sonnet 을 이용한 이중 모델 초안 작성과 인간 평가를 포함한 엄격한 2 단계 전문가 정렬 프로토콜을 거쳤습니다.
• Safety-Prompts-Ti: 지시 공격 (예: 목표 탈취, 프롬프트 유출) 과 안전 시나리오 (예: 신체적 해악, 윤리) 를 다루는 안전 정렬 데이터셋 (3 만 8 천 개 인스턴스).
• CValues-Ti: 안전 지향적 응답 분류 (안전 및 책임, 안전, 안전하지 않음) 에 초점을 맞춘 소규모 선호도 데이터셋 (2 천 개 인스턴스).
• hh-rlhf-Ti: HH-RLHF 에서 적응된 선호도 최적화 데이터셋 (4 만 7 천 개 인스턴스). 유용성과 무해성을 개선하기 위해 티베트어 언어 패턴에 맞게 재구성되었습니다.

2.2 TIBSTC-CoT (Chain-of-Thought 추론)

이는 첫 번째 대규모 원천 티베트어 체인 오브 씽킹 (Chain-of-Thought) 데이터셋입니다. 다단계, 다모델 파이프라인을 통해 구축되었으며 다음과 같은 과정을 거쳤습니다:

1. 질문 작성: 에이전트가 5 개 도메인 (과학, 생명과학, 인문학, 사회과학, 종합) 전반에 걸쳐 다양하고 문맥상 관련성이 높은 질문을 생성합니다.
2. CoT 및 답변 생성: 생성 모델이 중간 추론 단계와 최종 답변을 생성합니다.
3. 자동 평가: 평가 모델이 일관성, 논리, 문화적 적절성에 따라 샘플을 점수화합니다.
4. 수동 검증: 인간 전문가가 유지된 샘플의 사실적 일관성과 문화적 규범을 검증합니다.

2.3 데이터 처리 파이프라인

저자들은 엄격한 큐레이션 과정을 강조합니다. 단순 기계 번역과 달리, 이 파이프라인은 다음을 포함합니다:

• 이중 모델 초안 작성: 여러 LLM 을 사용하여 초안을 생성합니다.
• 인간 평가: 티베트어 전문가들이 의미적 충실도, 유창성, 도메인 지식, 문화적 정렬에 대해 독립적으로 점수화합니다.
• 전문가 심의: 두 번의 검토 라운드를 거쳐 전문가 승인률을 약 28%(초기 초안) 에서 100% 로 높입니다.
• 언어적 표준화: 표기법 일관성을 보장하고 비자연스러운 구문을 수정합니다.

3. 모델 학습: Sun-Shine 패밀리

TFD 를 검증하기 위해 저자들은 Sun-Shine 패밀리의 참조 LLM 을 학습시켰습니다:

• Sun-Shine 1.0: Llama-3.1(8B) 백본을 기반으로 구축되었습니다. TIBSTC 코퍼스에서의 사전 학습, Alpaca-Ti 및 Safety-Prompts-Ti 에 대한 지도 미세 조정 (SFT), CValues-Ti 및 hh-rlhf-Ti 에 대한 직접 선호도 최적화 (DPO) 의 3 단계 파이프라인을 따릅니다.
• Sun-Shine 2.0 (Sunshine-Thinking): Qwen-3 백본 (1.7B 및 8B 변형) 을 기반으로 구축되었습니다. 다단계 추론을 명시적으로 학습하기 위해 TIBSTC-CoT 를 사용한 SFT 를 통해 학습됩니다.

4. 주요 결과

저자들은 TLUE 벤치마크 및 다운스트림 작업에서 Sun-Shine 모델을 GPT-4o, DeepSeek-R1, 다양한 Qwen/Llama 변형 등 강력한 베이스라인과 비교 평가했습니다.

4.1 이해 및 안전 (TLUE)

• 성능: Sun-Shine 1.0(8B) 은 Ti-MMLU 의 중국 특화, STEM 및 기타 카테고리에서 응답률 (RR) 과 정확도 (ACC) 측면에서 훨씬 더 큰 모델 (예: Llama-3.1-405B, DeepSeek-R1) 보다 크게 우위를 점했습니다.
• 안전: Sun-Shine 1.0 은 특히 불법 활동과 모욕성 카테고리를 포함한 안전 벤치마크 (Ti-SafetyBench) 에서 뛰어난 성능을 보였으며, 이는 Safety-Prompts-Ti 의 표적 감독에 기인합니다.
• 추론: Sun-Shine 2.0(Sunshine-Thinking) 은 다단계 추론 작업에서 베이스라인을 일관되게 능가했습니다. 특히 1.7B 변형은 사회과학 분야에서 GPT-4.1, Qwen-3-8B 와 같은 더 큰 모델을 능가하여, 구조화된 감독 (CoT) 이 파라미터 규모와 무관한 향상을 가져온다는 것을 입증했습니다.

4.2 생성 및 번역

• 번역: Sun-Shine 1.0 은 티베트어 - 중국어/영어 번역 작업에서 가장 높은 BLEU-4 및 ROUGE 점수를 달성하여 GPT-4o 와 DeepSeek-R1 을 능가했습니다.
• 문화적 정렬: 정성적 평가 (고전 중국어 생성, 고전 시) 에서 Sun-Shine 1.0 은 절제되고 문화적으로 정렬된 스타일을 유지한 반면, 더 큰 범용 모델들은 더 현대화되거나 장식적인 출력을 생성했습니다.

4.3 제거 실험 (Ablation Studies)

토큰 매칭 제거 실험은 추론 작업에서의 성능 향상이 토큰 양 증가가 아닌 **감독 구조 (CoT 데이터)**에 의해 주도되었음을 확인했습니다. 동일한 토큰 예산에도 불구하고 CoT-SFT 가 표준 SFT 와 추론 단계가 없는 DeCoT-SFT 보다 우월한 성능을 보였습니다.

5. 의의 및 주장

이 논문은 저자원 언어 모델링의 진보가 단순히 규모뿐만 아니라 구조적으로 완전한 데이터 생태계를 필요로 한다고 주장합니다.

• 유례 없음: TFD 는 티베트어에 대해 사전 학습, 지시 미세 조정, 안전 정렬, 선호도 최적화, 추론 감독을 동시에 지원하는 최초의 자원입니다.
• 효율성: 결과는 구조화되고 큐레이션된 데이터셋으로 학습된 8B 모델이 한 자릿수 더 큰 규모의 모델과 경쟁하거나 능가할 수 있음을 보여주며, 단순한 파라미터 수보다 고품질 데이터의 효율성을 강조합니다.
• 재현성: 저자들은 TFD 와 Sun-Shine 모델을 공개함으로써 재현 가능한 연구와 견고하며 문화적으로 정렬된 티베트어 LLM 개발을 촉진하고자 합니다.

저자들은 전문 방언의 대표성 부족, TIBSTC-CoT 에서 LLM 보조 생성으로 인한 잠재적 잔류 편향, 그리고 현재 다중 모달 평가의 부재 등 한계를 인정합니다. 이 작업을 기초적인 단계로 위치시키고, 추가적인 아키텍처 최적화 및 학습 전략 탐색은 향후 연구에 맡깁니다.