기술 요약: Typhoon-S: 주권적 대규모 언어 모델을 위한 최소한의 오픈 포스트 트레이닝(Post-Training)

1. 문제 정의

최첨단 대규모 언어 모델(LLM)의 개발은 현재 막대한 컴퓨팅 자원과 대규모 고자원 언어 데이터셋(주로 영어 및 중국어)을 보유한 소수의 조직에 집중되어 있습니다. 이는 주권적 설정(Sovereign Settings)—즉, 국가적 또는 지역적 기관이 엄격한 투명성 제약 조건과 제한된 계산 예산 하에서 모델 가중치, 학습 데이터 및 방법론에 대한 완전한 통제권을 유지해야 하는 시나리오—에 대해 "자원 게이트키핑(Resource Gatekeeping)" 장벽을 형성합니다.

기존의 주권 적응형 베이스 모델들은 강력한 지역적 지식을 보여주기도 하지만, 일반적인 지시 이행(Instruction Following), 도구 사용(Tool Use), 그리고 에이전트적 행동(Agentic Behaviors) 측면에서는 크게 뒤처지는 경러를 보입니다. 이러한 격차를 메우기 위한 표준적인 포스트 트레이닝 레시피—대규모 범용 지시 코퍼스를 스케일링하고 복잡한 강화 학습 미세 조정(RFT) 파이프라인을 사용하는 방식—는 엔지니어링의 복잡성과 데이터 요구 사항 때문에 소규모 연구 그룹이나 국가적 이니셔티브가 접근하기 어려운 경우가 많습니다.

본 논문은 주권적 LLM을 위한 두 가지 핵심 요구 사항을 식별합니다:

1. 채택 가능성(Adoptability): 베이스 모델을 지시 이행, 수학, 코드 생성 및 도구 사용이 가능한 범용 어시스턴트로 변환하는 능력.
2. 주권적 역량(Sovereign Capability): 일반적인 사전 학습 데이터에서 과소 대표되는 고위험/고부가가치 지역 특화 작업(예: 현지 법률 추론, 문화적 지식)을 수행하는 능력.

중심 연구 질문은 다음과 같습니다: 어떤 포스트 트레이닝 전략이 학술적 수준의 자원 제약 조건 하에서 프런티어 모델과 경쟁 가능한 성능을 구현할 수 있는가?

2. 방법론

저자들은 태국어를 대표 사례로 사용하여 위 요구 사항을 해결하기 위해 설계된 최소한의 오픈 포스트 트레이닝 레시피인 Typhoon S를 제안합니다. 이 접근 방식은 두 개의 뚜렷한 파이프라인으로 나뉩니다.

2.1 채택 가능성을 위한 파이프라인 (SFT + OPD)

베이스 모델을 지시 튜닝된 어시스턴트로 변환하기 위해 저자들은 2단계 파이프라인을 활용합니다:

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):
   • 데이터: 오픈 소스 영어 지시 데이터(Tulu 3, Toucan Tool)와 전용 태국어 데이터셋을 결합한 통합 코퍼스를 사용합니다. 태국어 데이터셋은 실제 사용자 프롬프트(WildChat)를 번역하고 기존 태국어 지시문을 집계하며, 코드 스위칭(Code-switching) 강건성을 개선하기 위해 무작위 제약 조건 번역 및 배치를 통해 증강되었습니다.
   • 목표: 베이스 모델에 기본적인 지시 이행 및 도구 사용 능력을 갖추게 합니다.
2. 온-폴리시 증류 (On-Policy Distillation, OPD):
   • 메커니즘: SFT 이후, 모델은 일반화된 지식 증류(Generalized Knowledge Distillation, GKD)를 거칩니다. 오프라인 증류와 달리, OPD는 학생 모델이 궤적(On-policy data)을 생성하도록 하고, 이를 교사 모델이 수정하도록 합니다.
   • 구현: 저자들은 동적 모델 스와핑(Dynamic Model Swapping)과 CPU 오프로딩을 통해 제한된 하드웨어(4~8개의 H100 GPU)에서 풀 로짓(Full-logits) 증류를 가능하게 하는 경량 프레임워크를 HuggingFace Transformers와 TRL을 사용하여 구현했습니다.
   • 목표: 학생과 교사 간의 토큰 분포 차이를 최소화하여 학습-추론 불일치(Train-inference mismatch)를 줄이고 일반화 성능을 높입니다.

2.2 주권적 역량을 위한 파이프라인 (InK-GRPO)

지역 특화된 추론 및 지식 주입을 강화하기 위해, 저자들은 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 알고리즘의 확장판인 **Injected Knowledge GRPO (InK-GRPO)**를 도입합니다.

• 도전 과제: 표준 RFT는 기존 지식을 증폭시키지만, 새로운 도메인 특화 사실을 주입하거나 복잡한 에이전트적 행동을 지원하는 데 어려움을 겪습니다.
• 해결책 (InK-GRPO): 학습 목적 함수가 별도의 인도메인 텍스트 코퍼스(사전 학습 스타일 데이터)에 대해 계산된 확률적 교차 엔트로피(Cross-Entropy, CE) 손실로 증강됩니다.
  • 공식: $L = L_{GRPO} + \lambda \cdot b \cdot L_{CE}$, 여기서 $b \sim \text{Bernoulli}(\rho)$입니다.
  • 메커니즘: 이를 통해 모델은 동일한 학습 단계 내에서 작업 중심 최적화(GRPO)와 도메인 지식 습득(CE 손실) 사이를 교대로 수행할 수 있습니다.
• 에이전트적 RFT: 이 프레임워크는 모델이 search 및 read 도구를 사용하여 검색 증강 생성(RAG) 환경과 상호작용하는 에이전트 설정으로 확장됩니다. 모델은 다단계 문제를 해결하기 위해 추론과 도구 호출을 교차하는 법을 학습합니다.

3. 주요 기여

1. 주권적 요구 사항의 정의: 본 논문은 자원이 제한된 환경에서 채택 가능성(범용 어시스턴트 능력)과 주권적 역량(지역 특화 고위험 작업)이라는 이중적 필요성을 공식화합니다.
2. 최소한의 채택 가능성 레시피: 대규모 스케일 없이도 주권 적응형 베이스 모델을 경쟁력 있는 지시 튜닝 어시스턴트로 변환하는, 경량 SFT와 온-폴리시 증류(OPD)가 결합된 검증된 파이프라인을 제시합니다.
3. InK-GRPO: GRPO를 인도메인 데이터에 대한 확률적 다음 토큰 예측과 결합한 새로운 알고리즘입니다. 이는 작업 성능 최과 도메인 지식 주입을 동시에 최적화하여 표준 RFT의 핵심적인 한계를 해결합니다.
4. 에이전트적 RFT 확장: InK-GRPO가 외부 도구 사용을 포함한 멀티 턴 에이전트 추론 시나리오에 효과적으로 적용될 수 있음을 입증합니다.

4. 결과

실험은 태국을 주요 테스트 케이스로 하여, 4~8개의 H100 GPU에서 학습된 4B에서 8B 파라미터 범위의 모델들을 대상으로 수행되었습니다.

채택 가능성 결과

• SFT vs. SFT+OPD: SFT 단독으로는 특히 코드 스위칭과 도구 사용에서 견고한 성능을 보이는 데 불충분하다는 것이 밝혀졌습니다. OPD를 추가했을 때 평균 벤치마크 점수가 +6.49 포인트 향상되었으며, 태국어 코드 스위칭 작업에서의 강건성이 크게 개선되었습니다.
• Full-Logits vs. Top-K: Full-logits 증류는 Top-K 증류에 비해 개방형 생성 및 다국어 코드 스위칭에서 더 우수한 강건성을 제공했으나, 제약된 작업에서는 Top-K로도 충분했습니다.
• 베이스 모델 적응: 이 레시피는 주권 적응형 베이스 모델인 ThaiLLM-8B를 Typhoon-S-8B Instruct로 성공적으로 변환했습니다. 이 모델은 엄격한 태국어 벤치마크(Chat, Code-Switching, OpenThaiEval)에서 범용 모델인 Qwen3-8B를 능가하면서도, 일반적인 영어 작업에서도 경쟁력 있는 성능을 유지했습니다.

주권적 역량 결과

• InK-GRPO 효능: NitiBench(태국 법률 추론)에서 InK-GRPO는 표준 GRPO의 15.82% 대비 **19.30%**의 정확도를 달면했습니다. MIRAGE-Bench에서도 일관된 이득을 보였습니다.
• 데이터 소스: 사전 학습 스타일의 인도메인 텍ext가 SFT 스타일의 지시 데이터보다 CE 손실 구성에 더 효과적이었는데, 이는 정책을 과도하게 제약하는 것을 방지하기 때문으로 보입니다.
• 에이전트 성능: 멀티 턴 에이전트 RAG 설정에서, Typhoon-S-4B Legal Agent(Agentic InK-GRPO로 학습됨)는 NitiBench에서 **78.02%**의 정확도를 기록하여, GRPO 전용 학습(73.73%) 및 유사한 에이전트 설정을 가진 GPT-5(75.34%)를 모두 능가했습니다.
• 일반 능력 유지: 결정적으로, InK-GRPO로 학습된 모델은 심각한 파괴적 망각(Catastrophic Forgetting)의 징후를 보이지 않았습니다. 일반 능력 점수는 모든 벤치마크에서 좁은 범위(48.08%–49.55%) 내에서 안정적으로 유지되었으며, 이는 도메인 특화가 일반적인 추론이나 지식을 저하시키지 않았음을 나타냅니다.

5. 의의 및 주장

본 논문은 신중한 포스트 트레이닝 설계가 단순한 규모(Scale)보다 실질적인 주권적 LLM을 위한 핵심이라고 주장합니다.

• 자원 효율성: 제안된 레시피는 학술적 규모의 자원(채택 가능성을 위해 약 8-GPU 2일, 주권적 역량을 위해 약 4-GPU 1일의 학습 시간)으로 고품질의 결과를 달성합니다.
• 투명성 및 통제권: 오픈 데이터셋과 투명하고 최소한의 파이프라인에 의존함으로써, Typhoon S는 국가 기관이 완전히 통제하고 이해하며 지역적 문화 및 법률 맥락에 적응할 수 있는 모델을 개발할 수 있는 실행 가능한 경로를 제공합니다.
• 일반화 가능성: 본 연구는 태국에 집중하고 있으나, 저자들은 이 방법론이 특정 데이터셋에 묶여 있지 않으며 다른 언어 및 문화적 맥락에도 일반화될 수 있다고 주장합니다.

저자들은 자신들의 접근 방식이 "고품질 주권적 LLM을 향한 실질적인 경로"를 제공하며, 복잡하고 자원이 많이 드는 파이프라인이 일반 및 지역 특화 도메인 모두에서 경쟁력 있는 성능을 달성하기 위해 반드시 필요한 것은 아님을 입증했다고 결론짓습니다.