💬 NLP

Typhoon-S: Minimal Open Post-Training for Sovereign Large Language Models

本文介绍了 Typhoon S，这是一个结合了监督微调、在策略蒸馏以及结合 InK-GRPO 的小规模 RFT 的极简且开放的后训练方案，旨在证明在学术规模的资源下，无需依赖大规模指令语料库或复杂的强化学习流水线，即可开发出能够胜任泰语法律推理等特定区域任务的高质量、主权级大语言模型。

原作者： Kunat Pipatanakul, Pittawat Taveekitworachai

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kunat Pipatanakul, Pittawat Taveekitworachai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个才华横溢、世界级的学生（一个大语言模型），他能说流利的英语和中文，但却对特定国家的当地方言、文化和法律感到陌生。通常，为了解决这个问题，大型科技公司会投入巨额资金、超级计算机和无穷无尽的数据。但如果一个规模较小的团队，比如一所大学或政府部门，想要创造属于自己的“主权”AI，既能理解当地语境，又不需要耗费数十亿美元的预算，该怎么办？

这篇论文介绍了 Typhoon-S，这是一种教导这些 AI 模型既能成为得力的通用助手，又能成为当地高风险任务（如泰国法律）专家的“极简配方”，且仅需极少的资源。

他们是如何实现的，可以分为两个主要部分：

第一部分：让 AI “可被收纳”（通用助手）

目标： 将一个原始的、聪明的基座模型转变为一个礼貌、乐于助人、能够遵循指令、编写代码并在当地语言中自然聊天的助手。

问题： 如果你只是教模型新的指令（监督式微调或 SFT），它往往会变得“脆弱”。这就像一个只背下了教科书答案的学生，一旦老师问了一个稍微不同的问题或者混合了语言，就会陷入恐慌。

解决方案：“影子训练”技术（在策略蒸馏/On-Policy Distillation）
作者使用了两步走的过程：

授课 (SFT)： 他们首先给模型提供了一小部分高质量的英泰混合指令数据。这就像是给学生进行了一次速成班训练。
影子训练 (OPD)： 模型不再仅仅是死记硬背答案，而是被要求生成自己的答案，而一个“教师”模型（一个更聪明的 AI）会在实时过程中观察并进行纠正。
- 类比： 想象一名音乐系学生正在练习一首曲子。在旧的方法中，他们只是听录音并尝试模仿。而在这种新方法中，学生在演奏，而一位大师级音乐家坐在旁边，在学生演奏的同时低声进行纠正。这有助于学生学习如何从自己的错误中恢复，使其更加稳健和灵活。

结果： 他们仅通过在小型 GPU 集群（大约是一个大学实验室的规模）上进行几天的训练就实现了这一目标。最终得到的模型 Typhoon-S-8B 成为了一个强大的通用助手，能够流畅地进行聊天、编程以及在英文和泰文之间切换，足以媲美规模更大的模型。

第二部分：赋予 AI “主权能力”（当地专家）

目标： 教导模型处理复杂的、高风险的当地任务，特别是泰国法律推理，在这种任务中，它需要理解当地法律并使用工具来寻找答案。

问题： 标准的 AI 训练通常只是强化模型已经掌握的知识。如果模型不知道某项特定的泰国法律，标准的训练并不会神奇地教会它这个新事实。此外，标准训练并不会教导 AI 如何使用工具（如搜索引擎）来查找信息。

解决方案：“双脑”训练法 (InK-GRPO)
作者发明了一种名为 注入知识 GRPO (InK-GRPO) 的新训练方法。

大脑游戏： 想象 AI 正在玩一个解开法律谜题的游戏。
- 大脑 A（玩家）： 它尝试利用奖励机制（类似于电子游戏中的得分）来提高自己的推理能力。
- 大脑 B（读者）： 在大脑 A 玩游戏时，大脑 B 会静静地阅读一叠泰国法律文件。
- 奇迹之处： 系统会在这两种模式之间随机切换。有时 AI 在玩游戏；有时它在阅读文件。这使得 AI 能够在学习如何解决问题的同时，学习新的事实（法律）。

工具使用者 (Agentic RFT)：
他们还教导了 AI 使用工具。

类比： 与其试图记住世界上所有的法律，不如教导 AI 说：“我不知道那项具体的法律，让我搜索一下数据库”，然后阅读文件，最后给出答案。
他们训练 AI 按照以下循环进行操作：思考 -> 搜索 -> 阅读 -> 思考 -> 回答。

结果： Typhoon-S-4B 法律智能体 在泰国法律推理方面表现得极其出色。令人惊讶的是，这个只有 40 亿参数的小型模型，在被给予相同的搜索工具时，其表现实际上超越了规模大得多的知名模型 (GPT-5)。

宏观图景

这篇论文证明了，你并不需要一台庞大的超级计算机来构建一个强大的、具有主权的 AI。

对于通用用途： 简单的“授课”与“影子训练”组合 (SFT + OPD) 就足以让模型变得聪明且乐于助人。
对于当地专业领域： 一种巧妙结合“玩游戏”与“读教科书”的方法 (InK-GRPO)，可以让一个小模型有效地学习新的本地事实并使用工具。

成本： 他们完成这一切所使用的资源仅相当于一个典型的大学实验室（在 4 到 8 块高端 GPU 上进行几天的训练），这证明了在创造具有主权意识、本土化的 AI 时，巧妙的设计比单纯的规模暴力更为重要。

技术摘要：Typhoon-S：面向主权大语言模型的极简开放后训练方案

1. 问题陈述

目前，最先进的大语言模型（LLMs）的开发集中在少数拥有大规模计算资源和大规模高资源语言数据集（主要是英语和中文）的机构手中。这为主权环境（即国家或区域性机构必须在严格的透明度约束和有限的计算预算下，保留对模型权重、训练数据和方法的完全控制权的情景）制造了“资源门槛”障碍。

现有的经过主权适配的基础模型通常虽然具备较强的区域知识，但在通用指令遵循、工具使用和智能体行为方面明显滞后。旨在弥补这一差距的标准后训练方案——即扩展大规模通用指令语料库和复杂的强化微调（RFT）流水线——由于工程复杂性和数据需求，对于规模较小的研究小组或国家级倡议而言往往难以实现。

该论文确定了主权 LLM 的两个核心需求：

可采用性（Adoptability）： 将基础模型转化为能够进行指令遵循、数学、代码生成和工具使用的通用助手的能力。
主权能力（Sovereign Capability）： 执行高风险、特定区域任务（例如：当地法律推理、文化知识）的能力，这些任务在通用预训练数据中代表性不足。

核心研究问题是：哪种后训练策略能够在学术级资源约束下，实现与前沿模型相竞争的性能？

2. 方法论

作者提出了 Typhoon S，一种极简且开放的后训练方案，旨在通过将泰语作为代表性案例研究来解决上述需求。该方法分为两个不同的流水线。

2.1 用于可采用性的流水线 (SFT + OPD)

为了将基础模型转化为指令微调后的助手，作者使用了一个两阶段流水线：

监督微调 (SFT)：
- 数据： 一个结合了开源英语指令数据（Tulu 3, Toucan Tool）和专用泰语数据集的统一语料库。泰语数据集通过“AutoIF”构建，该方法翻译真实用户提示词（WildChat）并聚合现有的泰语指令，同时通过随机约束翻译和放置来增强代码切换（code-switching）的鲁棒性。
- 目标： 使基础模型具备基本的指令遵循和工具使用能力。
在策略蒸馏 (On-Policy Distillation, OPD)：
- 机制： 在 SFT 之后，模型进行广义知识蒸馏（GKD）。与离线蒸馏不同，OPD 使用学生模型生成轨迹（在策略数据），然后由教师模型进行修正。
- 实现： 作者利用 HuggingFace Transformers 和 TRL 实现了一个轻量级框架，通过动态模型交换和 CPU 卸载，在有限的硬件（4–8 张 H100 GPU）上实现全 Logits 蒸馏。
- 目标： 最小化学生模型与教师模型之间的 Token 分布差异，以减少训练-推理不匹配并提高泛化能力。

2.2 用于主权能力的流水线 (InK-GRPO)

为了增强领域特定的推理和知识注入，作者引入了 注入知识 GRPO (InK-GRPO)，这是对群体相对策略优化（Group Relative Policy Optimization, GRPO）算法的一种扩展。

挑战： 标准的 RFT 虽然能放大现有知识，但在注入新的领域特定事实或支持复杂的智能体行为方面表现乏力。
解决方案 (InK-GRPO)： 训练目标通过在独立的领域内文本语料库（预训练风格数据）上计算随机交叉熵（CE）损失进行了增强。
- 公式： $L = L_{GRPO} + \lambda \cdot b \cdot L_{CE}$ ，其中 $b \sim \text{Bernoulli}(\rho)$ 。
- 机制： 这允许模型在同一个训练步骤内，在任务导向的优化（GRPO）和领域知识获取（CE 损失）之间交替进行。
智能体 RFT 扩展： 该框架被扩展到智能体场景，使模型能够通过 search 和 read 工具与检索增强生成（RAG）环境进行交互。模型学习如何将推理与工具调用交织在一起，以解决多步问题。

3. 核心贡献

定义主权需求： 论文形式化了资源受限环境下，可采用性（通用助手能力）和主权能力（特定区域高风险任务）的双重需求。
极简可采用性方案： 一个经过验证的流水线，结合了轻量级 SFT 和在策略蒸馏（OPD），能够在无需大规模规模的情况下，将经过主权适配的基础模型转化为具有竞争力的指令微调助手。
InK-GRPO： 一种新型算法，它通过在领域内数据上进行随机的下一 Token 预测来增强 GRPO。这实现了任务性能优化与新领域知识注入的同步进行，解决了标准 RFT 的一个关键局限。
智能体 RFT 扩展： 证明了 InK-GRPO 可以有效地应用于带有外部工具使用的多轮智能体推理场景。

4. 结果

实验以泰语作为主要测试案例，使用了从 4B 到 8B 参数量、并在 4–8 张 H100 GPU 上训练的模型。

可采用性结果

SFT vs. SFT+OPD： 研究发现仅靠 SFT 在处理代码切换和工具使用方面表现不足。加入 OPD 后，平均基准测试得分提升了 6.49 分，并显著增强了在泰语代码切换任务中的鲁棒性。
全 Logits 蒸馏 vs. Top-K 蒸馏： 与 Top-K 蒸馏相比，全 Logits 蒸馏在开放式生成和多语言代码切换方面提供了更优的鲁棒性，尽管 Top-K 对于受限任务已足够。
基础模型适配： 该方案成功将经过主权适配的基础模型 ThaiLLM-8B 转化为 Typhoon-S-8B Instruct。该模型在严格的泰语基准测试（Chat, Code-Switching, OpenThaiEval）上超越了通用目的的 Qwen3-8B，同时在通用英语任务上保持了竞争力的表现。

主权能力结果

InK-GRPO 有效性： 在 NitiBench（泰语法律推理）上，InK-GRPO 达到了 19.30% 的准确率，而标准 GRPO 为 15.82%。在 MIRAGE-Bench 上也显示出持续的增益。
数据来源： 研究发现，相比于 SFT 风格的指令数据，预训练风格的领域内文本对于 CE 损失组件更为有效，这可能是因为它避免了过度约束策略。
智能体性能： 在多轮智能体 RAG 设置中，Typhoon-S-4B Legal Agent（使用 Agentic InK-GRPO 训练）在 NitiBench 上达到了 78.02% 的准确率，优于仅使用 GRPO 训练的模型（73.73%）以及具有类似智能体设置的 GPT-5（75.34%）。
通用能力保持： 至关重要的是，使用 InK-GRPO 训练的模型没有表现出严重的灾难性遗忘。所有基准测试中的通用能力得分保持稳定（在 48.08%–49.55% 的窄范围内），表明领域专业化并未降低其通用推理或知识水平。

5. 意义与主张

论文认为，精心的后训练设计，而非单纯的规模扩张，才是实现实用主权 LLM 的关键。

资源效率： 所提出的方案以学术级资源（大约两天 8-GPU 训练用于可采用性，以及一天 4-GPU 训练用于主权能力）实现了高质量的结果。
透明度与控制权： 通过依赖开放数据集和透明、极简的流水线，Typhoon S 为国家机构提供了一条可行路径，使其能够开发出完全受控、可理解并能适配当地文化及法律环境的模型。
泛化性： 虽然本研究侧重于泰语，但作者声称该方法论并不绑定于特定数据集，可以推广到其他语言和文化背景。

作者总结道，他们的方法提供了一条“通往高质量主权 LLM 的实用路径”，证明了要实现通用领域和特定区域领域的竞争性表现，并不一定需要复杂的、耗费巨资的流水线。