Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

该研究提出了一种从领域特定词汇出发构建高质量合成指令数据的通用方法，并以此在日本金融领域构建了包含 95 亿词元链式思维推理的大规模数据集，有效提升了领域专用大语言模型的推理能力。

要点

这篇论文就像是在讲述一个**“如何给大语言模型（LLM）开一家‘日本金融专家速成班’"**的故事。

想象一下，现在的 AI 就像一个博闻强记的**“超级大学生”。它读过很多书，知道很多常识，但如果突然让它去处理“日本股市的复杂报表”或者“保险理赔的细微条款”**，它可能会因为缺乏专业经验而犯傻，或者只会死记硬背，不会灵活思考。

这篇论文的作者们（来自野村综合研究所等机构）就是为了解决这个问题，设计了一套**“制造专业教材”**的方法，并成功培养出了一位懂日本金融、会逻辑推理的 AI 专家。

下面我用几个生动的比喻来拆解他们是怎么做的：

1. 核心难题：光有知识不够，还得会“思考”

以前的方法通常是给 AI 喂大量的金融资料（就像给大学生塞了一堆金融课本），这叫“继续预训练”。这确实能让 AI 记住很多术语，但它可能还是**“死读书”**，遇到复杂问题不会一步步推导。

现在的趋势是让 AI 学会**“边想边说”（Chain-of-Thought，思维链）。就像让一个学生在做数学题时，不仅要写出答案，还要把解题步骤一步步写出来。但这在“日本金融”**这个特定领域，缺乏高质量的“带步骤的练习题”。

2. 他们的解决方案：自动化的“教材工厂”

作者们没有去网上到处找现成的题目（因为很难找），而是建了一个**“自动教材工厂”**。这个工厂的流水线是这样的：

• 第一步：挑选“种子” (选主题)
  他们先列出了一堆金融关键词，比如“股票”、“保险”、“证券”、“地理”等。这就像老师先定下要教哪些章节。
• 第二步：生成“题目” (造指令)
  让 AI 根据这些关键词，自己编出各种类型的题目。有的像问答题（“解释一下这个概念”），有的像计算题（“算算这笔利息”），有的像选择题。
• 第三步：疯狂“变体” (扩写与修改)
  为了让题目不枯燥，工厂会对题目进行“整容”。比如把“用列表总结”改成“用表格总结”，或者把“一般情况”改成“如果发生 XX 意外该怎么办”。这就像把一道数学题换个数字、换个场景，变成十道新题。
• 第四步：严格“质检” (过滤与打分)
  工厂里有两个“质检员”：
  1. 机器质检：自动删除重复的、太短的、乱码的题目。
  2. AI 考官 (LLM-as-a-Judge)：让一个更聪明的 AI 当考官，给题目打分。如果题目逻辑不通、或者答案不对，直接扔掉。
• 第五步：模拟“对话” (多轮互动)
  不仅生成单题，还模拟用户和专家的多轮对话。比如用户问：“这个基金怎么样？”AI 回答后，用户追问：“那如果利率变了呢？”AI 继续回答。这让 AI 学会了像真人一样接话茬。

成果：他们通过这个流水线，制造了95 亿个词（Token）的超级大题库！这相当于给 AI 做了几万本厚厚的习题集。

3. 训练与考试：效果如何？

他们把这套“教材”喂给两个基础模型（Qwen3-14B 和 gpt-oss-20b），进行了两轮训练：

1. 先读金融书（继续预训练，积累知识）。
2. 再做习题集（监督微调，学习解题思路）。

考试结果：
在几个日本金融领域的专业考试（比如证券分析师考试、财报情感分析）中，经过训练的 AI 表现吊打了那些只经过官方标准训练的模型。

• 关键点：如果让 AI 在回答前先写出“思考过程”（CoT），它的正确率会更高。这证明了**“慢思考”**在专业领域非常重要。

4. 一个有趣的发现：思考不是越长越好

作者们还做了一个实验：强迫 AI 的思考过程必须达到某个长度（比如必须写够 1024 个字）。

• 发现：
  • 当思考长度从短增加到 1024 个词左右时，成绩蹭蹭往上涨。
  • 但如果强行要求思考 2048 个词甚至更多，成绩反而不再提升，甚至有点下降。
• 为什么？
  • 假思考：AI 发现被强制要求写长，就开始**“凑字数”。比如它明明已经算出答案了，却还要写“等等，让我再确认一下……其实答案还是 D"，或者开始“鬼打墙”**，反复重复结论。
  • 强行打断：如果为了凑长度强行截断 AI 的思考，它的表现会变差。这说明自然的思考节奏比机械的长度更重要。

总结：这篇论文告诉我们什么？

1. 方法通用：这套“从关键词出发，自动生成带思考过程教材”的方法，不仅适用于金融，以后也可以用来教 AI 法律、医疗等任何高难度领域。
2. 数据为王：与其让 AI 漫无目的地读互联网上的垃圾信息，不如用高质量、带逻辑推理的合成数据来“特训”它。
3. 质量 > 数量：思考过程要足够长以理清逻辑，但不能为了长而长，否则就是废话连篇。

一句话概括：
作者们没有直接给 AI 灌输知识，而是给它造了一个**“带详细解题步骤的超级题库”，并教会了它“如何像专家一样一步步思考”**，最终让 AI 在日本金融领域从“门外汉”变成了“行家里手”。

技术摘要

论文技术总结：构建用于提升领域特定 LLM 推理能力的合成指令数据集——以日本金融领域为例

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）在社会中的广泛应用，如何将其适配到金融、法律等高专业度领域成为研究热点。现有的研究主要存在以下痛点：

• 知识与推理的割裂：传统的领域适应（如持续预训练 CPT）主要侧重于获取领域知识，但缺乏对复杂逻辑推理（如欺诈检测、收益预测）能力的提升。
• 缺乏高质量合成数据：虽然通用推理数据集（含思维链 CoT）已存在，但针对特定领域（尤其是日语金融领域）且包含高质量推理轨迹的大规模指令数据构建方法尚未成熟。
• 推理长度与性能的关系不明：在数学任务中已知推理长度影响性能，但在需要专业知识和法规理解的特定领域任务中，推理轨迹长度与性能的具体关系尚未经过充分验证。

2. 方法论 (Methodology)

本研究提出了一种通用的合成指令数据集构建流水线，旨在从领域特定词汇出发，生成包含思维链（CoT）的高质量数据。该方法以日本金融领域为案例进行了验证，具体流程如下（见图 1）：

2.1 核心构建流程

1. 领域主题词选择 (Domain Topic Word Selection)：
   • 选取覆盖目标领域的种子词（如行业板块、金融产品、技术）。
   • 为防止灾难性遗忘（Catastrophic Forgetting），混合了非目标领域的种子词，并生成相关子主题词。
2. 基于主题词的指令生成 (Instruction Generation)：
   • 利用 LLM 基于子主题词生成用户提示（指令）。
   • 定义四种任务类型以确保多样性：开放式问答、数学推理（计算题）、创意写作、多项选择题。
3. 指令扩展与修改 (Instruction Expansion and Modification)：
   • 对初始指令进行多样化处理：添加上下文、转换格式/风格、针对特定案例细化、重写以覆盖相关主题。
4. 过滤与去重 (Instruction Filtering and Deduplication)：
   • 基于 n-gram 和词数进行过滤。
   • 使用 MinHash 和 LSH 进行模糊去重（参考 Swallow Corpus v2 方法）。
5. 多轮对话生成 (Multi-turn Conversation Generation)：
   • 利用过滤后的指令生成多轮对话，交替生成用户提示和包含推理轨迹的 LLM 回复，以增强交互推理能力。
6. 基于 LLM 的质量过滤 (Quality Filtering via LLM-as-a-Judge)：
   • 使用 gpt-oss-120b 作为裁判，根据多项标准对生成数据进行评分，剔除低质量数据，确保领域知识准确性和逻辑推理的合理性。
7. 公共数据集融合：
   • 引入公共数学（NuminaMath-CoT）和指令遵循（smol-constraints）数据集，仅提取问题部分并经过相同处理流程，以强化基础能力。

2.2 训练策略

• 持续预训练 (CPT)：在 Qwen3-14B-Base 和 gpt-oss-20b 基座模型上，使用经过分类和质量过滤的日本金融语料库进行持续预训练。
• 监督微调 (SFT)：在上述 CPT 模型及原始基座模型上，使用构建的约 95 亿 Token 的合成指令数据集进行 SFT（2 个 Epoch）。

3. 关键贡献 (Key Contributions)

1. 通用合成数据构建框架：提出了一种从“领域主题词”出发，利用推理型 LLM 合成并过滤带推理轨迹指令数据的方法。该方法具有可扩展性，适用于金融以外的任何高专业度领域。
2. 大规模日语金融数据集：构建了包含约 95 亿 Token、144 万样本的日语金融指令数据集，填补了该领域缺乏高质量 CoT 数据的空白。
3. 推理长度与性能的实证分析：在金融基准测试中验证了推理轨迹长度对性能的影响，发现了性能提升的“收益递减”临界点。
4. 开源贡献：在 HuggingFace 开源了训练模型和数据集。

4. 实验结果 (Results)

4.1 基准测试表现

在 japanese-lm-fin-harness（金融知识/考试）和 pfmt-bench-fin-ja（金融对话/多轮任务）两个基准上的表现：

• 超越官方指令模型：经过 CPT + SFT 训练的模型（如 gpt-oss-20b + CPT + SFT）在金融基准测试的平均分上超越了官方的指令微调模型。
• 推理轨迹的有效性：引入 CoT 推理轨迹后，基线模型在金融基准上的性能提升了约 4.5–5.7 分（japanese-lm-fin-harness）和 0.4 分（pfmt-bench-fin-ja）。
• CPT 与 SFT 的协同：单纯 SFT 有时会导致格式遵循问题（如重复输出），但结合 CPT 后的模型能有效连接领域知识注入与推理能力获取。

4.2 推理长度分析

通过强制固定推理轨迹长度（128 至 8192 tokens）进行的实验发现：

• 最佳长度区间：性能随着长度增加而提升，在 1024 tokens 左右达到峰值（chabsa 任务在 512 tokens 左右）。
• 收益递减与退化：
  • 超过 2048 tokens 后，性能提升不再显著（收益递减）。
  • 强制截断问题：当强制在特定长度截断并插入结束符时，模型会出现“过早终止推理”（如直接给出答案）或“输出循环”（重复结论直到达到长度），导致性能比自然终止下降数个百分点。

5. 意义与结论 (Significance & Conclusion)

• 方法论价值：证明了从主题词出发合成带推理轨迹的数据是提升领域特定 LLM 能力的有效途径，解决了“领域知识”与“逻辑推理”难以兼顾的难题。
• 实践指导：
  • 对于领域特定任务，1024 tokens 左右的推理轨迹可能是性价比最高的选择。
  • 在构建推理数据时，应关注推理的自然终止机制，避免生硬的强制截断导致性能下降。
• 未来展望：该框架易于扩展至法律、医疗等其他高专业度领域，为构建垂直领域的专用大模型提供了坚实的基础设施和方法论支持。

---

总结：该论文通过构建一个包含 95 亿 Token 的日语金融合成指令数据集，成功证明了“领域知识（CPT）+ 推理能力（SFT with CoT）”的联合训练策略能显著提升 LLM 在专业领域的表现，并揭示了推理长度在特定任务中的优化边界。