💬 NLP

Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts

本文介绍了 Nanbeige4.1-3B，这是首个兼具强大推理、对齐及智能体行为能力的开源 3B 参数小模型，通过结合点式与成对奖励建模、复杂度感知强化学习及深度搜索数据合成技术，在代码生成、工具调用等任务上显著超越了同规模及更大规模的现有模型。

原作者： Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Nanbeige4.1-3B 的超级小模型。你可以把它想象成一个只有 30 亿个“神经元”（参数）的“天才少年”。

在人工智能的世界里，通常认为模型越大（比如几百亿、几千亿参数），脑子就越聪明。但这篇论文证明：只要训练方法得当，一个“小个子”模型也能干出“大个子”都干不了的活，甚至能打败很多体型庞大的对手。

为了让你更容易理解，我们用几个生活中的比喻来拆解它的核心能力：

1. 它的核心目标：做一个“全能特种兵”

以前的“小模型”通常很偏科：

有的擅长做数学题，但一让它写代码就抓瞎。
有的擅长写故事，但一让它去网上查资料（搜索）就迷路。
有的擅长当“机器人助手”去操作工具，但逻辑推理能力很弱。

Nanbeige4.1-3B 的目标是打破这种偏科。 它要同时做到三件事：

逻辑推理（像数学家一样思考）。
写代码（像程序员一样高效）。
自主行动（像特工一样，能连续操作几百步去解决问题）。

2. 它是如何变强的？（三大训练秘籍）

为了让这个“小天才”变得全能，研究团队给它设计了三个特殊的“特训营”：

🧠 秘籍一：点面结合的“评分老师” (Point-wise & Pair-wise RL)

以前的做法：老师只给学生的作业打分（比如：这篇作文写得不错，80 分）。这叫“点式奖励”。
现在的做法：除了打分，老师还会把两个学生的作文放在一起对比（比如：A 同学的比 B 同学的逻辑更清晰，所以 A 赢）。这叫“成对奖励”。
效果：这个模型不仅学会了“怎么写对”，还学会了“怎么写得更好、更符合人类喜好”。它不再只是机械地回答问题，而是能像真人一样理解什么是“好回答”，从而减少了废话和重复，让回答更精炼、更聪明。

💻 秘籍二：不仅求“对”，更求“快”的代码训练

以前的做法：只要代码能跑通，就算满分。哪怕代码像蜗牛一样慢，只要结果对就行。
现在的做法：引入了“复杂度奖励”。就像考试不仅看答案对不对，还要看解题步骤是否优雅、计算量是否最小。
比喻：如果解一道题，A 同学走了 100 步，B 同学只走了 10 步。以前只奖励 B 做对了，现在会额外奖励 B“走得更聪明”。这让模型生成的代码不仅正确，而且运行速度极快，效率极高。

🔍 秘籍三：超长距离的“寻宝训练” (Deep Search)

这是该模型最惊人的地方。

普通小模型：让它去网上查一个复杂问题，它通常走两步就晕了，或者只查了一页就瞎编。
Nanbeige4.1-3B：它被训练成能进行600 步的连续操作！
比喻：想象你要找一个人。
- 普通模型：问路人 A -> 没找到 -> 放弃。
- Nanbeige4.1-3B：问路人 A -> 得到线索 B -> 去查资料 C -> 发现 D 在 E 地 -> 联系 F -> 最终找到目标。
- 它能在长达几百步的“寻宝”过程中，不迷路、不遗忘，一步步拆解复杂问题。这通常是只有几百亿参数的大模型才能做到的，但它用 30 亿参数就做到了。

3. 它有多强？（战绩展示）

论文里拿它和很多对手比了赛，结果非常惊人：

同体型对比：它吊打其他 30 亿 -40 亿参数的小模型（比如 Qwen3-4B）。
跨体型对比：它甚至能打败很多300 亿、800 亿参数的“巨无霸”模型！
- 在写代码、做逻辑推理、以及使用工具搜索信息这些任务上，这个“小个子”的表现比很多“大胖子”还要好。
实战演练：在真实的 LeetCode（编程竞赛）周赛中，它甚至能排到第 1 名，解决了绝大多数难题。

4. 总结：这意味着什么？

这篇论文告诉我们一个重要的道理：模型的大小（参数多少）不再是衡量聪明的唯一标准。

就像教育一样，一个聪明的孩子（3B 模型），如果接受了科学的、针对性的训练（混合了推理、代码、搜索的强化学习），他完全可以比那些死记硬背的“笨大个子”更灵活、更高效。

Nanbeige4.1-3B 就像是一个“小而美”的瑞士军刀，虽然体积小巧，但功能齐全，既能帮你算账，又能帮你写程序，还能帮你满世界找资料，而且运行起来还特别省电（因为模型小，计算成本低）。

这对未来的 AI 应用是巨大的利好：这意味着我们可以在手机、电脑甚至更小的设备上，运行出非常强大、能处理复杂任务的智能助手，而不需要依赖庞大的云端服务器。

以下是基于论文《Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts》的中文技术总结：

1. 研究背景与问题 (Problem)

尽管小语言模型（SLM）在数学推理或代码生成等特定任务上表现优异，但现有的 3B 参数规模模型通常存在能力碎片化的问题：

推理模型往往难以处理长程交互（如深度搜索）。
代码或智能体专用模型通常缺乏强大的通用推理能力（如创意写作或人类偏好对齐）。
核心挑战：如何在严格的参数量限制（3B）下，构建一个既能保持现有优势，又能同时具备**通用推理、代码生成、长程智能体行为（Deep Search/Agentic Behavior）**的统一通用模型？

2. 方法论 (Methodology)

Nanbeige4.1-3B 基于 Nanbeige4-3B-Base 构建，通过多阶段、多目标的训练策略实现了能力的统一与增强：

2.1 通用能力优化 (General Abilities)

SFT 数据重构：
- 增加代码数据比例，引入更高难度的数学和通用领域问题。
- 上下文扩展：将训练上下文从 32k/64k 扩展至 256k，以支持长程推理和深度搜索。
- 数据混合：在 256k 阶段采用特定混合比例（代码 27%、深度搜索 26%、STEM 23%、工具使用 13%、通用 10%）。
- 优化框架：扩展“解决方案精炼（Solution Refinement）”和“思维链重构（CoT Reconstruction）”框架，提升推理质量。
强化学习（RL）策略：
- 点式奖励（Point-wise RL）：引入通用奖励模型，通过 GRPO 算法抑制冗余、重复和低可读性的回答，显著减少格式错误和过度思考。
- 成对奖励（Pair-wise RL）：利用强/弱模型对比数据训练成对奖励模型，结合多轮对话历史，通过交换一致性正则化（Swap-consistency regularizer）消除位置偏差，显著提升偏好对齐（Alignment）和复杂指令遵循能力。

2.2 深度搜索能力 (Deep Search Ability)

数据构建：
- 基于 Wikipedia 实体关系图，通过时间感知的头部实体选择和**随机游走（Random Walking）**合成多跳问答（Multi-hop QA）数据。
- 轨迹合成与回合级监督：利用多智能体框架生成搜索轨迹，并通过 Critic 模型对每一步进行逻辑性、工具调用准确性和信息增益的回合级（Turn-level）判断，过滤低质量轨迹。
训练目标：在 SFT 和 RL 中引入回合级和全轨迹级信号，使模型能够稳定执行长达 600 次 的工具调用循环，解决复杂搜索问题。

2.3 代码生成能力 (Coding Ability)

两阶段代码 RL：
- 阶段 1（正确性）：优化通过测试用例的比例（Pass Rate）。
- 阶段 2（效率）：引入门控时间复杂度奖励（Gated Time-Complexity Reward）。仅当代码完全通过测试用例时，才激活时间复杂度奖励。
评估系统：构建统一 Judge 系统，结合沙箱执行（检查正确性）和专用指令模型（评估时间复杂度），确保模型不仅代码正确，而且算法高效（如从 $O(N \log N)$ 优化至 $O(N)$ ）。

2.4 整体训练流程

采用结构化后训练流水线：扩展 SFT（256k 上下文） $\rightarrow$ 通用 RL（点式 + 成对） $\rightarrow$ 两阶段代码 RL（正确性 + 效率） $\rightarrow$ 轻量级智能体 RL（工具使用与搜索）。

3. 关键贡献 (Key Contributions)

首个全能型 3B 开源模型：Nanbeige4.1-3B 是首个在单一模型中同时实现强智能体行为、代码生成和通用推理的开源小语言模型。
突破规模限制：证明了在 3B 参数规模下，通过精心设计的训练目标（如点/成对奖励结合、门控效率奖励、回合级监督），模型可以同时具备广泛能力和深度专业化能力。
深度搜索能力：实现了在通用小模型中罕见的长程规划能力，能够稳定执行数百步的工具交互，其搜索性能媲美数十亿甚至百亿参数级别的专用搜索模型。
开源贡献：开源了模型权重及构建的复杂深度搜索数据集（ToolMind-Web-QA），推动了高效智能体模型的研究。

4. 实验结果 (Results)

通用任务：
- 在代码（LiveCodeBench-V6/Pro）、数学（HMMT, IMO）、科学（GPQA）和对齐（Arena-Hard V2）等基准测试中，显著超越同规模模型（如 Qwen3-4B）及前代模型（Nanbeige4-3B-2511）。
- 跨规模优势：在多数基准上（特别是代码执行和对齐任务），性能超越了参数量大 10 倍的模型（如 Qwen3-30B-A3B, Qwen3-32B），甚至在某些代码任务上接近 80B 模型。
深度搜索任务：
- 在 GAIA、BrowseComp、xBench-DeepSearch 等基准上，Nanbeige4.1-3B 取得了 SOTA 表现（例如 GAIA 达到 69.90，xBench-DeepSearch-05 达到 75.00）。
- 其表现不仅远超其他小模型（Qwen3-4B/8B），甚至媲美或超越了部分百亿参数级的“研究智能体”和大型基础模型（如 GLM-4.6, DeepSeek-V3.2）。
真实世界挑战：
- 在 LeetCode 周赛（Contest 484-488）的虚拟参赛中，通过率达到 85%（20 题解出 17 题），排名超过 Qwen3-32B 等更大模型，位列周赛前列。

5. 意义与影响 (Significance)

重新定义小模型潜力：打破了“小模型只能做单一任务”的刻板印象，证明了通过先进的训练策略（如多阶段 RL、复杂数据合成、精细奖励设计），3B 模型可以成为具备高度通用性和专业深度的“全能选手”。
高效智能体范式：为构建低成本、高效率的自主智能体（Agent）提供了新的技术路线，使得在资源受限环境下部署具备长程规划能力的模型成为可能。
社区价值：开源的模型和数据集为学术界和工业界研究“如何在严格容量约束下联合训练推理、代码和长程行为”提供了宝贵的基准和参考。

总结：Nanbeige4.1-3B 通过创新的混合训练策略和奖励机制，成功将 3B 参数模型的能力边界推向了新的高度，实现了在推理、代码和智能体行为上的全面突破，是小型化通用人工智能（AGI）探索中的重要里程碑。