🤖 AI

Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models

Ultralytics YOLO26 引入了一个统一的实时端到端视觉模型家族，该家族通过双头架构和先进的训练策略消除了非极大值抑制（NMS）和分布焦点损失（DFL），在包括检测、分割、姿态估计和开放词汇推理在内的多种任务中实现了最先进的精度-延迟性能。

原作者： Glenn Jocher, Jing Qiu, Mengyu Liu, Shuai Lyu, Fatih Cagatay Akyon, Muhammet Esat Kalfaoglu

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Glenn Jocher, Jing Qiu, Mengyu Liu, Shuai Lyu, Fatih Cagatay Akyon, Muhammet Esat Kalfaoglu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位超级敏捷的安全警卫，他的工作是在视频流中实时发现物体。多年来，最优秀的警卫（被称为“YOLO”模型）表现出色，但他们也有一些令人恼火的习惯：他们需要一个缓慢的“复查”步骤来确认发现的物体，他们背着沉重的数据背包导致行动迟缓，而且由于训练规则过于严格，他们经常会漏掉微小且遥远的物体。

这篇论文介绍了一种新一代视觉警卫——YOLO26，旨在使其比以往任何时候都更快、更轻量、更敏锐。以下是他们如何解决旧问题的，通过日常类比进行了解释：

1. “无需复查”规则 (NMS-Free Inference)

旧问题： 以前，当警卫发现一辆车时，他可能会在稍微不同的位置看到三四次。他必须停下来运行一个“非极大值抑制”（NMS）过程——这是一个缓慢的手动复查过程——以挑选出一个最佳猜测并丢弃重复项。这非常耗时。
YOLO26 的解决方法： YOLO26 使用了双头设计 (dual-head design)。可以把它想象成有两个专门的工人：

工人 A（速度型）： 这个工人经过训练，能够为每个物体立即选出唯一一个完美的猜测。不需要二次检查。就像一名狙击手，第一枪就能命中目标。
工人 B（最大化型）： 这个工人仍然会观察所有内容，如果你需要绝对最高的精度且不介意额外的“复查”时间，可以使用他。
结果： 你得到的是一个“端到端”的系统，这意味着它直接从看到图像到给出答案，中间无需停下来寻求第二意见。

2. 丢掉沉重的背包 (Removing DFL)

旧问题： 最近的模型背着一个沉重的“分布焦点损失”（DFL）背包。这个背包试图通过为每条边缘从 16 种不同的可能性中进行猜测来预测物体的大小。这使得模型变得笨重（占用更多内存）且缓慢，尤其是对于小型模型。它还有一个“最大尺寸”限制；如果一个物体太大超出了列表范围，模型就会感到困惑。
YOLO26 的解决方法： 他们把背包扔掉了。模型不再是从菜单中进行猜测，而是直接测量大小，就像使用尺子而不是在菜单中做选择一样。
结果： 模型变得更轻、更快，并且现在可以准确测量非常大的物体，而不会遇到“天花板”问题。

3. “微小物体”安全网 (STAL)

旧问题： 旧的训练规则就像一场“捉迷藏”游戏，规则规定：“你只能躲在一个符合特定网格的盒子里面。”如果一个微小的物体（比如远处的鸟）比网格方块还要小，警卫就根本看不见它。它在训练过程中得不到任何关注，会被忽略。
YOLO26 的解决方法： 他们引入了 STAL（小目标感知标签分配）。想象一下，警卫得到了一个专门针对微小事物的放大镜。即使一个微小物体不符合标准的网格，系统也会通过暂时“拉伸”网格以刚好覆盖它，从而强制警卫关注它。
结果： 模型不再忽略那些最小、最难看到的物体。

4. “聪明教练” (MuSGD & Progressive Loss)

旧问题： 训练这些模型过去就像一场马拉松，教练在整个 600 英里的赛程中都在喊同样的指令。这需要很长时间才能变好。此外，教练对“速度型”工人和“最大化型”工人采取完全相同的对待方式，尽管他们的职责不同。
YOLO26 的解决方法：

MuSGD（聪明教练）： 他们将旧的训练方法更换为一种新的优化器 (MuSGD)，它学习得更快，就像一位知道如何控制跑者节奏，从而用更少的里程（更少的训练轮数/epochs）完成比赛的教练。
渐进式损失 (Progressive Loss/课程学习)： 他们改变了训练计划。在开始阶段，我们专注于“最大化型”工人以建立强大的基础。随着训练的进行，我们逐渐将重心转移到“速度型”工人身上，确保最终产品能完美适配快速、无需检查的推理。

5. 针对不同工作的专业技能

仅仅擅长发现汽车并不意味着警卫擅长所有事情。YOLO26 为其他任务增加了专门的工具：

切割形状 (Segmentation/分割)： 他们增加了一个多尺度系统，帮助警卫更好地理解背景，从而更容易描绘出物体的精确轮廓。
追踪人体 (Pose Estimation/姿态估计)： 他们增加了一种猜测关节（如手肘）“不确定性”的方法。如果手肘被遮挡了，模型会承认自己不确定，而不是胡乱猜测。
旋转物体 (OBB/旋转框检测)： 对于像船只或飞机这样不总是垂直向上的物体，他们修正了数学逻辑，使模型在物体倾斜时不会感到困惑。

6. “开放词汇”升级 (YOLOE-26)

最后，他们推出了 YOLOE-26，这就像是给了警卫一个通用翻译官。

文本提示 (Text Prompting)： 你可以告诉警卫：“帮我找一个红色的消防栓”，即使它从未专门针对消防栓进行过训练，它也能找到。
视觉提示 (Visual Prompting)： 你可以给警卫看一张特定玩具的照片，它就能在视频中找到那个玩具。
无提示 (No Prompt)： 它也可以只是观察周围并描述它所看到的一切。

总结

YOLO26 是一个统一的模型家族，它比其前身更快、更轻、更准确。它们通过移除不必要的负担、修复发现微小事物的规则以及使用更聪明的训练教练来实现这一目标。无论你需要绝对的速度（无 NMS 路径）还是最高的精度（有 NMS 路径），YOLO26 都能提供一个处于“速度 vs 精度”图表顶端的版本。

技术摘要：Ultralytics YOLO26

1. 问题陈述

尽管 YOLO 系列在实时视觉领域已被广泛应用于工业界，但目前的检测器仍面临四个特定的局限性，这些局限性阻碍了最优的准确度、效率和部署灵活性：

对 NMS 的依赖与次优训练： 大多数基于 CNN 的检测器在推理时依赖非极大值抑制（NMS）。虽然 YOLOv10 引入了双头设计以实现无 NMS 推理，但它在整个训练过程中对密集（一对多）分支和推理（一对一）分支应用相同的损失权重。这导致关键的一对一分支相对于目标监督所能达到的水平而言，并未得到充分优化。
DFL 参数膨胀与范围限制： 自 YOLOv8 以来采用的分布焦点损失（DFL）模块将边界框回归从 4 个标量扩展为 $4K$ 个逻辑值（通常 $K=16$ ）。这增加了模型参数（例如 YOLO11n 的参数量增加了 12%），并施加了一个有限的回归范围 $(K-1) \times \text{stride}$ ，这对于高分辨率下的较大物体而言具有局限性。
漫长的训练周期： 标准的 SGD 训练方案需要大约 600 个 epoch 才能达到具有竞争力的 COCO 准确度，这使得快速迭代成本高昂。虽然 Muon 优化器在大型语言模型（LLM）训练中展示了效率增益，但尚未被应用于目标检测领域。
针对小目标的零分配问题： 任务对齐学习（TAL）标签分配策略依赖于在地面真值（ground-truth）框内的几何包含关系。对于微小目标，特征图下采样可能导致框内没有任何有效的锚点中心，从而导致零正样本分配，并使这些目标完全缺乏梯度信号。

2. 方法论

YOLO26 通过构建在 YOLO11 基础之上的协调架构和训练流水线，解决了上述局限性。

2.1. 架构：双头无 NMS 设计

YOLO26 采用双头设计，以支持端到端推理和传统的密集预测：

一对一头（默认）： 生成固定大小的预测集（每张图像最多 300 个）且无需 NMS。它使用严格的一对一标签分配（先进行 $topk=7$ 的 TAL，随后进行 $topk2=1$），为每个地面真值实例学习单个匹配的预测。
一对多头： 保留标准的密集预测，具有更丰富的监督信息（$topk=10$），适用于优先考虑最大准确度而非后处理开销的场景。
移除 DFL： 完全移除了分布焦点损失（DFL）模块。回归通过直接的 4 标量输出和无约束范围进行，显著减少了头部参数和 FLOPs。

2.2. 训练流水线

三种互补的技术被共同应用，以提高准确度和收敛速度：

MuSGD 优化器： 一种结合了 Muon（源自 LLM 训练）与标准 SGD 动量的混合优化器。Muon 应用动量更新并辅以轻量级正交化（通过 Newton–Schulz 迭代）以改善更新的条件性。MuSGD 将此应用于多维参数（卷积、线性权重），同时对一维参数（偏置、缩放因子）使用纯 SGD。
渐进式损失（Progressive Loss）： 一种课程学习风格的重加权策略，旨在解决两个分支之间的优化不对称问题。密集（一对多）分支的损失权重从 0.8 线性衰减至 0.1，而一对一分支的权重从 0.2 增加至 0.9。随着训练的进行，监督重点逐渐转向推理时的头部。
STAL（小目标感知标签分配）： 为了防止微小目标的零正样本分配问题，STAL 将候选选择几何与回归几何解耦。在候选过滤期间，如果地面真值框的维度低于最小步长，则将其尺寸限制为参考尺寸（ $s_{ref}$ ，通常为下一个金字塔层级的步长）。这确保了小目标的锚点覆盖，同时保留了用于最终回归和评分的原始框几何形状。

2.3. 特定任务扩展

除检测之外，YOLO26 还为其他任务引入了专门的设计：

实例分割： 使用多尺度原型路径（融合来自多个金字塔层级的特征）和辅助语义分割损失（仅用于训练）来提升掩码质量，且不会增加推理开销。
姿态估计： 使用残差对数似然估计（RLE）取代标准的坐标回归。该方法利用归一化流对每个关节的不确定性进行建模，从而降低模糊或遮挡关键点的权重。
旋转边界框（OBB）： 采用“长边”角度定义（ $[-45^\circ, 135^\circ)$ ）以解决边界不连续问题。它引入了专门针对正方形物体的宽高比感知角度损失，以处理角度歧义。
开放词汇（YOLOE-26）： 使用更强的骨干网络、升级的文本编码器（MobileCLIP2）、伪标签数据引擎来精炼标注以及解耦分割训练，将该系列扩展到开放词汇场景。

3. 关键结果

YOLO26 涵盖了五个尺度（n/s/m/l/x），并在 COCO val2017 基准测试中实现了最先进的准确度-延迟权衡。

检测性能： YOLO26 在 COCO 上实现了 40.9–57.5 mAP，T4 TensorRT FP16 延迟范围为 1.7 ms (n) 至 11.8 ms (x)。它提升了先前 YOLO 版本（如 YOLO11、YOLOv10 等）和其他实时检测器的帕累托前沿（Pareto front）。
- 与 YOLO11 相比，YOLO26 在不同尺度上将 COCO AP 提高了 1.6–2.8 个点。
- 单独移除 DFL 就使 nano 模型的参数量减少了 12%，FLOPs 减少了 20%，且通过新的训练流水线恢复并提升了准确度。
小目标检测： STAL 显著改善了小目标检测（APS），找回了被标准 TAL 遗漏的检测结果。
特定任务增益：
- 分割： 相比 YOLO11，掩码 AP 最高提升 3.7。
- 姿态估计： 相比 YOLO11，姿态 AP 最高提升 7.2。
- OBB 检测： 在 DOTA-v1.0 上最高提升 3.4 mAP。
开放词汇（YOLOE-26）： YOLOE-26x 模型在文本提示下的 LVIS minival 上达到了 40.6 AP，超过 DetCLIP-T 达 +6.2 AP。
效率： 该架构实现的 CPU 推理速度比以往版本（YOLO26n 对比 YOLO11n）快高达 43%，并支持导出至 19 种非 PyTorch 目标（TensorRT、ONNX、CoreML 等）。

4. 重要性与主张

论文声称，YOLO26 通过直接解决 YOLO 谱系中的结构性和训练效率问题，代表了实时视觉领域迈出的统一的一步。其主要意义在于：

无 NMS 端到端的可行性： 证明了带有渐进式损失的双头架构可以实现与基于 NMS 的方法相媲美的无 NMS 推理准确度，从而简化了部署流程。
通过简化实现高效： 证明了移除复杂的 DFL 模块并不会降低性能，反而通过结合无约束回归和改进的训练策略增强了性能，从而产生更轻量、更适合边缘设备的模型。
优化与标签分配的协同作用： 确立了将先进优化器（MuSGD）与基于课程的损失加权（渐进式损失）以及鲁棒的标签分配（STAL）相结合，能够产生协同效应，在不增加模型大小的情况下加速收敛并改善小目标检测。
统一的多任务框架： 提供了一个单一的流水线，支持检测、分割、姿态、分类和 OBB 检测，并在所有任务中获得一致的增益，同时具备强大的开放词汇扩展能力。

作者强调，YOLO26 的设计不仅是为了强大的优化行为，更是为了在异构硬件上进行实际的推理集成，保持了使 YOLO 系列成为行业标准的部署通用性。