几十年来，计算机学习感知世界的方式一直依赖于一种僵化的、循序渐进的过程。为了在照片中找到汽车，程序会首先扫描图像以寻找特定的形状，然后猜测物体可能出现的位置，最后使用一套人工设定的规则来判断哪些猜测是真实的，哪些是重复的。这种方法效果不错，但就像是用一千种不同的工具来盖房子，每一步都需要人类去调整设置，才能开始下一步。它非常复杂，难以适应新环境，并且难以理解场景的整体轮廓。最近，一种全新的方法出现了，彻底改变了这一切。研究人员不再使用这些分离的、手工设计的步骤，而是开始使用一种受人类阅读句子启发的方法：同时观察整幅图像，并理解每一部分是如何与其它部分相互关联的。这种转变使得计算机可以直接从数据中学习，而不需要人类为每种可能的物体编写规则。然而，这种新方法也有其自身的问题：它的学习速度极其缓慢，需要海量的计算能力，并且经常会遗漏微小的细节。与此同时，人工智能领域也出现了另一个挑战。大多数这类智能系统需要数百万个带标签的示例才能学习新知识，这在医学影像或稀有野生动物追踪等数据匮乏的情况下是不可能实现的。科学家们开始思考，如何让这些强大的视觉系统仅通过极少数示例，甚至无需示例就能进行学习。
中密苏里大学的一个研究小组致力于绘制这两大发展趋势汇合的历程。他们进行了一项系统性综述，这是一种严谨的方法，旨在收集并分析 2020 年至 2025 年间发表的最重要的科学论文。他们的目标是了解这些被称为“Transformer”的新型“全图”视觉系统是如何与允许少量数据学习的技术相结合的。他们审查了 35 项高质量研究，以了解推动这一变革的驱动力、为了修复初始缺陷而创造的新设计，以及目前仍未解决的问题。研究人员发现，放弃旧有的循序渐进方法的首要原因是消除对人工设计捷径的需求。新系统将寻找物体视为一个单一且直接的任务，这使得它们更加灵活，且更容易针对新情况进行训练。然而，这种转变并非没有代价。这些新系统的初始版本学习速度极其缓慢，且由于试图以同等的强度观察图像的每一个部分，因此在检测微小物体时表现挣扎，这在计算上是非常昂贵的。
为了解决这些速度和准确性问题，研究人员观察到，科学家们迅速开发出了更聪明的方法，让计算机能够聚焦注意力。与其平等地观察整幅图像，新的设计学会了只挑选出最重要的位置，就像一个人在人群中寻找朋友时会扫视重点，而不是茫然地盯着整个房间看一样。这使得系统处理图像的速度更快，并能更可靠地检测较小的物体。除了让系统变得更快之外，该综述还强调了研究人员在处理缺失数据问题上的巨大转变。过去，科学家尝试构建特殊的、定制化的算法，以便用极少数图片来教导计算机。综述发现，这种方法正被一种依赖于大规模预训练模型的策略所取代。这些模型已经通过学习互联网上的数十亿张图像和文本描述，学会了理解这个世界。研究人员不再从零开始教导计算机，而是直接获取这些强大的现有模型，并仅通过少量示例或简单的文本描述来引导它们完成新任务。事实证明，这种方法比从头开始构建定制解决方案要有效得多。
尽管取得了这些成功，该综述也指出，该领域仍面临着几个尚未逾越的持久障碍。一个主要问题是，这些强大的模型虽然擅长识别猫或汽车等常见物体，但在被要求识别完全不同环境下的物品（如医学扫描或卫星照片）时，往往表现不佳。当视觉风格发生变化时，系统往往会产生困惑，这种现象被称为“领域偏移”（domain shift）。另一个挑战是，随着这些模型学习新知识，它们有时会忘记已掌握的内容，这种现象被称为“灾难性遗忘”（catastrophic forgetting）。研究人员指出，虽然一些解决方案正在涌现（例如帮助模型在学习新类别时记住旧信息的技巧），但这些仍属于活跃开发阶段。综述还指出，训练这些庞大的系统需要巨大的计算能力，这引发了人们对效率和环境影响的质疑。作者认为，该领域的未来不在于构建更大的模型，而在于使它们变得更聪明、更高效，并创造更好的方法来测试它们在不同现实场景中的表现。
研究结论认为，目标检测领域经历了一场根本性的变革。复杂的、多步骤流水线的时代已经过去，取而代之的是一种更统一、端到端的处理方式，这种方式既更强大也更具适应性。数据高效学习与这些新架构的整合标志着一次重大的飞跃，推动行业从需要海量带标签数据集，转向一个计算机可以从真实世界中学习——利用其多样性和稀缺性——的未来。研究人员强调，虽然最初的技术障碍已基本被克服，但现在的焦点已转向如何使这些系统在现实世界中足够稳健，因为在现实中，光照会变化，物体会被遮挡，且数据很少是完美的。未来的路径在于精炼这些模型，使其更加高效，确保它们不会忘记已学到的知识，并制定更好的标准来衡量它们在应对物理世界多样化挑战时的真实能力。
技术摘要：目标检测的演进：基于 Transformer 与少样本学习方法的系统综述
1. 问题陈述
目标检测领域正在经历从传统的卷积神经网络（CNN）架构向端到端 Transformer 模型的范式转变，这一转变是由在低数据场景下实现高效数据学习的需求所驱动的。虽然基于 CNN 的检测器（如 Faster R-CNN、YOLO）取得了显著成功，但它们高度依赖于手工设计的组件，如锚框（anchor boxes）、区域提议网络（RPN）以及非极大值抑制（NMS）等后处理步骤。这些组件增加了复杂性，限制了跨领域的泛化能力，并且在检测微小或被遮挡物体时难以处理长程依赖关系。
与此同时，对大规模标注数据集的依赖成为了一个关键瓶颈，尤其是在标注数据稀缺或昂贵的应用场景中（例如医学成像、罕见物体检测）。尽管检测 Transformer（DETR）的引入通过将检测建模为集合预测问题提供了一种端到端的替代方案，但也带来了新的挑战，包括收敛缓慢、计算复杂度高以及在小目标检测上表现不佳。此外，现有文献通常将 Transformer 架构与数据高效学习（少样本学习 [FSL] 和零样本学习 [ZSL]）视为独立的领域。目前缺乏一份综合且最新的综述来探讨这两大趋势——Transformer 架构与数据高效学习——是如何交织并塑造当代目标检测的。
2. 研究方法
本研究采用遵循 Kitchenham 和 Charters 指南的**系统文献综述（SLR）**方法。本综述旨在对基于 Transformer 的目标检测与少样本目标检测的演进提供一个客观且可复现的概述。
- 检索策略： 在五个数据库（IEEE Xplore、ACM Digital Library、SpringerLink、ScienceDirect 和 arXiv）中进行了全面的检索。检索范围涵盖了从 2020 年 1 月（DETR 引入）至 2025 年 6 月的出版物。
- 检索词： 查询词结合了与目标检测相关的术语（“object detection”、“visual recognition”）、架构相关术语（“transformer”、“DETR”、“attention”）以及数据效率相关术语（“few-shot”、“zero-shot”、“data efficient”、“low-data”）。
- 筛选过程： 初始收集的 482 篇文章通过了基于纳入/排除标准的过滤。研究必须专注于目标检测，在 Transformer 或 FSL/ZSL 方面具有独特贡献，为英文同行评审全文文章，并包含详细的方法论和实验评估。调查类文章（Surveys）除非用于背景介绍，否则予以排除。
- 质量评估： 最终选定的 35 篇主要研究经过了基于八项标准（如目标清晰度、可复现性、实验设计和局限性分析）的严格质量评估。得分在 6 分或以上的研究被纳入。
- 数据合成： 数据被提取并进行主题化合成，以解决六个特定的研究问题（RQs），涉及动机、架构创新、数据高效学习的集成、挑战、数据集及未来方向。
3. 主要贡献
本文提供了四个主要贡献：
- 动机： 它识别并探讨了驱动从基于 CNN 向基于 Transformer 目标检测转变的主要因素，特别是消除手工设计流水线和归纳偏置的需求。
- 架构创新： 它对 DETR 框架的重大进展进行了分类和分析，包括可变形注意力（deformable attention）、稀疏匹配、多模态集成以及向 3D 和视频领域的扩展。
- 挑战与解决方案： 它将持久存在的问题（如计算成本、收敛速度慢、领域偏移）映射到文献中提出的具体补救措施，例如特定任务的微调、自监督预训练和梯度解耦。
- 未来方向： 它强调了未来的关键研究领域，包括跨领域自适应、持续学习以及在边缘设备上的高效模型部署。
4. 结果与发现
4.1 范式转变的动机
综述识别了促使采用 Transformer 的传统 CNN 检测器的三个主要局限性：
- 过度依赖手工设计组件： 对 NMS、锚框生成和区域提议的必要性创造了一个复杂的、非端到端的流水线，阻碍了泛化能力。
- 流水线复杂性： 多阶段设计（提议、提取、分类）难以优化和修改。
- 受限的归纳偏置： CNN 的局部感受野限制了其建模全局上下文和长程依赖的能力，而这对于复杂场景至关重要。
4.2 架构创新
文献揭示了三个主要的架构演进类别：
- 效率与收敛： 为了解决 DETR 的高计算成本和收敛缓慢问题，Deformable DETR 通过可变形注意力引入了稀疏采样，而自适应聚类 Transformer (ACT) 利用局部敏感哈希（LSH）对相似查询进行聚类，从而降低了复杂度。
- 新领域的扩展： 3DETR 将标准 Transformer 应用于 3D 点云，而无需专门的 3D 算子。TransVOD 引入了时空 Transformer 用于视频目标检测，取代了循环网络和光流流水线。
- 面向数据效率的适配： 针对低数据场景对架构进行了修改。DeFRCN 使用梯度解耦层解决了 Faster R-CNN 中冲突的优化目标。MG-ViT 采用掩码引导注意力，使 ViT 专注于判别性补丁。FM-FSOD 利用大语言模型（LLM）进行提议的上下文分类。
4.3 数据高效学习的集成
一个显著的趋势是，研究重点已从构建定制化的少样本架构转向利用大型预训练基础模型（如 CLIP、Grounding DINO、DINOv2）。
- 零样本迁移： 像 CLIP 这样的模型能够通过自然语言提示在无需微调的情况下实现针对新任务的零样本推理。
- 基础模型适配： 少样本目标检测（FSOD）的前沿技术现在依赖于在网络规模数据（如 OWLv2、YOLO-World）上的预训练，并通过微调或对齐来适配这些模型，而非从头开始训练。
- 新颖策略： 技术包括使用合成数据生成（Stable Diffusion）、检索增强损失（RALF）以及划分开放/封闭集分支（SAS-Det）以管理噪声伪标签。
4.4 持久挑战与解决方案
尽管取得了进展，但仍存在若干挑战：
- 数据稀缺与领域偏移： 主要通过从基础模型进行迁移学习和测试时适配策略来解决。
- 计算成本： 通过高效的注意力机制（Deformable DETR、ACT）来解决。
- 小目标检测： 通过多尺度特征集成来缓解。
- 模型偏差与过拟合： 通过模型校准、语义对齐和类别无关聚合来防止对基础类别的过拟合。
- 噪声伪标签： 通过分裂与融合头（split-and-fusion heads）来管理，以隔离开放词汇噪声与干净的基础类知识。
4.5 数据集与基准
综述列举了 35 项研究中使用的各种数据集：
- 通用检测： COCO 2017 和 PASCAL VOC 仍是标准。
- 少样本： miniImageNet、tieredImageNet、CUB 和 META-DATASET。
- 特定领域： ScanNetV2/SUN RGB-D（3D）、ImageNet VID（视频）、RVL-CDIP（文档）、LC25000（医学）以及 NTIRE 2025 挑战赛数据集（跨领域）。
- 预训练： WebLI（100 亿对）、WIT（4 亿对）以及专门的定位数据集（GQA、Flickr30k）。
5. 重要性与主张
本文主张，Transformer 架构与数据高效学习的集成代表了计算机视觉领域的一次根本性转变，即从依赖启发式组件的流水线转向凝聚的、端到端的系统。
- 范式转变： DETR 的引入是一个催化剂，但该领域通过架构改进（如可变形注意力）已趋于成熟，这些改进在很大程度上解决了最初的技术难题，如收敛速度和计算成本。
- 策略性变化： 最重要的发现是从设计定制化少样本学习器转向对齐强大的基础模型。综述认为，利用预训练的视觉-语言模型（VLM）现已成为在低数据环境下实现最先进性能的既定标准。
- 未来展望： 作者断言，修复 DETR 早期缺陷的“低垂果实”已被采摘完毕。未来的研究必须聚焦于跨领域泛化、持续学习（防止灾难性遗忘）以及效率（绿色 AI、边缘部署）。论文强调需要更好的基准来评估零样本迁移和跨领域鲁棒性，并开发适用于医学和遥感等专业领域的特定领域基础模型。
研究结论认为，尽管取得了显著进展，但关于模型偏差、噪声自训练数据以及在高度敏感的应用中开发可解释、可信 AI 的需求仍然是未来调查的关键领域。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。