葡萄酒瓶依赖于一种简单而精妙的密封方式:由软木栎树皮制成的塞子。这种材料非常独特,它在轻盈、韧性以及隔绝空气同时让葡萄酒呼吸之间达到了完美的平衡。然而,大自然很少是完美的。树皮是一种具有自身历史的活组织,充满了天然的孔隙和纹理,这些特征很容易被误认为是损伤。当制造商将这种树皮切割成圆柱体以制作塞子时,他们面临着产生隐藏裂缝或留下昆虫侵蚀痕迹的风险。这些缺陷看起来可能只是无害的自然特性,但它们会破坏密封,导致氧气进入从而使瓶中的葡萄酒变质。几个世纪以来,人类一直通过肉眼检查这些塞子,这是一个缓慢且令人疲劳的过程,疲惫的工人可能会漏掉微小的裂缝,或者错误地拒绝一个完美的塞子。如今,工厂需要能够像人类一样观察,但比人类更快且不会疲劳的机器,然而软木的自然不规则性使得这成为一项艰巨的任务。
科英布拉大学的研究人员及其在软木行业的合作伙伴开发了一种名为 DeepCork 的新系统来解决这一问题。他们并没有试图强迫单个计算机程序同时完成所有工作,而是构建了一个模仿细致人工工作流的两步检测线。第一步充当快速的守门员。想象一名工人快速扫描传送带上数千个塞子,瞬间剔除那些看起来明显完美的塞子,并仅将可能存在缺陷的塞子留下来。计算机通过一种专门的图像分析工具来实现这一点,该工具经过训练,能够识别健康软木与受损软木之间的区别。它观察每个塞子的平坦顶端和圆柱形侧面,以近乎确定的程度判断该物品是安全的还是可疑的。如果计算机不能绝对确定一个塞子是完美的,它就会将其送入第二阶段。
第二阶段是进行细节化工作的阶段。那些通过了第一轮检查但仍引起警报的塞子,将由一个更复杂的系统进行检查,该系统旨在发现问题的具体位置及问题类型。该系统寻找特定类型的损伤,例如不破坏表面的内部裂缝、撕裂边缘的外部裂缝,或是昆虫留下的孔洞。它会在缺陷周围画一个框,将其识别为裂缝或昆虫痕迹,并决定该塞子是否应被丢弃。这种两部分的方法至关重要,因为试图同时承担这两项任务的单一系统往往会被软木的自然纹理所迷惑,将无害的孔隙误认为严重的裂缝。通过分离任务,系统首先以高置信度过滤掉好的产品,然后仅利用其全部力量去分析少数可能存在问题的产品。
团队在来自工厂车间的超过 18,000 张真实图像的大规模集合上测试了该系统。他们发现这种两阶段方法效果显著。对于塞子的平坦顶端,系统的表现几乎完美,在几乎所有情况下都能正确识别并定位缺陷。圆柱形侧面由于其弯曲形状和不断变化的阴影,检查难度更大,更具挑战性,但该系统仍然实现了极高的准确度。研究人员还发现,更新、更复杂的计算机模型并不一定比稍旧的、更成熟的模型表现得更好。事实上,一种被称为 YOLOv8 的特定检测软件版本,在与初始过滤器配合使用时,提供了速度与精度之间的最佳平衡。整个过程足够快,可以跟上高速生产线的节奏,检查单个缺陷塞子的时间不到 8 毫秒,而对于无缺陷的塞子,处理速度甚至更快。
这项工作表明,针对天然材料的自动化质量控制并不需要一个单一的、全能的人工智能。相反,一个精心设计的简单步骤序列可以取得更优越的结果。该系统成功降低了“误报”(即完美的软木被错误拒绝)和“漏报”(即坏的软木溜过去)的风险。虽然研究人员指出,软木的弯曲侧面仍然是进行完美检查最困难的部分,且他们的训练数据在很大程度上依赖于计算机生成的变体来填补空白,但其结果是向前迈出的重要一步。他们为软木生产的未来创建了一个透明且可靠的基础,确保保护我们葡萄酒的天然密封件本身同样值得信赖。
技术摘要:DeepCork
问题陈述
天然软木塞的制造过程本质上容易出现缺陷,这是由于非数据驱动的板材切割工艺以及材料固有的异质性造成的。虽然自动化计算机视觉已取代了人工分级,但目前的深度学习解决方案面临着一个关键的权衡:如何在保持高定位精度与满足高速工业生产线所需的严格延迟约束(通常 <50 毫秒)之间取得平衡。此外,标准的“黑盒”架构在区分自然软木纹理(孔隙、粗糙度)与实际结构缺陷时,往往存在预测不确定性的问题,导致误报或漏检。现有的框架通常缺乏将初始缺陷存在检测与后续缺陷分类进行明确划分的机制,这使得它们在高吞吐量环境中的鲁棒性不足。
方法论:DeepCork 框架
作者提出了 DeepCork,这是一个两阶段深度学习框架,旨在将检测过程解耦为快速的二元过滤阶段和精确的定位阶段。该流水线处理软木的两类不同的几何视图:平坦的顶面/底面(“Topos”)和圆柱体主体(“Corpo”)。
第一阶段:轻量化二元过滤
- 目标: 快速地将有缺陷的软木塞与无缺陷的软木塞分离,并确保近乎绝对的确定性,以最大限度地减少下游计算负载。
- 架构: 作者对 DenseNet、MobileNetV3 和 ResNet152 进行了基准测试。ResNet152 被选为最优骨干网络,因为它能够产生一个集中在 1.0 附近的尖锐且集中的概率质量,表明具有极高的预测确定性。
- 逻辑: 应用严格的置信度阈值 (α=0.95)。只有当 P(缺陷)>0.95 时,图像才会进入第二阶段。低于此阈值的样本会被立即判定为高质量产品。针对 Top 和 Body 视图分别训练了不同的模型,以应对几何变化。
第二阶段:可解释的缺陷定位与分类
- 目标: 对第一阶段标记出的样本进行精确的缺陷定位与分类。
- 架构: 该框架利用了 YOLO (You Only Look Once) 系列目标检测器。研究评估了五个版本(v5, v8, v9, v10, v11)的“Nano”和“Small”参数规模。
- 缺陷分类法: 系统将四种特定的缺陷类型进行分类:
- 类型 A: 内部裂纹 (Fenda Interna)
- 类型 B: 外部裂纹 (Fenda Externa)
- 类型 C: 圆形昆虫缺陷 (Bicho Redondo)
- 类型 D: 头状昆虫缺陷 (Bicho Cabeça)
- 逻辑: 第二个置信度阈值 (β) 用于验证边界框预测,以抑制误报。独立模型针对 Top 和 Body 区域进行了优化。
数据策略
- 预处理: 使用霍夫圆变换 (CHT) 来验证 Top/Bottom 视图的圆形度,并过滤掉结构不可靠的样本。
- 平衡: 采用了两级平衡策略。首先,使用欠采样来平衡二元分类(缺陷 vs 无缺陷)。其次,在定位阶段对四种缺陷类别进行类别平衡,以防止对主导类别的过拟合。
- 增强: 为了解决真实缺陷样本稀缺的问题(特别是对于“Bicho”类别),研究使用随机旋转、高斯噪声、高斯模糊、光照缩放和随机遮挡对训练集进行了数据增强,将每个类别扩展至约 5,000 个实例。研究利用了一个包含 775,673 幅图像 的初始数据集,并按会话级别将其划分为训练集 (70%)、验证集 (15%) 和测试集 (15%)。最终测试集包含 344 幅图像(189 幅 Top 视图和 155 幅 Corpo 视图)。
关键结果
该框架在源自工业数据集的 344 幅图像测试集 上进行了评估。
- 第一阶段性能: ResNet152 展示了卓越的鲁棒性,特别是在具有挑战性的 Top 视图上,实现了 0.8764 (Top) 和 0.9448 (Body) 的 F1 分数。其置信度分布比 MobileNetV3 或 DenseNet 更为集中,证明了其作为主要过滤器的合理性。
- 第二阶段性能(定位):
- Top 区域: 小规模 YOLO 模型达到了近乎完美的表现。YOLOv8 Small 达到了 0.994 的 mAP@50 和 0.988 的 F1 分数。
- Body 区域: 由于曲率和光照梯度,该区域更具挑战性。YOLOv8 Small 实现了最佳的整体平衡,mAP@50 为 0.912,F1 分数为 0.895。
- 空间精度: YOLOv9 Small 凭借其可编程梯度信息 (PGI) 机制,记录了最高的整体空间精度,mAP@50 达到 0.956。
- 对比: 新的迭代版本 (v10, v11) 在性能上略逊于 v8 和 v9,这表明其速度优化可能会牺牲在低对比度自然纹理上的精度。
- 延迟与吞吐量:
- 第一阶段 (ResNet152) 每帧运行时间约为
4.2 毫秒(238 FPS)。
- 对于缺陷样本,组合流水线 (ResNet152 + YOLOv8-Small) 的最差情况延迟为 ~7.3 毫秒(~136 FPS)。
- 对于非缺陷样本(绝大多数情况),流水线在第一阶段结束后即终止,以分类器的最高速度运行。这种动态分配确保了在不牺牲检测性能的前提下,符合工业吞吐量的要求。
意义与主张
论文声称 DeepCork 为高吞吐量工业检测中的自动化质量保证建立了可靠且透明的基础。其主要意义在于:
- 解决精度与延迟的权衡: 通过将二元过滤与详细定位解耦,系统避免了对每一张图像都运行沉重的目标检测器所带来的计算成本,同时保持了高检测率。
- 减轻不确定性: 两阶段过程中系统的置信概率分析降低了分类不确定性,并抑制了误报,这是工业部署中的关键要求,因为误报会导致生产停顿。
- 可解释性: 与单阶段黑盒模型不同,两阶段方法通过(二元过滤器提供的)清晰决策边界和(通过 YOLO 提供的)显式空间定位,增强了检测过程的可解释性。
局限性与未来工作
作者谦虚地指出了两个主要的局限性:
- Body 区域 仍然是一个性能瓶颈,原因在于透视畸变和模仿缺陷的自然皮孔。
- Top 区域的高指标部分归功于数据增强,因为某些缺陷类别(特别是 “Bicho” 类)的原始数据集较小。
未来的工作建议在真实的工业边缘硬件上验证该系统,以确认在现实条件下是否能满足 <50 毫秒的延迟阈值,并将流水线输出集成到基于 VR 的操作员培训平台中,以协助人类检测员。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。