💻 computer science

Category-aware and Centroid-Guided Point Transformer for 3D Ear Region Segmentation

本文提出了一种基于 Point Transformer v3 构建的类别感知且质心引导的点变换器，通过类别平衡注意力模块、动态损失函数和质心引导后处理，解决了 3D 耳部区域分割中的类别不平衡和边界模糊问题，在大型和微小子区域中均实现了卓越的准确度。

原作者： Li Yuan, Wenhao Zuo, Jiangyun Li, Wenjiang Huang

发布于 2026-09-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Li Yuan, Wenhao Zuo, Jiangyun Li, Wenjiang Huang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类的耳朵是一个由曲线、脊线和深邃凹陷组成的复杂景观，其结构如此错综复杂，长期以来一直挑战着试图设计出完美贴合舒适的耳机、助听器或医疗设备的工程师。为了制造出能舒适佩戴在耳朵上的产品，设计师需要了解每一个微小部分的精确形状和尺寸，从外缘到最深的内部腔室。几十年来，研究人员一直试图利用平面照片来绘制这些形状，但二维图像无法捕捉三维物体的真实深度和曲率。这就像是试图通过观察单一的影子来理解山脉的形状；深度丢失了，细节也变得模糊。为了解决这个问题，科学家们转向了 3D 点云，即由数百万个微小点组成的数字集合，它们在空间中描绘物体的表面，保留了每一处曲线和角度。然而，即使有了这些详细的地图，教计算机识别耳朵的一个大型外部区域与一个微小的特定内部位置之间的区别仍然被证明是困难的。由于这些微小区域的数据量远不及较大的区域，计算机往往会忽略这些稀有的细微之处，就像一束过亮的聚光灯让生长在巨树阴影下的细小花朵变得难以察觉。

北京科技大学与中国科学院的一支研究团队开发了一种新方法，帮助计算机清晰地观察这些微小的细节。他们创建了一个专门的数字模型，旨在将人类耳朵精确地分割（或分离）为不同的区域。他们的研究重点在于一个特定的问题：耳朵包含八个主要区域（如耳垂和外缘），它们覆盖了大部分表面；此外还有八个隐藏在主凹陷深处的更小的关键区域，这些区域对应于传统医学中使用的特定穴位。由于这些小区域的点数远少于大区域，标准的计算机模型经常会将它们误认为其较大的邻近区域，或者根本无法识别它们。研究人员基于现有的先进系统——Point Transformer 构建了他们的解决方案，该系统已经擅长理解 3D 形状，但他们增加了三个新的智能层来修复这种不平衡。

首先，团队引入了一种机制，迫使计算机额外关注耳朵中的微小且稀有的部分。在数字模型中，这通过给微小区域分配一个特殊的权重来实现，实际上是在告诉系统：“不要忽视这些。”这确保了小区域的特征在学习过程中被放大，使其在较大的耳朵部分背景中脱颖而出。其次，他们调整了计算机从错误中学习的方式。系统不再对所有错误一视同仁，而是对涉及微小区域的错误施加更重的惩罚。如果计算机错误地识别了耳朵内部的一个微小点，惩罚会非常严厉，从而促使模型立即纠正该特定错误。这种动态调整确保了模型不会仅仅专注于容易处理的大面积区域。最后，研究人员在计算机做出初步判断后增加了一个收尾步骤。由于计算机有时会对微小区域过度兴奋，从而将过多的点标记为属于该区域，团队使用了一种几何规则来清理结果。他们计算预测的小区域的确切中心点，然后仅选择距离该中心最近的二十五个点作为最终的官方形状。这确保了识别出的区域是紧凑、圆润且符合解剖结构的，剔除了可能被错误包含的任何零散或嘈杂的点。

研究人员在包含近 30,000 个点的 500 个人类耳朵模型数据集上测试了他们的新系统。结果显示，与以往的方法相比，该系统有了显著的改进。旧模型在区分微小的内部区域时表现挣扎，经常导致边界模糊或完全遗漏，而新系统实现了极高的准确度，其预测形状与真实形状之间的平均重叠度达到了 0.8387。更重要的是，它在所有区域的平均点分类准确率达到了 0.9510。与其他领先技术相比，该方法产生了更清晰的边界和更少的误差，尤其是在拥挤且复杂的耳朵内部部分。视觉对比显示，虽然其他模型会让小区域显得破碎或与周围组织混淆，但这种新方法产生的是干净、连续且完美匹配真实解剖结构的形状。

这项工作的意义在于它能使数字耳朵模型达到足以进行现实世界设计的可靠程度。通过解决“类别不平衡”问题（即大面积淹没小面积的问题），研究人员提供了一个能够精确测量耳朵每个部分几何尺寸的工具。这种精度对于创造不仅功能完备而且适合长期佩戴的耳戴式设备至关重要。该团队已公开了他们的代码和数据，以便其他科学家验证其发现并开展后续工作。未来，这项技术可以集成到医疗诊断中，以提供更详细的耳朵分析，支持个性化设备的开发，并提高医疗保健应用中耳部分析的准确性。该研究表明，通过结合正确的注意力机制、学习规则和几何优化，计算机终于可以像观察人体最大部位一样，清晰地观察到最小的细节。

技术摘要：用于 3D 耳部区域分割的类别感知与质心引导点云 Transformer

1. 问题陈述

准确的 3D 耳廓点云分割对于舒适且功能齐全的耳戴式设备（如耳机、助听器、耳部按摩器）的设计以及耳廓分析至关重要。人类耳朵由八个主要区域（如耳廓、耳甲腔、耳垂）和众多较小的子区域（如耳甲腔内的特定穴位区域）组成。

现有的点云分割方法在该领域面临显著挑战，原因包括：

严重的类别不平衡： 大型区域（如耳廓）包含大部分点，而微小子区域（如特定穴位）的点数非常少。这导致模型向大区域偏移，造成误分类和对小区域的“侵蚀”。
几何复杂性： 小区域与具有复杂曲面及局部凹凸特征的大型相邻区域紧密相连。
边界破碎化： 标准方法往往会对小区域产生破碎的边界和不规则的形状，无法捕捉用于设备适配和医学分析所需的精确解剖结构。
2D 方法的局限性： 虽然存在基于 2D 图像的方法，但它们会丢失深度信息，并且难以处理耳朵复杂的 3D 拓扑结构，尤其是在细粒度定位方面。

2. 方法论

作者提出了一种基于 Point Transformer v3 基准的 类别感知与质心引导点云 Transformer 框架。该架构由预处理、编码器、解码器和分割头组成，并通过三项特定创新来解决类别不平衡和几何精度问题。

A. 类平衡注意力模块 (Class-Balanced Attention Module)

该模块位于解码器之后，旨在增强代表性不足的小区域类别（标签 8–15）的特征表示。

机制： 它利用一个可学习的类别权重向量。大型区域（0–07）被分配一个动态权重 $\alpha$ ，而小型区域（8–15）被分配一个动态权重 $\beta$ 。
动态调整： 通过 L2 正则化和稀疏正则化，模型学习随着网络深度的增加，使 $\beta$ 相对于 $\alpha$ 增大。这使得模型的注意力从浅层的全局几何结构转向深层的针对小区域的高层语义特征。
特征增强： 该模块通过这些权重导出的注意力因子对解码器特征进行乘法运算，从而放大小区域的特征，防止它们被相邻的大区域“侵蚀”。

B. 动态类别感知损失函数 (Dynamic Category-Aware Loss Function)

为了进一步引导训练过程关注小区域，采用了复合损失函数：
$L_{total} = \lambda_{CE}L_{CE} + \lambda_{Lovasz}L_{Lovasz} + \lambda_{DCA}L_{DCA} + \lambda_{CBR}L_{CBR}$

动态类别感知损失 ( $L_{DCA}$ )： 该损失结合了划分权重（为小区域分配更高的权重 $\theta$ ）和基于当前批次中点数反频率的动态权重。这确保了误分类的小区域会受到显著更高的惩罚，从而将优化方向导向这些困难类别。
类别平衡正则化损失 ( $L_{CBR}$ )： 这是一种辅助损失，用于约束注意力模块中的可学习权重，防止权重过大，同时确保小区域获得足够的关注。

C. 质心引导后处理 (Centroid-Guided Post-Processing)

即使改进了特征学习，直接对小区域的预测仍可能呈现空间分散或破碎的状态。作者提出了一种后处理策略来优化结果：

质心计算： 为每个预测的小区域类别计算其预测点集的几何质心 ( $\mu_c$ )。
最近邻选择： 使用 K-最近邻 (KNN) 算法，选取距离计算出的质心最近的 25 个点，并将它们分配到该特定的特定小区域类别中。 该策略利用了小耳部区域在空间上围绕中心集中的解剖学先验，通过在质心邻域内重新选择最具代表性的点集，确保了分割结果的紧凑性和几何规则性。

3. 核心贡献

新颖架构： 将 类平衡注意力模块 集成到 Point Transformer v3 中，以动态调整特征权重，专门针对小区域代表性不足的问题。
专门的损失函数： 引入了 动态类别感知损失 和 类别平衡正则化损失，以减轻训练偏差并确保在优化过程中聚焦于少数类。
几何后处理： 提出了一种 质心引导后处理 方法，纠正了小区域预测中的空间分散问题，在无需依赖通用形态学操作的情况下，确保了边界完整性和紧凑性。
全面评估： 在包含 500 个耳部点云样本（源自 York 耳模型）的数据集上进行了广泛实验，证明了在大型区域描绘和大粒度小区域定位方面的卓越性能。

4. 实验结果

所提方法在一个包含 500 个耳部点云（上采样至 29,800 个点）的数据集上进行了评估，该数据集标注了 8 个主要区域和 8 个小型穴位区域。模型与 PointNet++、Point Transformer V2 和 Point Transformer V3 进行了对比。

定量性能：
所提方法达到了以下指标，优于所有基准模型：

mIoU (平均交并比)： 0.8387（对比 Point Transformer V3 的 0.7375）。
mAcc (平均准确率)： 0.9510（对比 Point Transformer V3 的 0.8334）。
allAcc (总体准确率)： 0.9744。
mPrecision (平均精确率)： 0.8744。

定性观察：

消融研究： 研究证实，仅靠类平衡注意力模块即可将 mIoU 提升至 0.8213。加入动态损失和后处理后进一步优化了结果，完整模型达到了峰值 mIoU。
视觉结果： 所提方法成功实现了所有八个主要区域的精确解剖对齐分割，并实现了八个小型穴位区域完整、非破碎的分割。相比之下，基准模型表现出严重的误分割、边界模糊以及对小区域的欠分割现象。

5. 意义与主张

本文声称，所提出的框架为 3D 耳部区域分割 提供了一个有价值的解决方案，直接解决了多尺度点云数据中类别不平衡的关键挑战。

应用影响： 提高的分割精度和边界清晰度为 耳戴式设备的设计（确保舒适度和贴合度）以及 耳廓分析（支持医疗或生物识别应用）提供了可靠的几何支撑。
方法论价值： 本研究证明，结合特征级注意力机制、动态权重损失和几何感知后处理，可以创建一个完整的优化闭环，显著增强细粒度分割任务的性能。
可复现性： 作者已公开代码和实验数据，以支持进一步的研究和复现。

作者总结道，该方法有效地弥合了大尺度结构理解与细粒度局部细节之间的差距，为个性化耳戴式设备设计和智能检测提供了稳健的基础。