💻 computer science

ProtoPointNet: Prototype-Based Interpretable Classification of 3D Dental Point Clouds with Verifiable Spatial Activations

本文介绍了 ProtoPointNet，这是一种基于原型的可解释模型，它通过在配准的口腔内牙弓对上进行多任务学习来对 3D 牙合进行分类，在 Bits2Bites 数据集上实现了高性能，并为其预测提供了具有空间定位性且符合解剖学合理性的视觉解释。

原作者： George V. Jose, Thao Liang Chiam, Toby Hughes, Dilan Patel, Alan Brook, Lyle J. Palmer, Nikhil Cherian Kurian

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： George V. Jose, Thao Liang Chiam, Toby Hughes, Dilan Patel, Alan Brook, Lyle J. Palmer, Nikhil Cherian Kurian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚一个人的上下牙齿是如何咬合的。通常情况下，计算机在观察牙齿的 3D 扫描图时，只会直接给出一个标签，比如“咬合良好”或“咬合不良”，但它并不会解释自己的推理过程。这就像是一个只说“是”而不告诉你为什么的魔力 8 号球。

ProtoPointNet 的研究人员决定构建一种不同的“计算机大脑”——它的行为更像是一个带着放大镜的侦探。它不是靠直觉猜测，而是通过寻找它从过往案例中学习到的特定“线索”（称为原型）。这就像是在教一个学生识别“反颌（cross-bite）”，不是通过背诵整张图片，而是通过展示一组总是看起来像反颌的特定牙齿区域。当计算机再次看到这个相同的区域时，它可以直接指向那里并说：“啊哈！我知道这个！这就是为什么我认为它是反颌的原因。”

秘诀：14 维超级描述
为了实现这一点，团队不仅仅是把牙齿的形状喂给计算机。他们为 3D 扫描中的每一个点都提供了一张特殊的“身份证”，上面包含 14 种不同的信息。你可以把它想象成描述一个人，不仅描述身高，还描述他离邻居有多远、鼻子的角度以及脸颊的弧度。

这张身份证包含了常规的形状细节，但神奇之处在于“关系型”信息：它准确地告诉计算机，上牙的一个点距离最近的下牙点有多远，以及在哪个方向。这让计算机能够观察到两个牙弓之间的“间隙”或“重叠”，而这正是检查咬合的关键点。

“这个看起来像那个”的游戏
该系统通过将新的扫描结果与它在训练期间学习到的“范例库”（原型）进行对比来工作。

如果计算机看到一个与它之前学到的“深覆合（Deep Bite）”原型非常相似的牙齿区域，它就会点亮那个线索。
然后，它会将所有匹配的线索累加起来，做出最终决定。
至关重要的是，因为它知道具体是哪块区域匹配了哪个线索，所以它可以将这种匹配关系投影回 3D 模型。你可以在计算机屏幕上清晰地看到一个发光的亮点，显示出究竟是哪些牙齿（比如后磨牙或前切牙）说服了计算机做出那样的选择。

挑战：从微小的图书馆中学习
这里最棘手的部分是，团队只有大约 140 个患者的扫描件用于训练。这就像是试图用仅仅几十张闪卡来学习一门新语言。大多数 AI 模型会感到困惑或者仅仅是死记硬背这些卡片（过拟合）。

为了解决这个问题，研究人员使用了一个聪明的训练技巧。他们首先让计算机利用一个辅助系统学习通用的形状，然后“冻结”了这部分内容，以免它遗忘。接着，他们将计算机的精力集中在仅学习针对咬合问题的特定线索（原型）上。这使得系统即使在如此小的数据集下也能有效地学习。

结果：擅长某些领域，但不擅长其他领域
当他们用 30 名新患者（总计 200 个扫描件）测试该系统时，结果如下：

重大胜利： 系统在识别垂直问题（如深覆合或开颌）和左侧对齐问题方面表现出色。对于垂直咬合，它得到了 0.828 的分数；对于左侧对齐，得到了 0.807 的分数（分值越高越好）。
喜忧参半： 它在处理右侧对齐和横向（左右）问题方面表现尚可，但在处理“中线”（即上牙中心是否与下牙对齐）问题时却很吃力。对于中线问题，它仅得到了 0.457 的分数，这基本上是在瞎猜。
对比： 当他们将这种“侦探式”风格与标准的“黑箱”AI 进行比较时，这种侦探风格在处理困难任务（如左侧对齐）时表现得同样出色，但它拥有一个巨大的优势：能够展示其推导过程。

他们排除了什么
论文明确指出，仅仅观察一组牙齿的形状是不够的。你必须观察上下牙齿是如何相互关系的。此外，他们发现虽然标准的“注意力（attention）”图（仅显示一个模糊区域）可以显示计算机看了哪里，但它们无法像这种原型系统一样解释为什么。原型系统是唯一一个能够说出“我将这个特定区域匹配到了一个已知的坏咬合案例”的系统。

他们有多确定？
作者们相信，这种方法对于解释“为什么”做出决策是有效的，数据也表明，对于牙科扫描，这是一个可靠且具有前景的替代“黑箱”模型的方案。然而，他们也谨慎地指出，由于测试组规模较小（仅 30 名患者），这些分数仅为估计值。他们认为中线结果较弱的原因可能是扫描件有时会捕捉到过多的牙龈或上腭信息，从而干扰了系统的判断。他们并不声称这已经是一个解决了所有牙科病例的完美问题，但他们确实展示了这种“透明化”的思考方式是分析 3D 牙科表面的一种可行且充满希望的路径。

技术摘要：ProtoPointNet

问题陈述
用于 3D 点云的深度学习模型（如 PointNet 和 Point Transformer）在形状分类和分割方面已取得了强劲的表现。然而，在牙科等临床场景中，这些模型通常表现为“黑盒”，无法揭示驱动其预测的具体解剖区域或空间关系。虽然基于原型的网络（例如 ProtoPNet）通过将预测与学习到的范例（“这个看起来像那个”）联系起来，提供了内在的可解释性，但其应用仍局限于单物体分类或 2D 图像。目前缺乏能够处理关系型 3D 任务的方法，即分类标签取决于两个表面（例如上、下牙弓）之间的空间相互作用，而非单个物体。具体而言，牙齿咬合分类需要分析成对的口腔内牙弓之间的接触、间隙和对齐情况，而现有的 3D 分类器或基于 2D 投影的方法并不能很好地解决这一任务。

方法论
作者提出了 ProtoPointNet，这是一种基于原型的架构，旨在对配准后的上下颌内口腔牙弓对进行具有内在可解释性的 3D 咬合分类。

关系型点表示： 与标准的点云描述符不同，ProtoPointNet 为每个点编码了一个 14 维描述符。这包括局部表面几何形状（坐标、法线、形状指数、高斯曲率）以及显式的关系通道：到对侧牙弓最近点的 3D 位移向量 ( $\Delta_n$ ) 和标量间隙 ( $\delta_n$ )。这显式地将牙弓间的关系（接触、分离、错位）暴露给模型。
架构： 该模型利用共享的类 PointNet++ 层次化编码器来处理合并后的双牙弓点云。一个适配器模块重新注入位置坐标，并将输出归一化到原型空间。
多任务原型头： 网络采用共享骨干网络和五个特定任务的头部，分别用于矢状-左、矢状-右、垂直、横向和中线分类。每个头部包含一组特定于类别的原型。
原型匹配： 通过计算局部点嵌入与学习到的原型之间的相似度来生成预测。激活值计算为前 $k$ 个相似度的均值。至关重要的是，分类器权重经过参数化处理，以确保原型对其分配的类别贡献非负证据，并对其它类别贡献非正证据，从而实现可分解的逻辑值（logits）。
针对小数据的训练策略： 鉴于数据集规模较小（约 140 对训练数据），作者采用了小数据训练方案：
- 辅助监督： 在训练原型头的同时，训练一个辅助分类器（使用嵌入的极大值池化），以稳定学习过程。
- 编码器冻结交接： 辅助权重被退火至零，同时冻结编码器，使适配器、原型和分类器仅针对原型路径进行适配。
- 正则化： 损失函数包含聚类、分离、多样性和覆盖项，以确保原型具有区分性、覆盖数据流形且不会发生坍缩。
可解释性： 在推理过程中，模型将与激活原型匹配度最高的输入区域投影回原始牙齿网格。这提供了一种前向传播解释（识别支持决策的具体解剖区域），而非后验显著性图。

核心贡献

可解释的配对表面推理： 引入了 ProtoPointNet，这是首个能够将原型证据直接映射回原始网格以进行牙齿咬合分类的基于原型的点云模型。
关系型牙弓间描述符： 开发了一种 14 维描述符，结合了局部几何形状与显式的对侧牙弓位移和间隙，使原型能够捕捉接触和对齐模式。
小数据多任务验证： 展示了通过辅助监督和编码器冻结交接技术训练的共享编码器与轴向特定原型头，验证了在有限的临床 3D 数据上可以学习原型推理，同时保留具有空间意义的解释。

结果
该模型在 Bits2Bites 基准测试上进行了评估，该基准包含 200 对配准的上下颌 STL 对及五个咬合标签。

性能： ProtoPointNet 实现了 0.724 的平均测试宏 F1 值和 0.825 的 AUROC。
特定任务性能： 模型在垂直分类（F1 0.828，AURO C 0.970）和矢状-左分类（F1 0.807，AUROC 0.900）上表现最强。模型在矢状-右和横向任务上的表现中等，而中线任务表现较弱（F1 0.457），这可能是由于偏差过于细微以及采样噪声所致。
消融研究：
- 描述符： 完整的 14 维关系型描述符优于原始几何（6 维）和内在几何（9 维）描述符，在矢状任务中观察到的增益最大。
- 分类器头： 虽然直接使用极大值池化和注意力头在某些指标上实现了略高的平均宏 F1 或 AUROC，但原型头在矢状任务（其中牙弓间推理至关重要）中提供了最佳性能，并提供了独特的、可读的基于案例的分解。
空间相干性： 可视化确认了原型激活定位在具有解剖学合理性的区域（例如，作为错颌咬合证据的后牙磨牙，以及作为咬合深度证据的前牙切牙）。

意义与主张
论文声称，ProtoPointNet 建立了基于原型的推理作为牙齿表面对分析中一种可行且透明的替代方案，用以取代黑盒 3D 分类器。通过将预测与学习到的范例联系起来，并将其投影到特定的解剖区域，该模型支持“临床可检查的决策”。作者强调，尽管该模型并未严格复制所有临床标准（例如，它在处理中线偏差方面表现挣扎），但它成功利用判别性特征来预测标签，同时提供具有空间依据的前向传播解释。这项工作证明，即使是在有限的临床 3D 数据集上，本身具有可解释性的模型也可以有效地进行训练，且不会牺牲解释“在哪里”以及“为什么”做出分类的能力。

技术摘要：ProtoPointNet

类似论文