IOSVLM: A 3D Vision-Language Model for Unified Dental Diagnosis from Intraoral Scans

本文提出了 IOSVLM，一种基于点云表示的端到端 3D 视觉语言模型，并配套构建了包含 19,002 例病例的大规模 IOSVQA 数据集，通过引入几何到色彩的代理机制及两阶段课程训练策略，有效克服了数据异构与多病共存等挑战，实现了在 3D 口内扫描数据上对多种口腔疾病的统一诊断与生成式视觉问答。

要点

这篇论文介绍了一个名为 IOSVLM 的“超级牙医助手”，它不仅能看牙齿的 3D 扫描图，还能像真人医生一样用自然语言进行诊断和写报告。

为了让你更容易理解，我们可以把这项技术想象成给 AI 装上了一双能直接“触摸”牙齿形状的“魔法眼”。

以下是用通俗语言和比喻做的详细解读：

1. 背景：以前的“牙医 AI"有什么局限？

想象一下，以前的牙科 AI 就像是一个只能看照片的实习生。

• 2D 照片的局限：以前的 AI 主要看牙齿的 2D 照片（就像看一张平面地图）。但牙齿是立体的，很多细微的病变（比如牙齿排列的微小错位、牙龈的起伏）在平面照片里是看不清楚的，就像看一张平面的世界地图，你很难看出珠穆朗玛峰的具体坡度。
• 渲染的麻烦：有些 AI 试图把 3D 牙齿扫描图“渲染”成多张 2D 照片来给 AI 看。但这就像为了描述一个苹果，非要拍它的前后左右上下六张照片，不仅麻烦，还容易丢失苹果整体的立体感。

2. 核心突破：IOSVLM 是什么？

IOSVLM 是一个全新的 AI 模型，它不再看照片，而是直接“吃”进 3D 牙齿扫描数据（点云）。

• 比喻：如果说以前的 AI 是看“平面地图”，那 IOSVLM 就是直接拿着“立体地形模型”在手里摸。它能直接感知牙齿表面的每一个起伏、每一个角度。
• 全能诊断：它不仅能看出“有没有蛀牙”，还能同时诊断出“有没有牙缝过大”、“有没有牙齿拥挤”等多种疾病共存的情况，并且能像医生一样写出一份详细的诊断报告（比如：“患者有牙缝问题，因为……"）。

3. 三大挑战与“魔法”解决方案

要把这个 3D 牙医助手造出来，作者们遇到了三个大难题，并想出了巧妙的办法：

挑战一：数据太杂，形状千奇百怪

• 问题：有的扫描只扫了上牙，有的只扫了下牙，有的牙齿被挡住了（就像有人张嘴时只露出半边脸）。
• 解决：作者收集了一个巨大的**“牙齿题库”（IOSVQA 数据集）**，包含了近 2 万个病例和 25 万组问答。这就像给 AI 看了全世界各种张嘴姿势的练习册，让它学会了不管牙齿怎么摆，都能认出毛病。

挑战二：3D 数据没有“颜色”，但 AI 习惯看颜色

• 问题：这是最有趣的一点。很多 AI 模型在训练时是见过“彩色点云”的（就像看带颜色的 3D 模型）。但真实的牙科扫描通常只有形状（几何信息），没有颜色（就像只有黑白线条的素描）。如果直接把黑白图喂给习惯了彩色的 AI，AI 会“晕”的，因为它找不到颜色作为区分边界的线索。
• 魔法方案（几何转色代理 GCP）：
  • 比喻：想象你在看一幅黑白素描，虽然没颜色，但你可以把**“阴影的深浅”或者“线条的弯曲度”**强行涂成不同的“假颜色”。
  • 原理：作者发明了一种叫**“几何转色代理”的技术。它把牙齿表面的“弯曲程度”和“朝向”**（法向量）转换成一种“伪颜色”。
  • 效果：这样，原本没有颜色的 3D 扫描图，在 AI 眼里就变成了带有丰富信息的“彩色图”。AI 就能利用它以前学过的“看图识物”经验，精准地识别出牙齿的细微边界和病变。

挑战三：教 AI 说话很难（数据少）

• 问题：既有 3D 扫描又有医生详细文字报告的配对数据非常少。
• 解决：作者采用了一种**“循序渐进”的教学法（课程学习策略）**：
  1. 第一阶段（打基础）：先让 AI 看大量（哪怕质量稍差）的数据，学会“认形状”和“把形状和语言对应起来”。
  2. 第二阶段（精修）：再用少量高质量、有详细解释的数据，教 AI 如何像专家一样写出逻辑严密的诊断报告。

4. 结果：它有多强？

在测试中，IOSVLM 的表现碾压了现有的其他方法：

• 对比 2D AI：它比那些只看照片的 AI 准确率高出很多（就像用 3D 建模软件去修图，比用 2D 画图软件修图要精准得多）。
• 对比其他 3D AI：即使和其他能处理 3D 数据的 AI 比，它也更强，因为它专门针对牙齿做了优化。
• 对比商业大模型：它甚至打败了像 GPT-5 或 Gemini 3 Pro 这样庞大的通用商业模型，而且它用的模型更小、更专业。

5. 总结：这对我们意味着什么？

这就好比给牙科诊所配备了一位**“不知疲倦、眼光毒辣、还能写病历”的超级 AI 助手**。

• 它能直接分析患者口内扫描仪出来的原始 3D 数据。
• 它能同时发现多种复杂的牙齿问题。
• 它能用人类听得懂的语言解释为什么牙齿有问题。

这项技术让牙科诊断更加标准化、可追溯，未来可能帮助医生更快地发现早期病变，也让患者能更清楚地理解自己的牙齿状况。简单来说，就是让 AI 真正学会了“看”牙齿的立体世界。

技术摘要

IOSVLM 论文技术总结

1. 研究背景与问题定义 (Problem)

背景：
3D 口内扫描（Intraoral Scans, IOS）因其丰富的几何信息，正逐渐成为牙科临床的常规手段。然而，现有的牙科视觉语言模型（VLM）大多基于 2D 图像或多视角渲染图，未能充分利用原生 3D 几何数据。此外，临床场景通常涉及多种疾病共存（Multi-disease co-occurrence），需要统一的诊断和自然语言报告生成，而不仅仅是单一病灶检测。

核心挑战：
直接基于原生 3D IOS 进行统一诊断面临三大难题：

1. 数据异质性与拓扑复杂性： 扫描形式多样（单颌、全颌遮挡），覆盖范围和遮挡情况差异大，且口腔拓扑结构复杂。
2. 多病共存与细粒度模糊： 多种疾病常同时存在，类别不平衡严重，且疾病间的形态学差异细微，难以区分。
3. 数据稀缺与分布差异： 缺乏高质量的 3D IOS-文本配对数据。此外，现有的 3D 点云预训练模型通常依赖 RGB 颜色信息，而临床 IOS 数据往往缺失或不可靠颜色信息，导致预训练分布与下游任务不匹配（Distribution Gap）。

2. 方法论 (Methodology)

论文提出了 IOSVLM，一个端到端的 3D 视觉语言模型，旨在直接处理原生 3D IOS 几何数据，实现多疾病统一诊断和生成式视觉问答（VQA）。

2.1 模型架构 (Model Architecture)

IOSVLM 采用 3D 编码器 - 投影器 - 大语言模型 (LLM) 的框架：

• 3D 编码器： 使用预训练的 ReCon++ 作为 3D 点云编码器。将 IOS 网格转换为点云，提取绝对位置嵌入 ($F_{ape}$)、局部几何特征 ($F_{local}$) 和全局描述符 ($F_{global}$)。
• 多分支投影器 (Projectors)： 通过三个专用的 MLP 将上述特征映射到 LLM 的 Token 空间，并与可学习的视觉提示（Visual Prompts）拼接，形成融合的点云 Token ($F_p$)。
• 大语言模型 (LLM)： 接收融合后的视觉 Token 和文本 Token，进行推理并生成诊断报告或问答回复。

2.2 关键创新：几何到色谱代理 (Geometry-to-Chromatic Proxy, GCP)

针对 IOS 缺乏颜色信息导致与预训练模型不匹配的问题，作者提出了 GCP：

• 原理： 利用表面法向量（Surface Normals）作为颜色的代理。法向量编码了局部表面方向和曲率变化，能够模拟 RGB 颜色在提供局部可分性线索（如边界发现）方面的作用，而非语义颜色本身。
• 实现： 对每个点的法向量进行归一化并取绝对值，映射为伪彩色。这使得模型能够复用基于 RGB 预训练的 3D 编码器的先验知识，同时保持纯几何驱动。

2.3 训练策略 (Curriculum Training)

采用 两阶段课程学习策略：

• 阶段 1 (对齐阶段)： 在大规模但含噪声的数据上训练 3D 编码器和投影器（冻结 LLM）。利用 GCP 缩小与颜色依赖预训练的差距，建立稳健的 3D 几何感知和几何 - 语言对齐。
• 阶段 2 (指令微调阶段)： 在高质量数据（部分包含思维链 CoT 推理）上微调投影器和 LLM（冻结编码器）。此阶段旨在增强诊断的可靠性、可解释性和生成能力。

3. 数据集构建 (IOSVQA)

为了支持模型训练和评估，作者构建了 IOSVQA 数据集：

• 规模： 包含 19,002 个 IOS 病例和 249,055 个 VQA 对。
• 覆盖范围： 涵盖 23 种 口腔疾病，包括单颌（Single-arch）和全颌遮挡（Occluded-arches）两种扫描类型。
• 来源： 整合了三个来源（MaloccIOS, DiseaseIOS, Bits2Bites），经过全局配准、标签统一和专家修正。
• 特点： 是目前最全面的 IOS 诊断 VQA 资源之一，显式捕捉了多病共存和异质输入的复杂场景。

4. 实验结果 (Results)

在 IOSVQA 数据集上的实验表明，IOSVLM 显著优于各类基线模型：

• 性能对比：

  • 宏观准确率 (Macro Acc)： 达到 77.23%，比最强的开源 2D MLLM 高出至少 16.02%，比开源 3D MLLM 高出 34.20%。
  • 宏观 F1 分数： 达到 50.39%，比 GPT-5 高出 5.66%，比 Gemini 3 Pro 高出 1.46%。
  • 召回率 (Recall)： 达到 52.96%，优于所有对比模型，这对于处理类别不平衡的多病诊断至关重要。
  • 解析率 (PR)： 达到 100%，表明生成的诊断标签格式规范，易于解析。

• 消融实验结论：

  • GCP 的有效性： 引入 GCP 使准确率提升 5.26%，F1 提升 4.96%，验证了法向量作为颜色代理能有效弥补分布差异。
  • 训练策略： 两阶段课程学习优于单阶段训练，特别是在处理多病模糊性方面表现更稳健。
  • LLM 选择： Qwen3VL-8B 在平衡精确率和召回率方面表现最佳，避免了其他模型倾向于预测多数类的问题。

5. 主要贡献与意义 (Contributions & Significance)

1. 首个大规模多源 IOS 诊断 VQA 数据集： 构建了 IOSVQA，填补了 3D 口内扫描多病诊断数据的空白，支持单颌和全颌遮挡等多种输入。
2. 首个端到端原生 3D IOS VLM： 提出了 IOSVLM，直接利用原生 3D 几何进行统一诊断，证明了直接建模 3D 几何比 2D 渲染或单视角图像更有效。
3. 解决分布差异的创新方法： 提出了 几何到色谱代理 (GCP)，巧妙解决了无颜色 IOS 数据与有颜色预训练模型之间的分布不匹配问题，提升了细粒度几何感知能力。
4. 临床价值： 该模型不仅提高了诊断精度，还能生成可解释的推理报告，为牙科临床文档记录、医患沟通及多病共存场景下的自动化辅助诊断提供了强有力的技术支撑。

总结： IOSVLM 通过结合原生 3D 几何建模、创新的分布对齐策略（GCP）以及课程学习，成功克服了 3D 牙科诊断中的关键挑战，为基于口内扫描的智能化、统一化牙科诊断开辟了新路径。