💻 computer science

MIFR: A Modality-Invariant and Fair Representation Framework for Skin Disease Classification

本文介绍了 MIFR，这是一个利用多模态临床与皮肤镜图像并结合多目标损失函数的创新框架，旨在同时实现高准确度的皮肤疾病分类以及在不同肤色间的公平表现。

原作者： Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

皮肤是人体最大的器官，是一个复杂的景观，其中无害的斑点与危险的癌症在外观上可能极其相似。几十年来，医生一直依赖两种主要方式来检查这些病变：一种是用普通相机拍摄的标准照片，即临床图像；另一种是通过名为皮肤镜的特殊设备拍摄的高倍放大视图。虽然人工智能近年来在识别皮肤疾病方面已变得十分熟练，但这些数字工具仍面临两个顽固的障碍。首先，大多数系统被训练为只能观察一种类型的图像，这意味着一个在放大后的皮肤镜照片上表现良好的模型，在面对标准临床照片时可能会完全失效。其次，或许更为关键的是，这些系统在应用于深色皮肤人群时往往表现挣扎。由于绝大多数训练数据来自肤色较浅的人群，算法学习识别疾病的方式是基于无法很好转化到深色肤色上的特征，从而导致误诊和医疗结果的不平等。

一组研究人员提出了一种新的方法来同时解决这两个问题，创建了一个能够以公平对待不同类型图像和不同肤色的系统。他们的工作名为 MIFR，引入了一个旨在学习统一且单一的皮肤疾病理解框架，这种理解不依赖于拍摄方式或皮肤颜色。相反，该系统并不构建针对临床照片和皮肤镜图像的独立工具，也不为不同的肤色类型训练不同的模型，而是学习去观察疾病本身的底层本质。研究人员将临床照片与其对应的同一患者的皮肤镜图像进行配对，教计算机识别出这两张看起来截然不同的图片实际上展示了同一种医学状况。通过强制系统对齐这些不同的视角，该模型学会了忽略由相机或光照引起的表象差异，从而完全专注于疾病的生物学特征。

为了确保系统不会在无意中学习基于肤色的歧视，研究人员加入了一个巧妙的训练机制。他们教计算机在预测疾病的同时，努力向模型隐藏患者的肤色。想象一位学生必须正确回答一个难题，但被禁止利用任何关于其背景的线索来完成任务。在这个数字版本中，系统在玩一场游戏：一部分试图从图像特征中猜测肤色，而另一部分则试图扰乱这些特征，使猜测失败。随着时间的推移，系统学会了剥离与肤色相关的所有信息，仅保留诊断疾病所必需的细节。这一过程确保了最终的工具对于肤色最深的人和肤色最浅的人都能同样有效。

研究人员在来自多个公共数据库的皮肤图像集上测试了他们的新框架，其中包括一组包含同一病灶临床照片和皮肤镜图像的配对图像。他们重点关注了三种常见情况：黑色素瘤（一种危险的皮肤癌）、痣（良性痣）以及基底细胞癌（最常见的皮肤癌类型）。结果显示，无论是在观察标准照片还是高倍放大视图时，该系统都能准确地对这些疾病进行分类，证明它成功学习到了具有模态不变性的表征。当在从未见过的数据集（包括来自不同地区的数据集）上进行测试时，该模型保持了高准确度，表现优于以往仅针对单一类型图像设计的专业化方法。

或许最重要的一点是，该系统在公平性方面展现出了显著的提升。当研究人员衡量模型在不同肤色下的表现时，与现有工具相比，新方法在最浅和最深肤色群体之间的准确度差距明显缩小。数据的可视化证实，计算机确实将相同疾病的图像归为一类，无论它们是来自临床相机还是皮肤镜，也无论患者的肤色如何。计算机内部地图中的数据点簇是混合在一起的，这表明系统不再根据患者的肤色或使用的图像类型来区分患者。

尽管结果令人鼓舞，但研究人员也承认，他们的方法并非适用于所有情况的完美解决方案。目前，该系统在训练时需要配对图像，而这在现实世界中是稀缺的，且双摄像头设置增加了计算成本。此外，研究指出，当在仅包含皮肤镜图像的数据集上进行测试时，模型的性能略有下降，这表明为了让系统兼顾两种类型的图像，有时意味着必须牺牲一点点其中一种类型所特有的细节。尽管存在这些局限性，这项工作仍标志着向前迈出的重要一步。它证明了构建不仅准确而且公平的人工智能是可能的，这种人工智能能够服务于涵盖人类全肤色光谱的患者，并且无需针对每种情况使用独立的专门工具。

技术摘要：MIFR —— 一种用于皮肤病分类的模态不变且公平的表示框架

1. 问题陈述

通过深度学习进行皮肤病诊断在实际临床部署中面临两个关键障碍：

模态异质性（Modality Heterogeneity）： 皮肤病变是通过异质性的成像模态捕获的，主要是临床照片和皮肤镜图像。现有的模型通常依赖单一模态，这在准确诊断方面可能并不充分。
人口统计学差异（Demographic Disparities）： 公共皮肤病数据集主要由较浅肤色（费茨帕特里克皮肤类型 I–III）主导，导致模型在深色皮肤（FST IV–VI）上的表现显著变差。这加剧了医疗保健领域的不平等。

目前的方法通常孤立地处理这些问题。公平性感知方法（例如 FairDisCo、PatchAlign）通常针对单一模态运行，而多模态基础模型（例如 PanDerm）往往缺乏显式的公平性约束。此外，许多公平性方法在推理阶段需要敏感属性标签（肤色），这在临床环境中是不切实际的。

2. 方法论：MIFR 框架

作者提出了 MIFR（模态不变且公平的表示），这是一个双编码器架构，旨在共同处理临床图像和皮肤镜图像，同时在推理时无需敏感属性即可强制执行公平性。

2.1 架构

双编码器： 该模型采用两个独立的视觉 Transformer（ViT-Small）编码器：一个用于临床图像 ( $f^c_\theta$ )，另一个用于皮肤镜图像 ( $f^d_\phi$ )。
投影头（Projection Heads）： 每个编码器的输出都通过一个特定模态的投影头（带有批归一化和 GELU 激活函数的多层感知器），将其映射到共享的高维嵌入空间 ( $\mathbb{R}^{512}$ )。
推理灵活性： 在推理阶段，辅助分支会被丢弃。该模型可以在临床图像、皮肤镜图像或两者结合的情况下运行，从而消除了对单独专门化模型的需求。

2.2 多目标损失函数

训练过程优化了一个包含五个组成部分的统一损失函数 ( $L_{Total}$ ):

目标分类 ( $L_{cls}$ ): 一个加权交叉熵损失，用于解决类别不平衡问题，以确保准确的疾病预测 ( $y_i$ )。
肤色属性分支 (SA): 一种对抗机制，旨在从特征中移除肤色偏差 ( $s_i$ $s_{i}$ )，而无需在推理时需要 $s_i$ $s_{i}$ 。
- 混淆损失 ( $L_{conf}$ ): 训练主编码器使肤色分类器变得不确定（最大化熵），从而有效地隐藏肤色线索。
- 皮肤损失 ( $L_{skin}$ ): 训练辅助肤色分类器以预测真实标签，防止编码器塌陷为平凡解。
对比分支 ( $L_{contr}$ ): 应用于每个模态的监督对比损失，将相同疾病类别的嵌入拉近，并将不同类别的嵌入推开，从而建立类内紧凑性。
模态不变分支 ( $L_{MI}$ ): 基于 VICReg，该分支强制实现临床与皮肤镜嵌入之间的对齐。它包括：
- 不变性 ( $L_{inv}$ ): 最小化配对嵌入之间的余弦距离。
- 方差 ( $L_{var}$ ): 通过确保每个嵌入维度具有足够的方差来防止维度塌陷。
- 协方差 ( $L_{cov}$ ): 解耦嵌入维度以减少冗余。

3. 实验设置

数据集：
- 内部训练： 配对的 HIBA（1,195 张图像，含 FST）和 Derm7pt（1,738 张图像，含估计 FST）数据集，过滤出黑色素瘤 (MEL)、痣 (NV) 和基底细胞癌 (BCC)。
- 外部基准： PAD-UFES-20（临床图像）和 ISIC 2019（皮肤镜图像）。
基线模型： 与 FairDisCo 和 PatchAlign 进行比较。
指标： 准确率 (Acc)、F1 分数、AUC、预测质量差异 (PQD) 和准确率差距 ( $\Delta$ Acc)。

4. 关键结果

4.1 内部性能 (HIBA + Derm7pt)

公平性： 完整的 MIFR 模型实现了 87.23% 的 PQD，显著优于 FairDisCo (66.67%) 和 PatchAlign (82.98%)。
准确率： MIFR 达到了 93.33% 的准确率和 92.17% 的 F1 分数。虽然略低于基线 (93.81%)，但其性能仍然极具竞争力。
消融实验： 对比学习与模态不变性的结合 (BASE+Contr+MI) 产生了最低的准确率差距 (0.0265)，这表明模态不变性隐式地促进了公平性。

4.2 外部泛化能力

PAD-UFES-20 (临床): MIFR 在准确率 (85.10% vs. FairDisCo 的 78.35%) 和 AUC (91.89% vs. 83.44%) 方面显著优于基线。
ISIC 2019 (皮肤镜): MIFR 实现了 76.64% 的准确率，与 FairDisCo 持平并超过了 PatchAlign。然而，其 AUC (80.50%) 低于基础模型 (86.62%)。作者将其归因于一种权衡，即强制执行模态不变性会牺牲某些模态特定的判别力，以换取跨模态的泛化能力。

4.3 可视化

t-SNE 可视化证实了：

相同疾病的临床和皮肤镜嵌入在几何上是对齐的（模态不变性）。
肤色在疾病簇内几乎完美地混合，表明消除了肤色偏差（公平性）。

5. 重要性与主张

论文声称 MIFR 代表了迈向公平且稳健的皮肤病诊断的重要一步，通过：

统一目标： 成功地将模态不变性和公平性视为一个联合优化问题，而非相互分离的挑战。
实际部署： 消除了在推理阶段需要敏感属性标签的需求，而这一需求限制了许多现有的公平性感知方法。
跨数据集稳健性： 在外部基准（PAD-UFES-20）上展示了卓越的泛化能力，验证了其在数据分布发生偏移的现实场景中的适用性。

6. 局限性与未来方向

作者承认了特定的约束：

数据依赖性： 该框架依赖于配对的训练数据（同一病变的临床和皮肤镜图像），这类数据通常较为稀缺。
计算成本： 与单编码器模型相比，双编码器架构增加了计算开销。
数据集偏差： 本研究使用了缺乏非洲皮肤病变数据的国际库。作者指出，公共数据集仍然偏向于较浅肤色，将 MIFR 应用于非洲临床数据集（如 eSkinHealth）是解决先前方法在 FST IV–VI 上表现不佳问题的必要未来方向。
超参数调优： 五个损失权重的相互作用需要基于验证集进行手动调优，而非详尽的搜索，这可能无法保证获得最优性能。