📊 statistics

Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

本文提出了一种用于类别不平衡下半监督学习的多模态深度生成模型，该模型利用共享潜在变量、学生t分布以捕捉重尾数据特征，并采用 $\gamma$ -幂散度目标函数，从而在部分标注的类别不平衡多模态数据集上超越现有方法。

原作者： Heegeon Yoon, Heeyoung Kim

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Heegeon Yoon, Heeyoung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人识别不同种类的水果。你有一大堆照片，但有一个问题：你有成千上万张苹果的照片，却只有寥寥几张稀有、异域浆果的照片。

如果你直接把整堆照片展示给机器人，它会非常擅长识别苹果，但很可能会把每一种稀有浆果都误认为是长得奇怪的苹果。这就是类别不平衡问题。

现在，想象机器人不仅看到照片，还能听到水果的描述，并（如果它有传感器的话）感受到它们的质地。这就是多模态数据（同时使用不同类型的信息）。

最后，想象你只有苹果的名称标签，而那些稀有浆果都没有标签。你必须基于你已知的少数苹果来猜测浆果是什么。这就是半监督学习。

本文介绍了一种名为SSMVAE-CI的新型人工智能模型，旨在同时解决这三个问题：处理“稀有水果”问题、利用多种感官（视觉、声音、文本），以及从大部分未标记的数据中学习。

以下是其工作原理，通过简单的类比进行分解：

1. “专家团队”方法（多模态编码器）

大多数人工智能模型试图在开始时将所有数据（照片、文本、音频）混合到一个巨大的搅拌机中。作者们说：“不，让我们让专家们保持独立。”

类比：想象一个侦探团队。一名侦探是照片专家，另一名是音频专家，还有一名是文本专家。他们不会立即混合线索。相反，他们各自写下关于所见内容的报告，然后在“中央房间”（潜在空间）会面以交换意见。
优势：这使得模型能够理解一张浆果的照片和一段关于浆果的文字描述是相关的，即使它们看起来非常不同。模型使用“专家乘积”（Product-of-Experts）方法，这就像团队根据各自的报告对最终结论进行投票，而不是强迫他们在查看数据之前就达成一致。

2. “重尾”安全网（学生 t 分布）

标准人工智能模型通常假设数据呈完美的钟形曲线分布（高斯分布）。在钟形曲线中，“稀有”部分（尾部）非常薄，以至于模型往往会忽略它，或者试图强行将其表现得像常见部分。

类比：想象钟形曲线就像一根走钢丝。如果你是一颗稀有浆果，你远在钢丝之外的深草丛中。标准模型试图把你拉回钢丝上，让你看起来像苹果。
解决方案：本文将钢丝替换为一张宽阔的、像蹦床一样的网（学生 t 分布）。这张网具有“重尾”，意味着它在深草丛中有充足的空间。它允许稀有浆果留在它们自然所属的位置，而不被强迫看起来像苹果。这防止了模型对稀有数据进行“过度正则化”（强行使其符合常见模式）。

3. “智能猜测”游戏（Gamma 幂散度）

该模型需要从已标记的苹果和未标记的浆果中学习。为此，它使用一种特殊的数学工具，称为 $\gamma$ -幂散度。

类比：将其想象为一把灵活的尺子。标准尺子（如 KL 散度）是僵硬的；如果数据不完全吻合，它就会断裂或陷入混乱。 $\gamma$ -幂尺子是富有弹性且宽容的。它允许模型说：“我知道这颗稀有浆果看起来不完全像我见过的苹果，但它足够接近，可以算作浆果，我不会因为它与众不同而过分惩罚它。”
结果：这有助于模型在数据混乱、不平衡或缺失部分的情况下仍能有效学习。

4. 当数据缺失时会发生什么？

在现实世界中，有时你有照片但没有音频，或者有文本但没有图像。

类比：如果一个侦探团队失去了一名成员（例如，音频专家生病了），一个僵化的团队可能会停止工作。但由于该模型使用了“宽网”（t 分布）和“专家”方法，它仍然可以仅利用照片和文本做出良好的猜测。它将缺失的数据视为“软”信号，而不是硬性停止，从而允许它从不完整的样本中学习，而不会丢弃它们。

结果

作者在现实世界场景中测试了该模型：

手写数字与门牌号：两种图像类型的混合。
食物图片与食谱：照片和文本的混合。
视频、音频和文本：来自人们交谈的三种数据类型的混合。

在每一项测试中，特别是当“稀有”类别非常稀缺且数据缺失标签时，这种新模型的表现都优于现有方法。它特别擅长正确识别其他模型一直误判为“苹果”（多数类）的“稀有水果”（少数类）。

简而言之：本文构建了一种更智能、更灵活的人工智能，它利用专家团队、为稀有数据提供的宽安全网以及宽容的尺子，比以往的方法更好地从混乱、不完整和不平衡的信息中学习。

技术摘要：面向类别不平衡的半监督多模态深度生成模型

问题陈述
深度神经网络（DNN）在处理类别不平衡数据时往往表现不佳，倾向于多数类而在少数类上泛化能力较差。在半监督学习（SSL）设置中，这一问题因基于不平衡标签集生成未标记数据的伪标签而加剧，导致偏差被传播并强化。此外，现实世界数据通常是多模态的（结合图像和文本等多样化来源），但现有解决方案通常孤立地解决类别不平衡、多模态性或部分监督问题。很少有方法能同时应对这三个挑战的交集，而那些尝试的方法往往依赖缺乏领域特异性或需要大量计算资源的零样本基础模型。核心问题在于缺乏一个统一的框架，能够在类别分布不平衡的情况下，利用部分标记的多模态数据进行鲁棒训练。

方法论：SSMVAE-CI
作者提出了用于类别不平衡学习的半监督多模态变分自编码器（SSMVAE-CI）。这是一个统一的生成框架，集成了三个关键技术组件：

基于专家乘积（PoE）的多模态架构：
该模型扩展了半监督 VAE 框架以处理 $M$ 种模态（ $x_1, ..., x_M$ ）。它采用模态特定的编码器，共享一个包含连续潜在变量 $z$ 和离散类别变量 $y$ 的公共潜在空间。为了在不需指数级推理网络的情况下管理联合后验 $p(y, z | x_1, ..., x_M)$ 推断的复杂性，模型利用**专家乘积（PoE）**框架。该框架将联合后验近似为以先验专家为条件的各个模态后验的乘积，其数学形式为：
$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$
这使得跨多种模态的可扩展推理成为可能。
重尾分布（Student's t）：
为了解决类别不平衡问题，该模型用Student's t 分布替代了典型 VAE 中使用的标准高斯分布，用于先验、编码器和解码器。t 分布的重尾特性使模型能够在少数类样本所在的潜在空间稀疏区域保持不可忽略的概率密度。这防止了高斯先验常导致的对少数类样本的过度正则化，从而保留了语义有意义但代表性不足的模式。
$\gamma$ -幂散度目标函数：
作者推导了一个基于 $\gamma$ -幂散度的新目标函数，用于在标记和未标记数据上训练模型。
- 对于标记数据，该目标扩展了 $\gamma$ -损失（用于 t3VAE），以包含观测到的类别变量 $y$ 。
- 对于未标记数据，类别变量 $y$ 被视为潜在变量。该目标通过 $\gamma$ -散度对 $y$ 进行边缘化，推导出一个类似于证据下界（ELBO）的可行下界。
- 整体目标将生成损失与由超参数 $\alpha$ 加权的判别分类损失相结合，在平衡连贯的潜在表示与分类性能之间取得折衷。

主要贡献
该论文提出了五项主要贡献：

统一框架： 这是首个在单一概率框架内联合解决半监督、多模态性和类别不平衡的生成模型，调和了这些挑战不同的建模需求。
PoE 推理机制： 开发了一种支持跨多种模态的连续和离散潜在变量的 PoE 推理机制，实现了灵活且可扩展的建模。
广义重尾建模： 将 Student's t 分布的使用推广到多模态半监督设置中，通过重尾后验近似增强了对类别不平衡的鲁棒性。
新颖的目标函数： 推导了基于 $\gamma$ -幂散度的新训练目标，确保在不平衡分布下从标记和未标记数据中进行稳定且富有表现力的学习。
实证验证： 大量实验表明，在半监督、多模态和类别不平衡设置中，该模型始终优于基线方法。

实验结果
该模型在三个数据集上进行了评估：

MNIST-SVHN： 一个结合手写数字和房屋号码的合成多模态数据集。
UPMC Food-101： 一个包含食物图像和文本描述的真实世界数据集。
CMU-MOSEI： 一个包含视频、音频和文本模态用于情感分析的复杂数据集。

性能亮点：

卓越的准确率： SSMVAE-CI 在整体准确率和少数类准确率方面始终优于基线方法（包括结合 SSL、不平衡处理和融合策略的复合方法，如 CReST、Adsh 和 LDAM）。
对不平衡的鲁棒性： 在高不平衡比率（ $r=100$ ）和低标记数据比例（ $\beta=10\%$ ）下，性能提升最为显著。例如，在 $r=100$ 和 $\beta=10\%$ 的 MNIST-SVHN 上，该模型达到了 74.79% 的整体准确率和 59.07% 的少数类准确率，显著优于次优基线。
处理缺失模态： 在训练数据中一半样本缺失一种模态的实验中，SSMVAE-CI 在完整数据集（包括不完整样本）上训练，相比基线或仅在完整数据上训练的模型，其性能下降最小（整体准确率仅下降 2.08%）。这证明了该模型能够利用不完整样本作为训练信号。
消融研究： 移除 Student's t 分布（恢复为高斯分布）或 PoE 结构（恢复为简单融合）均导致性能显著下降，证实了这两个组件对于处理类别不平衡和多模态相关性是必要的。

意义与主张
该论文认为，SSMVAE-CI 为数据天然具有多模态性、部分标记且不平衡的领域提供了一种结构化、数据高效的方法。作者强调了其在医疗诊断（例如，结合 X 光片与患者病史，其中疾病病例罕见）和金融风险评估（例如，检测多模态交易数据中的欺诈）中的潜在应用。

作者保持了谦逊的理论立场，承认虽然该模型提供了广泛的实证验证，但由于概率组件的异质性，并未推导出正式的收敛或泛化保证。然而，他们断言，统一的概率公式确保了半监督多模态学习的理论一致性，同时保持了对类别不平衡的鲁棒性，填补了 MVAE 或 t3VAE 单独无法填补的空白。未来的工作提议解决标记集和未标记集之间的分布不匹配问题。

1. “专家团队”方法（多模态编码器）

2. “重尾”安全网（学生 t 分布）

3. “智能猜测”游戏（Gamma 幂散度）

4. 当数据缺失时会发生什么？

结果

技术摘要：面向类别不平衡的半监督多模态深度生成模型

类似论文