💻 computer science

LARGO: Low-Rank Hypernetwork for Handling Missing Modalities

LARGO 是一种新颖的低秩超网络，它通过对卷积权重进行典型张量分解，将多个专用模型压缩为单一网络，从而解决多模态图像分析中缺失模态的挑战，并在多种医疗和非医疗数据集上实现了最先进的性能。

原作者： Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名医生，正在尝试诊断脑肿瘤。通常，你拥有全套工具：四种不同类型的磁共振成像（MRI）扫描（就像从四个不同角度拍摄照片，或使用四种不同的滤镜）。当你拥有全部四种扫描时，诊断既简单又准确。

但在现实世界中，情况往往会出问题。也许某种特定扫描的机器坏了，患者无法保持足够长时间的静止以完成第二次扫描，或者医院根本没有相关设备。突然间，你只拥有一两种扫描。大多数被训练用于诊断肿瘤的计算机程序（AI 模型）在缺乏全套工具时会感到困惑或直接失效。它们就像一位厨师：只有当厨房里拥有所有食材时，才能烹制出完美的菜肴；如果缺少了盐，他就无法制作汤。

旧方法：一位厨师对应一道食谱

传统上，为了解决这个问题，研究人员主要尝试了两种方法：

“万事通”厨师：训练一个巨大的 AI 来处理任意组合的缺失扫描。问题在于，这位厨师会感到困惑。他试图擅长所有事情，结果却在特定任务上表现平庸。
“专家”团队：为每一种可能的组合训练一个独立的、完美的 AI（例如，一个仅针对"T1"的 AI，另一个仅针对"T2"的 AI，另一个针对"T1 和 T2"的 AI，等等）。如果有 4 种扫描类型，就会有 15 种不同的组合。这意味着你需要 15 个不同的 AI 模型。这就像为了处理不同的缺失食材而雇佣 15 位不同的厨师。这会占用巨大的存储空间和计算能力，使得医院难以实际应用。

新方案：LARGO（“魔法蓝图”）

本文作者提出了一种名为LARGO的巧妙新系统。与其雇佣 15 位厨师或训练一位困惑的厨师，他们构建了一个“魔法蓝图生成器”。

以下是其工作原理，使用一个类比：

1. 食谱家族
想象一下，所有 15 种不同的“专家”AI 实际上非常相似。它们都知道如何观察大脑，都知道如何识别肿瘤，并且都使用相似的“数学食谱”（权重）来做到这一点。唯一的区别在于它们正在查看哪种扫描。

2. 压缩技巧（CP 分解）
作者们意识到，由于这 15 个模型如此相似，它们充满了冗余。这就像拥有 15 本书，其中 90% 的文本完全相同，只有章节标题不同。
LARGO 使用一种称为典型多线性（CP）分解的数学技巧。你可以将其想象为将这 15 本书压缩成一本单一的、微小的“主蓝图”。

这份主蓝图并不存储 15 个独立的模型。
相反，它存储了几个“因子矩阵”（就像一套乐高积木和一套说明）。
其中一套特定的说明会告诉蓝图：“如果患者只有T2 扫描，请使用这些特定的积木组装模型。”

3. “按需”构建
当患者带着缺失的扫描到来时，LARGO 系统无需加载新模型。它只需查看主蓝图，读取针对该特定缺失场景的说明，并即时重建出针对该确切情况的完美、专用 AI 模型。

这就像拥有一台 3D 打印机，可以在几秒钟内打印出针对特定工作的特定工具，而不是在仓库里囤积所有可能的工具。

他们证明了什么？

研究人员在真实的医疗数据上测试了这个“魔法蓝图”：

脑肿瘤（BraTS 2018）：他们在 15 种不同的缺失 MRI 扫描场景下进行了测试。与现有最佳方法相比，LARGO 在15 种场景中的 14 种里在诊断肿瘤方面表现最佳。
中风检测（ISLES 2022）：他们在 7 种不同的缺失中风扫描场景下进行了测试。LARGO 在所有 7 种场景中均表现最佳。
非医学测试（avMNIST）：为了证明这不仅仅是一个医学技巧，他们在图像和音频的混合数据上进行了测试（例如，从图片和声音中识别数字）。在那里它同样表现良好，表明该方法具有灵活性。

核心结论

LARGO 是一种无需承担存储 15 个不同模型的成本，却能获得 15 个不同 AI 模型专用性能的方法。它通过认识到这些模型是“表亲”而非“陌生人”，并将它们压缩成一个单一、高效的“权重空间”蓝图来实现这一目标，该蓝图可以在需要时即时重建正确的模型。

该论文声称，与当前最先进的方法相比，这带来了更高的准确率（更好的诊断）和更好的效率（更少的计算机内存需求），且无需复杂的多步训练或“幻觉”式地生成虚假数据来填补空白。

技术摘要：LARGO（处理缺失模态的低秩超网络）

问题陈述

在多模态图像分析中，特别是在医学成像领域（例如脑肿瘤分割、卒中病灶检测），由于设备限制、扫描时间限制或患者状况，往往无法获取所有可用的模态。这导致在推理过程中模态集合不完整。标准的深度学习模型若缺乏明确的架构设计，难以应对此类缺失输入。

现有方法在专业化与可扩展性之间面临根本性的权衡：

单模型方法（例如零值填补、共享编码器）迫使单个网络处理所有 $2^N - 1$ 种模态组合，往往以牺牲特定配置的性能为代价。
专用模型（为每种组合训练单独的模型）最大化了专业化程度，但在存储和计算成本上呈指数级增长。
生成式和蒸馏方法存在生成临床危险特征的幻觉风险，或需要复杂的多阶段训练。

大多数当前解决方案在特征空间中运行，通过构建鲁棒的表示来处理缺失输入。本文提出在权重空间中运行，以解决为不同模态子集训练单独模型所固有的冗余问题。

方法论：LARGO

作者提出了LARGO（处理缺失模态的低秩超网络，Low-rAnk hypeRnetwork for missinG mOdalities），这是一个超网络框架，它将 $2^N - 1$ 个专用缺失模态模型族压缩为单个网络。

核心架构

超网络公式：LARGO 不学习 $M = 2^N - 1$ 组独立的权重，而是构建一个单一的超网络 $H_\phi$ ，该网络隐式地包含所有专用模型 $\{F_{\theta(m)}\}_{m=1}^M$ 。
张量分解（CPD）：该方法利用了一个观察结果，即共享相同模态访问权的模型学习到了相似的模式，这意味着参数存在冗余。LARGO 将所有 $M$ $M$ 个专用模型的卷积权重沿一个新的“模型维度”堆叠，并应用典型多线性（CP）张量分解。
- 权重张量 $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ 被分解为因子矩阵 $A, B, C, D$ 。
- 因子矩阵 $A$ 索引模态组合，而 $B, C, D$ 分别代表输入通道、输出通道和核维度。
低秩重参数化：
- 内部层：卷积层使用 CP 分解进行重参数化。秩 $R$ 的选择旨在保持与单个专用模型相当的参数预算（实现 $1/M$ 的压缩率）。
- 茎层和头层：这些层保持未压缩状态，以保留输入/输出的灵活性，尽管与内部层相比，它们的参数贡献微乎其微。
推理：在推理过程中，对于特定的模态组合 $m$ ，超网络通过收缩因子矩阵（具体为选择因子矩阵 $A$ 的第 $m$ 行）来重建专用的卷积权重 $W^{(m)}$ 。这避免了对其他模态子集未使用参数的计算。

训练过程

损失函数：模型使用标准分割损失（ $L_{Dice} + L_{CE}$ ）进行训练。
策略：训练采用随机模态丢弃结合全模态引导。在每次迭代中，采样一个子集 $m$ 以最小化该特定缺失模态场景的损失，同时使用全模态输入的项确保网络在整个训练过程中由完整数据引导。
初始化：因子矩阵 $B, C, D$ 通过 Kaiming 正态分布初始化；矩阵 $A$ 初始化为全 1。权重从头开始训练，而非源自预训练权重。

主要贡献

新颖的超网络公式：LARGO 是首个利用 CP 分解将整个 $2^N - 1$ 个专用缺失模态模型族的核权重联合重参数化为单一、参数高效表示的方法。
权重空间操作：与特征空间方法不同，LARGO 直接在权重空间中运行，将指数级模型族压缩为单一压缩权重流形，无需辅助损失、教师网络或多阶段训练。
最先进性能：该方法在医学成像基准测试中取得了优越的结果，同时保持了与单个专用模型相当的参数量。

实验结果

数据集与场景

BraTS 2018：4 种模态（FLAIR, T1, T1c, T2），15 种缺失模态场景。任务：脑肿瘤分割（WT, TC, ET）。
ISLES 2022：3 种模态（DWI, ADC, FLAIR），7 种缺失模态场景。任务：卒中病灶分割。
avMNIST：2 种模态（图像、音频），3 种场景。任务：分类（针对非医学异构模态的概念验证）。

定量性能

BraTS 2018：LARGO 在 15/15 种场景的**全肿瘤（WT）中排名第一，在肿瘤核心（TC）中排名 11/15，在增强肿瘤（ET）**中排名 14/15。
- 相比基线（mmFormer, M³AE, ShaSpec, SimMLM）的平均 Dice 提升：+0.68%（WT），+2.53%（TC），以及在 ET 上的显著增益。
- LARGO 实现的平均 Dice 为：87.05%（WT），79.35%（TC），以及62.83%（ET）。
ISLES 2022：LARGO 在所有 7 种场景中排名第一。
- 平均 Dice：62.67%，优于次优结果（M³AE 为 60.14%）。
- 在困难的单模态案例中取得了显著增益（例如：仅 ADC：42.49% vs. 40.03%）。
avMNIST：LARGO 实现了最高的平均准确率（97.00%），比最接近的竞争对手高出 +0.44%，证明了其在异构非医学模态任务中的适用性。

效率与复杂度

参数效率：LARGO 保持了与单个专用模型相当的参数量（例如在 BraTS 2018 上为 22.6M），同时隐式地表示所有 15 个专用模型。这比 ShaSpec（1.877 亿参数）显著更高效，并与其他基线相当。
计算开销：与单个 nnU-Net 骨干网络相比，动态权重重建引入了 GFLOPs 增加 24.6% 和 峰值 VRAM 增加 25.1%。作者指出这是可以接受的，因为缺失模态模型通常无论如何都会引入额外的操作。
可扩展性：该方法对于 $N \lesssim 10$ 种模态是实用的，因为未压缩的茎层/头层（呈指数增长）在总参数中仍占微不足道的比例。

意义与主张

本文声称，LARGO 弥合了专用模型的专业化与单模型方法的可扩展性之间的差距。通过利用张量分解跨模态特定模型中的卷积核结构相似性，LARGO 消除了对指数级存储和计算扩展的需求。

作者将 LARGO 定位为一种原则性的超网络框架，它：

避免了生成式填补的“幻觉”风险。
避免了共享编码器架构的性能妥协。
无需复杂的训练流程（例如知识蒸馏）即可实现最先进的结果。

avMNIST 上的概念验证表明，该方法的潜力超越了医学成像，可扩展至任何涉及具有缺失数据的异构模态的任务。作者总结称，未来的工作将探索更具表现力的非线性超网络公式以及向基于 Transformer 架构的扩展。