Represent, Then Generate: Multimodal-Conditioned Time-Series Generation under Irregular Missingness
本文介绍了 ReCoGen，这是一个将条件表示与生成过程解耦的两阶段多模态框架，用于从异构且不规则缺失的临床数据中合成缺失的生理信号，并在多个基准测试中实现了卓越的下游效用。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图预测天气，但你手里只有一个一旦下雨就会停止工作的坏掉的温度计，一个只有在周二才会旋转的风速计，还有一份关于去年夏天空气“感觉”如何的祖母日记。在医学科学领域，医生每天都面临着类似的谜题。他们依赖于持续的数据流——比如心跳、血糖水平和呼吸频率——来确保患者的安全。这些被称为“生理时间序列”。把它们想象成身体的现场直播，一部关于一个人状况的无间断电影。然而，这部广播往往充满了静电噪声、缺失的场景，或者信号消失的空白。有时，最重要的“摄像机”（比如测量动脉内血压的传感器）对于每个人来说都过于具有侵入性或过于昂贵，因此医生只能尝试根据他们现有的其他不完美的摄像机来猜测那部缺失的电影是什么样的。
这就是“条件生成”（conditional generation）领域发挥作用的地方。它就像一位超级聪明的 AI 艺术家，试图利用来自其他摄像机的线索来绘制出电影缺失的部分。其目标是创造出一个如此逼真且有用的伪造信号，以至于医生可以像使用真实信号一样利用它来及早发现危险。但问题在于，大多数 AI 艺术家被训练为一次只能处理一种类型的线索，或者当线索在不同时间到达或具有不同类型的缺失部分时，它们会感到困惑。它们试图将所有东西搅在一起变成一堆乱七八糟的东西，这往往会导致一幅模糊且毫无用处的画作。
于是，由研究员张浩晨（Haochen Zhang）及其团队提出的新方法 ReCoGen（表示，然后生成）登场了。他们意识到，在画出一幅杰作之前，你首先需要了解原材料。ReCoGen 没有将所有混乱、破碎的数据直接扔进生成器，而是使用了一种两步走的“清理并创建”策略。首先，它将每种类型的信号（如心率或血糖）视为一个独立的特殊拼图。它使用了一个“掩码自编码器”——你可以把它想象成每个信号专属的侦探——这个侦探学习仅利用该特定信号周围的上下文来填补其中的缺失部分。这个侦探将杂乱、不规则的数据转化为一份整洁、紧凑的“标记”（tokens）列表（就像是一份摘要笔记），这份列表是稳健且准备就绪的。
一旦这些侦探完成了工作，第二阶段就开始了。一个强大的“流匹配”（flow-matching）生成器利用这些整洁的摘要笔记，连同患者的静态信息（如年龄或病史），合成缺失的目标信号。研究人员在三个不同的医学数据集上测试了它，包括糖尿病的连续血糖监测和重症监护室的血压监测。他们发现，ReCoGen 在创建有用信号方面明显优于其他六种领先的方法。事实上，在十六个不同的测试场景中的十三个场景中，ReCoGen 创建的信号在用于预测败血症或心力衰竭等严重健康事件时，与真实信号一样好，甚至更好。
论文指出，秘诀不仅在于生成部分，还在于如何表示这些条件。通过将“理解”阶段与“创建”阶段分离，并使用一种特殊的注意力机制来混合不同类型的线索，ReCoGen 成功地将常规、不完美的信号转化为了那些具有侵入性或无法获取的信号的高质量替代品。虽然作者指出，这并不意味着伪造信号是现实的完美副本（它可能只是医生已有的信息的更清晰版本），但这证明了这种两阶段方法是迈向更少侵入性、更低成本且更连续的健康监测的重要一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。