📊 statistics

iStructTab: Structured Feature Sequencing for Multimodal Learning of Image and Tabular Data

该论文介绍了 iStructTab，这是一个采用图增强描述符序列化（GEDS）技术通过相似性图优化特征顺序，并将该结构集成到顺序感知 Transformer 中的多模态学习框架，从而减少了特征离散度，并显著提升了在图像和表格数据基准测试上的预测性能。

原作者： Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Gyawali, Gianfranco Doretto, Donald A. Adjeroh

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Gyawali, Gianfranco Doretto, Donald A. Adjeroh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人理解世界。你给了它两种截然不同的信息：一张场景的照片和一份关于该场景事实的电子表格。这被称为“多模态学习”（multimodal learning），它是计算机尝试像人类一样结合视觉与认知来思考的方式。但这里有一个棘手之处：照片具有天然的顺序。天空通常在上方，地面在下方，树木的枝干之下是根部。计算机知道该看哪里。然而，电子表格则是另一回事。一份事实列表——比如一个人的年龄、最喜欢的颜色以及鞋码——并没有内置的地图。计算机不知道它应该先看年龄还是先看鞋码。长期以来，科学家们只是将这些事实以它们被记录下来的任何顺序扔进计算机里，希望机器能自行搞定。但通常情况下，计算机会感到困惑，混淆重要的线索并忽略全局。

这篇论文通过提出一个简单的问题解决了这种困惑：“事实的顺序重要吗？”作者建议，就像按流派排列书籍可以帮你更快找到它们一样，按照数据列之间的相关性来排列数据，可以帮助计算机更好地学习。他们提出了一种新方法，在计算机开始学习之前先对这些事实进行排序，将一堆杂乱无章的信息转化为一个整洁、逻辑清晰的故事。通过这样做，他们希望构建出更聪明的 AI，使其能够结合图像和数据，而不至于在噪声中迷失方向。

核心理念：整理混乱的堆积物

认识一下 iStructTab，这是一个全新的 AI 工具，旨在成为那些既看图片又看电子表格的计算机的终极组织者。研究人员发现，当你将图像数据（如汽车的照片）与表格数据（如汽车的年份、颜色和里程）混合在一起时，计算机往往会感到应接不暇。这就像是在读一本页面被随机打乱的书；你或许能明白大意，但会错过剧情。

核心问题在于电子表格是“无序的”。计算机将第一列和最后一列视为随机的邻居。但在现实中，有些事实是“好朋友”，而另一些则是“陌生人”。作者认为，如果我们能弄清楚向计算机呈现这些事实的最佳顺序，它学习的速度会更快，犯错也会更少。

侦探工作：GEDS

为了解决这个问题，团队发明了一种聪明的排序算法，称为 GEDS（图增强描述符序列化，Graph-Enhanced Descriptor Sequencing）。可以将 GEDS 想象成一个超级聪明的侦探，走进一个充满散乱线索的房间。

收集线索： 首先，GEDS 查看每一列数据。它不仅仅是读取数字；它还会计算每一列的“统计指纹”。它会问：“这一列的变化程度有多大？它的平均值是多少？”
绘制地图： 接下来，它绘制一张连接各列的地图（图谱）。如果两列非常相似或相关，它就会画一条强有际的线；如果它们完全不同，线条就会很弱。
伟大的洗牌： 利用这张地图，GEDS 找出了完美的顺序。它重新排列这些列，使相关性最强的各种事实紧挨在一起，从而创造出一种平滑、逻辑连贯的流动感。这就像是整理播放列表，让氛围相似的歌曲连续播放，而不是从重金属音乐突然跳到摇篮曲。

论文表明，这不仅仅是一个猜测；它是针对一个被称为“列排列问题”（Column Permutation Problem）的复杂谜题的数学解决方案。虽然为计算机寻找完美顺序极其困难（难到被认为是“NP-hard”问题），但 GEDS 找到了一个非常好的、在现实生活中行之有效的实用方案。

课堂教学：OEMT

一旦 GEDS 排序好了数据，它就会将这份整齐排列的列表交给系统的第二个部分，称为 OEMT（带有记忆增强的顺序感知高效 Transformer，Order-Aware Efficient Transformer with Memory Augmentation）。

想象一个正在考试的学生。如果题目被打乱了，学生可能会感到困惑。但如果题目顺序逻辑清晰，学生就可以利用记忆来建立联系。OEMT 就是那个聪明的学生。它有一个特殊的“记忆标记（memory token）”——就像在脑海里贴了一张小便利贴——用来记住整个数据集的全局上下文。由于数据已经由 GEDS 进行了排序，这个“学生”可以专注于学习图像与事实之间的深层联系，而不是把精力浪费在试图理清顺序上。

该系统在训练时遵循一个特殊规则：如果它尝试以不同于 GEDS 建议的顺序来学习数据，它会受到“惩罚”（损失函数）。这迫使 AI 必须尊重结构，并正确地学习其中的关系。

结果：更聪明，更快速

研究人员在六个不同的真实世界数据集上测试了 iStructTab，涵盖了从识别汽车型号、宠物领养速度到通过 X 光片和皮肤图像诊断医疗状况等领域。

更高的准确度： 在几乎所有的测试中，iStructTab 都击败了以往表现最好的方法。例如，在一个包含汽车图像和属性的数据集上，它取得了显著优于其他顶尖模型的排名。它不仅是微弱领先，而是始终稳居排行榜榜首。
处理噪声的能力： 现实世界的数据是混乱的。有时标签是错误的（比如把狗的照片标注为猫）。论文显示，iStructTab 对这类噪声具有很强的韧性。即使 60% 的标签出错，它的表现仍然优于其他方法，这表明它学习的是真实的模式，而非仅仅死记硬背错误。
效率： 你可能会认为，排序数据并使用复杂的 Transformer 会让计算机变慢。令人惊讶的是，iStructTab 实际上非常高效。它比许多竞争对手消耗更少的计算资源（如能量和内存），同时还能获得更好的结果。这就像是一辆速度更快且更省油的车。

这意味着什么

论文表明，我们喂给 AI 的数据方式与 AI 本身同样重要。通过将数据列的排序视为一个可解的谜题，作者证明了我们可以构建出更准确、更具鲁棒性（抗干扰能力）且更高效的模型。

他们不仅提出了“顺序很重要”这一观点，还开发了一个能自动确定顺序的工具，并证明了它在从医学影像到宠物领养等不同类型问题上的有效性。虽然论文并未声称解决了 AI 的所有问题，但它强烈暗示：忽视数据的结构是我们再也无法承受的错误。有了像 iStructTab 这样的工具，我们距离实现能够真正理解图片与电子表格中隐藏的复杂故事的 AI 又近了一步。

iStructTab 技术摘要：用于图像与表格数据多模态学习的结构化特征序列化

1. 问题陈述

涉及图像和表格数据的多模态学习面临着由于模态间结构不匹配而产生的重大挑战。图像具有强大的空间结构，而表格特征本质上是无序的。这种表格数据中缺乏顺序性的问题通常会导致表示效率低下，表现为冗余、特征分散以及泛化能力差。现有的融合方法虽然利用了注意力机制、上下文嵌入和对比预训练，但它们在很大程度上将融合后的描述符视为无序向量，忽视了特征序列化对跨模态对齐和预测性能的潜在影响。作者认为，在混合图像-表格设置中，确定最优特征顺序是一个关键但被忽视的因素。

2. 方法论

提出的框架 iStructTab 通过将多模态特征排序建模为一个列排列问题 (Column Permutation Problem, CPP) 来解决这一挑战。该架构由两个主要部分组成：

A. 图增强描述符序列化 (Graph-Enhanced Descriptor Sequencing, GEDS)
GEDS 是一种结构化特征序列化算法，旨在确定一个最优的特征排列 ( $\pi$ )，以最小化特征间的离散度。该过程包括：

特征提取： 使用 CNN（如 ResNet）将图像编码为向量，并通过 Transformer 对表格数据进行编码。将这些特征拼接形成统一的特征矩阵 $F \in \mathbb{R}^{N \times m}$ 。
描述符计算： 为每个特征列计算统计描述符（均值和方差）。
图细化： 对这些描述符进行归一化，并构建余弦相似度矩阵。应用图卷积操作来细化描述符，在特征图中传播相似性信息。
序列化： 从细化后的描述符的欧几里得范数中导出排序得分。根据这些得分对特征进行排序，以生成优化的排列 $\pi_{GEDS}$ 。这一过程有效地将序列化任务视为一个可学习的 CPP，寻求一种能够减少离散度并增强结构连贯性的排列。

B. 带有记忆增强的序感知高效 Transformer (Order-Aware Efficient Transformer with Memory Augmentation, OEMT)
OEMT 是旨在处理重排后的特征并保留其结构序列的骨干网络：

序感知池化： 将重排后的输入特征投影为 Token 嵌入，并使用可学习的池化矩阵将其压缩为更少数量的摘要 Token ( $k \ll m$ )。这一步强制执行了特征序列化结构。
记忆增强： 在池化后的 Token 前添加可学习的记忆 Token，以促进全局推理并捕捉有序特征之间的交互。
高效编码： 使用基于 Linformer 的编码器处理序列，将计算复杂度从相对于序列长度的二次方降低到线性。
序列化损失： 引入了一个专门的损失函数，使学习到的表示与目标排列对齐。该损失函数惩罚预测的序列化得分与来自 GEDS 的目标序列之间的偏差，从而鼓励一致的特征语义和可解释性。

模型使用包含用于分类的交叉熵和序列化正则化项的组合损失函数进行端到端训练。

3. 核心贡献

论文概述了四个主要贡献：

在多模态学习中提出 CPP 概念： 作者将多模态融合定义为一个列排列问题，展示了特征排序如何影响混合表格-图像设置中的表示学习。
引入 GEDS： 一种新型的图增强描述符序列化算法，利用相似性传播来生成任务感知的特征排列。
设计 OEMT： 一种高效的 Transformer 架构，通过可学习的记忆 Token 和序列感知损失函数显式地强化特征序列化。
实证验证： 在多种基准数据集上的广泛实验表明，与最先进的基线方法相比，iStructTab 显著提高了分类准确率、鲁棒性和效率。

4. 实验结果

作者在六个图像-表格数据集上评估了 iStructTab，包括 DVM（带有属性的汽车图像）、Deep Lesion、HAM10000、CheXpert、Pokémon 和 Pet Finder。

性能： iStructTab 在所有基准测试中均取得了最佳整体性能，获得了最高的平均排名 (1.50) 和最低的平均遗憾值 (2.21)。它超越了强大的多模态基线方法（如 STiL 和 TIP），也优于仅图像和仅表格的分类器。
鲁棒性： 该模型展示了卓越的标签噪声鲁棒性，在各种噪声率下均优于以往的方法（如 CUFIT），尤其是在严重损坏（60% 噪声）的情况下。
效率： 在 DVM 数据集上，iStructTab 实现了最佳的准确率-效率权衡，位于低复杂度/高准确率的帕累托前沿（Pareto frontier）。与其它多模态方法相比，它在保持接近最大准确率的同时，使用了更少的 FLOPs 和参数。
消融实验：
- 去除特征序列化导致性能大幅下降（从约 99% 降至约 81%），证实了排序信号的必要性。
- 去除记忆 Token 导致性能大幅下降，凸显了它们在捕捉全局上下文方面的作用。
- 序列化损失提供了有益的正则化，尽管其移除带来的影响比移除序列化本身要小。
表示质量： t-SNE 可视化表明，iStructTab 学习到了连贯的流形，其中语义相关的案例聚集在一起，并具有清晰的跨模态对齐，这在 HAM10000 数据集中表现尤为明显。

5. 重要性与主张

论文声称，结构化特征序列化是多模态学习中一个关键且此前被忽视的因素。通过将特征排序视为一个可求解的优化问题（CPP）而非任意假设，iStructTab 有效地最小化了特征离散度，并改善了图像与表格模态之间的对齐。

作者强调，他们的方法不仅仅是融合数据，而是在处理之前对其进行结构化组织。这种结构化先验被证明对于在混合设置中实现稳定且鲁棒的深度学习至关重要。这项工作表明，未来的多模态系统应考虑显式的特征序列化，以超越标准的无序融合策略，从而增强预测性能和泛化能力。论文总结道，iStructTab 为图像-表格学习提供了一个可扩展、高效且高度有效的解决方案，并具有扩展到更大规模预训练及更多模态的潜力。