🤖 AI

Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification

本文提出了一种结合图卷积网络（GCN）的层次化视觉 Transformer（GCN-HViT）模型，通过 GCN 提取局部特征并构建二维位置嵌入以弥补传统 ViT 在空间结构建模上的不足，同时利用层次化架构有效融合多尺度 patch 信息，从而在图像分类任务中实现了最先进的性能。

原作者： Haibin Jiao

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haibin Jiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种新的图像识别方法，叫做 GCN-HViT。为了让你更容易理解，我们可以把“让电脑识别图片”想象成让一个学生去观察一幅巨大的拼图。

传统的电脑看图片（比如 ViT 模型）和这篇论文提出的新方法（GCN-HViT）有什么不同呢？我们用几个生动的比喻来拆解它。

1. 传统方法的痛点：要么“管中窥豹”，要么“只见森林”

以前的方法（Vision Transformer, ViT）在看图片时，会把图片切成很多小块（Patch，就像拼图碎片）。

切得太小（小碎片）： 就像学生只盯着拼图的一小块看。虽然能看清局部的纹理（比如猫耳朵的毛），但很难看出整张图是只猫还是只狗。而且碎片太多，学生看得太累，算得太慢。
切得太大（大碎片）： 就像学生只看四块大拼图。虽然能大概看出轮廓，但细节全糊了，分不清是猫还是狐狸。
位置记不住（1D 位置编码）： 以前的方法给拼图碎片贴标签时，就像给一排排人发号码牌（1, 2, 3...）。它只知道“这个在下一个前面”，但不知道“这个在左上角，那个在右下角”。对于二维的图片来说，这种记法不够聪明，容易搞混空间关系。

2. 这篇论文的核心创意：分层观察 + 邻里互助

作者提出了两个绝招来解决上述问题：

第一招：分层观察（Hierarchical ViT）——“先微观，后宏观”

想象一下，这个学生不再是一次性只看一种大小的拼图，而是分两步走：

第一步（微观）： 先把图片切成很多小碎片，仔细观察每一块的细节（比如纹理、颜色）。
第二步（宏观）： 把几个小碎片拼成大碎片，再观察这些大碎片之间的关系（比如整体形状）。

比喻： 就像看地图，先看街道的细节（小碎片），再看整个街区的布局（大碎片）。这样既保留了细节，又理解了整体结构。

第二招：邻里互助（Graph Convolutional Network, GCN）——“左邻右舍聊聊天”

这是这篇论文最精彩的地方。以前的方法给拼图贴标签时，只是机械地按顺序编号。
而新方法（GCN）给每个拼图碎片找邻居。

怎么做？ 想象每个拼图碎片是一个“居民”。GCN 让每个居民去和它上下左右的邻居“聊天”。
聊什么？ 邻居们互相交换信息：“嘿，我左边是红色的，上面是蓝色的。”
结果： 每个碎片在拿到自己的信息后，还融合了邻居的信息。这样，它不仅能代表自己，还能代表它周围的空间关系。
作用： 这些融合了邻居信息的“聊天结果”，就变成了2D 位置标签。它不再只是"1 号、2 号”，而是“我在左上角，我的邻居是红色”。这让电脑真正理解了图片的空间结构。

3. 这个新方法（GCN-HViT）是怎么工作的？

我们可以把这个过程想象成一个超级侦探破案：

收集线索（切图）： 侦探把案发现场（图片）切成很多小碎片。
微观侦查（第一层）： 侦探先派小助手去观察每个小碎片的细节。
邻里串供（GCN 介入）： 小助手们互相交流，确认谁在谁旁边，把周围的环境信息融合进自己的报告里。这比单纯记“我是第几个”要聪明得多。
宏观汇总（第二层）： 侦探把几个小碎片的报告合并成大报告，观察整体局势。
最终判决（分类）： 结合微观细节和宏观布局，侦探准确地说出：“这是一只猫！”

4. 实验结果怎么样？

作者在三个真实的“拼图游戏”数据集（手写数字、衣服、简笔画）上做了测试。

结果： 这个新方法（GCN-HViT）的表现比以前的老方法（ViT）和中间版本（Hierarchical ViT）都要好。
有趣发现： 作者发现，让邻居们“双向交流”（互相看）比“单向交流”（只看右边和下边）效果更好，但有时候太复杂的交流反而不如简单的有效（这取决于具体怎么设计）。

总结

简单来说，这篇论文做了一件很聪明的事：
它没有让电脑死板地按顺序看图片，而是教电脑像人眼一样：

分层看：既看细节，也看整体。
看关系：不仅看自己，还看“邻居”，从而真正理解图片在二维空间里的结构。

这就好比以前是按名单点名，现在是开社区座谈会，大家互通有无，自然就能更准确地认出图片里到底是什么了。

论文技术总结：基于图卷积网络增强的分层视觉 Transformer (GCN-HViT)

1. 研究背景与问题定义

本文针对现有的视觉 Transformer (ViT) 和图卷积网络 (GCN) 在图像分类任务中存在的局限性，提出了GCN-HViT（Hierarchical Vision Transformer Enhanced by Graph Convolutional Network）。

现有方法面临的关键挑战：

Patch 尺寸选择的困境：ViT 的 Patch 尺寸对预测精度至关重要。小 Patch 能捕捉局部特征但缺乏全局信息，且计算成本高；大 Patch 包含丰富信息但会平滑掉局部纹理，降低对细节的敏感度。如何有效结合不同尺寸的 Patch 是一个难题。
位置编码的局限性：标准 ViT 使用一维 (1D) 可学习位置编码，仅保留了 Patch 在序列中的顺序，无法准确捕捉图像在二维空间中的空间结构信息。
局部与全局信息的割裂：
- GCN：擅长捕捉节点间的局部连接关系，但缺乏捕捉全局图结构信息的能力。
- ViT：通过自注意力机制 (Self-Attention) 建模全局关系，但难以有效建模图像的局部结构。

2. 核心方法论 (GCN-HViT)

该模型采用两阶段流程，旨在融合 ViT 的全局建模能力和 GCN 的局部结构捕捉能力。

2.1 分层视觉 Transformer (Hierarchical ViT)

为了模拟人类视觉从微观到宏观的感知过程，并解决 Patch 尺寸问题，作者设计了一个分层架构：

层级结构：将图像在二维空间中聚合为不同层级的 Patch。
- Level 1 (小 Patch)：将原始图像分割为 16 个小 Patch，通过 CNN 提取特征，形成小 Patch 嵌入序列。
- Level 2 (大 Patch)：将 Level 1 的特征图重塑 (Reshape) 并聚合为 4 个大 Patch，再次通过 CNN 提取特征，形成大 Patch 嵌入序列。
交互机制：
- 层内全局交互：在每个层级内部，利用 Transformer 编码器（包含多头自注意力 MHSA 和 MLP）建模 Patch 间的全局信息交互。
- 跨层级关系建模：通过从 Level 1 到 Level 2 的特征聚合，显式地建模小 Patch 与大 Patch 之间的层级关系。

2.2 图卷积网络 (GCN) 作为位置编码与局部特征提取器

作者提出用 GCN 替代传统的 1D 位置编码，以解决空间结构信息丢失的问题：

图构建：将 2D 空间中的图像 Patch 视为图的节点，相邻 Patch 之间存在邻接关系，构建邻接矩阵。
功能：
1. 局部特征提取：GCN 对每个 Patch 及其邻域进行加权平均计算，提取包含局部连通性信息的特征表示。
2. 2D 位置编码：将 GCN 输出的局部特征表示作为2D 位置嵌入 (2D Position Embedding)，直接加到 Patch 嵌入中。
优势：这种方法不仅保留了 Patch 的局部结构信息，还增强了每个 Patch 的局部特征表示，弥补了 ViT 在局部建模上的不足。

2.3 整体流程

输入图像被分割并编码为 Level 1 的小 Patch 序列。
利用 GCN 生成 Level 1 的 2D 位置编码 ( $E_{Pos1}$ ) 并加入序列，输入 Level 1 Transformer。
Level 1 输出重塑为特征图，聚合为 Level 2 的大 Patch 序列。
利用 GCN 生成 Level 2 的 2D 位置编码 ( $E_{Pos2}$ ) 并加入序列，输入 Level 2 Transformer。
添加分类 Token，通过分类头输出预测结果。

3. 主要贡献

分层结构建模：设计了分层 ViT 架构，能够在每个层级内建模全局 Patch 交互，并在不同层级间建模小 Patch 与大 Patch 的层级关系，有效解决了单一 Patch 尺寸的限制。
创新的 2D 位置编码：提出了一种基于 GCN 的新型位置编码方法。该方法将 GCN 作为局部特征提取器，生成的局部表示作为 2D 位置嵌入，显著优于传统的 1D 位置编码，能够更准确地捕捉图像的空间结构。
模型性能与简洁性：构建了一个既综合了 ViT 和 GCN 优势，又结构清晰、原理简洁的模型。实验证明其在多个数据集上达到了 SOTA (State-of-the-Art) 水平。

4. 实验结果

作者在三个真实世界数据集（MNIST, Fashion-MNIST, Quick Draw）上进行了实验，并与 ViT-4, ViT-16, 分层 ViT (HViT) 等基线模型进行了对比。

数据集：
- MNIST (28x28, 10 类)
- Fashion-MNIST (28x28, 10 类)
- Quick Draw (64x64, 10 类)
关键发现：
- HViT vs ViT：分层 ViT 优于标准 ViT，证明了建模小 Patch 与大 Patch 层级关系的重要性。
- GCN-HViT vs HViT：引入 GCN 后，模型在所有数据集上均取得了更高的准确率。
- 邻接矩阵方向性：实验对比了单向邻接矩阵 (GCN-HViT-1) 和双向邻接矩阵 (GCN-HViT-2)。结果显示，GCN-HViT-1 (单向) 表现优于 GCN-HViT-2。这表明在位置编码中，单向邻接关系提取的信息更为有效，双向关系可能引入了冗余或噪声。
最佳性能：GCN-HViT-1 在三个数据集上均取得了最高准确率（例如在 Fashion-MNIST 上达到 90.26%，Quick Draw 上达到 86.55%）。

5. 意义与未来展望

意义：
GCN-HViT 成功地将 ViT 的全局上下文建模能力与 GCN 的局部结构感知能力相结合。它通过分层架构解决了 Patch 尺寸选择的难题，并通过 GCN 生成的 2D 位置编码解决了传统 ViT 空间结构信息丢失的问题。这为视觉 Transformer 的设计提供了新的思路，即利用图结构来增强对图像局部几何结构的理解。

未来工作：

将框架扩展至高分辨率图像分类任务。
将当前的两级分层框架扩展为多级分层框架，以捕捉更丰富的尺度信息。
将该方法推广到其他视觉任务，如语义分割和图像生成。