Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification
本文对卷积神经网络（CNN）和视觉 Transformer（ViT）在土地利用场景分类中的表现进行了比较评估，结果表明：尽管 CNN 在数据有限且依赖局部纹理时表现优异，但在训练数据充足且计算资源充裕的情况下，ViT 能够提供更优越的全局上下文理解能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教导两种不同类型的学生，仅通过无人机拍摄的空照来识别不同类型的社区（如“郊区”、“森林”或“工厂”）。
这篇论文设置了一场竞赛，让两位截然不同的“学生”比拼谁更胜任这项工作：
- 本地侦探（CNN/AlexNet）：这位学生擅长观察微小、具体的细节。他们专注于眼前的纹理、边缘和图案。
- 全局架构师（视觉 Transformer/ViT）：这位学生擅长退后一步，纵观全局。他们专注于图像中不同部分在长距离上的相互关系。
以下是该论文发现的简要总结：
两种方法
本地侦探（CNNs）
将这位学生想象成逐个检查拼图碎片的人。他们查看图像的一小块方格，然后是下一块，再下一块。他们是发现局部线索的专家，例如屋顶的特定纹理或道路的图案。
- 优势：他们非常高效，即使只给他们少量拼图碎片（少量训练数据），也能表现出色。
- 劣势：他们有时会错过“大局”。由于过于关注眼前的社区，他们可能难以理解远处的公园与附近的学校之间有何关联。
全局架构师（视觉 Transformer）
这位学生将图像视为由单词组成的句子。他们将图像切分成许多小补丁，并一次性查看图像中每一个补丁如何与图像中的其他所有补丁相连。
- 优势：他们极其擅长理解场景的“故事”。如果场景复杂且分布广泛，他们能够发现本地侦探所忽略的长距离连接。
- 劣势：他们就像需要庞大图书馆才能学习的学生。如果没有足够的示例（数据），他们就会感到困惑。此外，他们还需要更强大的计算机（更多的能量和内存）来完成工作。
实验：两个不同的教室
研究人员在两个不同的“教室”（数据集）中测试了这两位学生，以观察谁的表现更出色。
教室 1：小班（UC Merced 数据集）
- 设置：这个教室的学生（图像）非常少。每种类型的社区只有大约 100 张图片。
- 结果：本地侦探（AlexNet） 获胜。由于数据不足以教导全局架构师如何连接各个点，侦探专注于微小且可靠细节的能力表现更佳。侦探在信息有限的情况下更快、更准确。
教室 2：大班（EuroSAT 数据集）
- 设置：这个教室规模巨大，每种类型的社区都有数千张图片。
- 结果：全局架构师（ViT） 险胜。有了这些额外的数据，架构师终于能够学习景观不同部分之间复杂的相互关系。他们超越了侦探，因为他们能够利用海量信息来构建对整个场景更好的理解。
运营成本
论文还考察了使用这些学生的“价格标签”：
- 时间与能量：全局架构师的学习（训练）时间几乎是本地侦探的两倍。在实验中，架构师学习大型数据集耗时约 253 分钟，而侦探仅耗时 137 分钟。
- 硬件：架构师需要更强大的计算机才能运行。
结论
论文总结道，没有一种“最佳”学生适用于所有情况。这取决于你手头有什么资源：
- 如果你数据有限（照片不多）或需要快速、高效的解决方案，请坚持使用本地侦探（CNNs）。他们可靠，且不需要庞大的图书馆就能完成工作。
- 如果你拥有海量数据且具备强大的计算机，全局架构师（视觉 Transformer） 是更好的选择。他们能够学习图像中侦探可能忽略的复杂长距离关系。
简而言之：对于资源有限的小任务，请使用侦探；对于拥有充足数据和计算能力的大型复杂任务，请聘请架构师。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。