Survey on Remote Sensing Scene Classification: From Traditional Methods to Large Generative AI Models

1. 研究背景与核心问题 (Problem)

背景：
遥感（RS）场景分类是地球观测中的核心任务，旨在将卫星或航空图像划分为预定义的语义类别（如城市、农田、森林等），广泛应用于环境监测、城市规划、灾害管理和自然资源评估。随着传感器技术的进步（多光谱、高光谱、SAR、LiDAR）和卫星星座的爆发式增长，遥感数据量呈指数级增加，对自动化、智能化的分析提出了更高要求。

核心挑战：
尽管深度学习取得了巨大进展，但遥感场景分类仍面临以下关键难题：

• 类内差异大与类间相似性高： 同一类别（如城市）可能包含从密集市区到郊区等多种形态；不同类别（如农田与森林）在特定视角下可能极其相似。
• 数据标注成本高昂： 遥感图像需要专家知识进行标注，导致大规模标注数据集稀缺，限制了监督学习的效果。
• 跨域泛化困难： 传感器类型、地理区域、季节变化和成像条件的差异导致模型在源域训练后难以直接应用于目标域（Domain Shift）。
• 多尺度与复杂空间结构： 遥感图像包含从单棵树到整个森林块等不同尺度的对象，且背景复杂，传统方法难以捕捉全局上下文。
• 可解释性与伦理问题： 深度学习模型常被视为“黑盒”，在灾害响应等高风险应用中缺乏可解释性；同时存在数据隐私、算法偏见和计算能耗等伦理问题。

---

2. 方法论演进 (Methodology)

该综述系统梳理了从传统手工特征到最新生成式 AI 的完整技术演进路线：

2.1 传统方法 (Traditional Methods)

• 手工特征提取： 依赖专家设计的描述符，如纹理（GLCM, LBP, Gabor）、结构（SIFT, HOG）和光谱特征。
• 编码与分类： 采用词袋模型（BoW）、空间金字塔匹配（SPM）将特征编码，结合传统机器学习分类器（SVM, 随机森林, k-NN）。
• 局限性： 特征表达能力有限，难以捕捉深层语义，且计算复杂度高，泛化能力差。

2.2 深度学习时代 (Deep Learning Era)

• 卷积神经网络 (CNNs)： 从 AlexNet、VGG 到 ResNet、DenseNet 和 EfficientNet，实现了端到端的自动特征学习。引入了注意力机制（Channel/Spatial Attention）以聚焦关键区域。
• 图神经网络 (GNNs)： 将图像区域建模为图节点，利用图卷积（GCN）捕捉非欧几里得空间关系和长距离依赖（如 H-GCN, RS-RADGNN）。
• 迁移学习与域适应： 利用 ImageNet 预训练权重进行微调，并通过对抗训练（Domain Adversarial Training）和域泛化（Domain Generalization）解决跨传感器、跨区域的分布偏移问题。
• 视觉 Transformer (ViT)： 利用自注意力机制捕捉全局上下文，解决了 CNN 感受野受限的问题。包括 Swin Transformer、LeMeViT 等变体，显著提升了基准测试性能。
• 状态空间模型 (Mamba)： 新兴架构（如 RSMamba），以线性复杂度实现全局建模，为高效遥感理解提供了新范式。

2.3 基础模型与生成式 AI 时代 (Foundation Models & Generative AI)

• 遥感基础模型 (RSFMs)： 如 RingMo（基于掩码图像建模和环形掩码策略，学习旋转不变性）和 SkySense（十亿级参数的多模态时空模型）。利用海量无标签数据通过自监督学习（SSL）预训练，具备强大的零样本（Zero-shot）和少样本（Few-shot）能力。
• 视觉 - 语言模型 (VLMs)： 如 RemoteCLIP、GeoRSCLIP。结合图像与文本模态，支持自然语言查询和开放词汇分类，极大提升了模型的可解释性和灵活性。
• 生成式 AI (Generative AI)：
  • GANs： 用于数据增强和跨域适应（如 CycleGAN），但存在训练不稳定问题。
  • VAEs & Diffusion Models： 如 DiffPR-Net（2025），利用扩散模型生成高质量合成数据以解决少样本问题，或通过掩码扩散处理多模态缺失数据。

2.4 混合架构与部署

• 结合 CNN 的局部特征提取能力与 Transformer 的全局建模能力（如 P2FEViT）。
• 边缘计算与联邦学习（Federated Learning）：在保护数据隐私的前提下，实现分布式协同训练和实时推理。

---

3. 主要贡献 (Key Contributions)

1. 全景式技术综述： 首次系统性地构建了从手工特征、经典深度学习、Transformer、基础模型到生成式 AI 的完整技术图谱，填补了现有综述在最新大模型（如 SkySense, RingMo）和生成式 AI 应用方面的空白。
2. 深入分析新兴范式： 详细探讨了自监督学习、视觉 - 语言模型（VLMs）和扩散模型在遥感场景分类中的独特优势，特别是在解决数据稀缺和零样本学习方面的突破。
3. 批判性挑战分析： 不仅总结成就，还深入剖析了当前面临的瓶颈，包括：
   • 可解释性 (XAI)： 指出传统 XAI 指标（如 Pointing Game）在遥感多尺度、分布性特征上的不适用性。
   • 伦理与偏见： 讨论了数据不平衡导致的算法偏见及大模型训练的环境成本。
   • 评估标准缺失： 呼吁建立针对少样本、跨域和联邦学习场景的标准化基准。
4. 未来路线图： 提出了明确的研究方向，包括高光谱/多时态分析、跨域泛化方法、标准化评估协议以及可信赖 AI（Trustworthy AI）的构建。

---

4. 关键结果与发现 (Results & Findings)

• 性能提升： 基于 Transformer 和基础模型的方法在 UC Merced, AID, NWPU-RESISC45 等标准数据集上显著超越了传统 CNN 方法，特别是在处理类内差异和跨域任务时。
• 零样本与少样本能力： RSFMs（如 RingMo）和 VLMs（如 RemoteCLIP）在极少标注甚至无标注的情况下，通过自监督预训练和提示工程（Prompting），实现了接近全监督模型的分类精度。
• 生成式 AI 的潜力： 扩散模型（Diffusion Models）在生成高质量合成数据以缓解类别不平衡和少样本问题上展现出比 GANs 更优的多样性和稳定性，是未来的重要方向。
• 架构权衡：
  • CNN： 计算效率高，适合资源受限场景，但全局建模能力弱。
  • ViT： 全局建模能力强，精度高，但计算复杂度高（二次方），数据需求大。
  • Mamba： 提供了线性复杂度的全局建模方案，是平衡效率与性能的新兴选择。
  • 混合模型： 结合 CNN 与 Transformer 的混合架构往往能取得最佳的综合性能。

---

5. 研究意义 (Significance)

• 理论价值： 为遥感领域从“手工特征”向“数据驱动的基础模型”转型提供了系统的理论框架，明确了不同技术范式的适用边界和演进逻辑。
• 实践指导：
  • 为研究人员提供了选择模型架构、预训练策略和评估指标的指南，特别是在处理数据稀缺和跨域任务时。
  • 为从业者（如政府机构、灾害管理部门）展示了如何利用边缘计算、联邦学习和 VLMs 实现快速、可解释的决策支持系统。
• 社会影响： 强调了构建可信赖、公平且可持续的遥感 AI 系统的重要性。通过推动标准化基准和伦理规范，有助于解决全球气候变化监测、灾害应急响应等紧迫问题，确保先进技术惠及全球。
• 推动跨学科合作： 呼吁计算机视觉、遥感科学、地理信息系统（GIS）及伦理学领域的专家紧密合作，共同推动下一代地球观测技术的发展。

---

总结：
该论文不仅是一份技术清单，更是一份战略指南。它标志着遥感场景分类已进入“大模型 + 生成式 AI"的新纪元，未来的核心竞争力将在于如何利用海量无标签数据、多模态融合以及高效的可解释模型，来解决现实世界中复杂多变的地表监测需求。