🤖 machine learning

Explainable few-shot learning workflow for detecting invasive and exotic tree species

本文提出了一种可解释的小样本学习工作流，该工作流将孪生网络与可解释人工智能（XAI）相结合，利用无人机图像有效检测巴西大西洋沿岸森林中的入侵及外来树种，在仅需极少量标注数据的情况下实现了高准确率，并为其预测提供了透明的视觉解释。

原作者： Caroline M. Gevaert, Alexandra Aguiar Pedro, Ou Ku, Hao Cheng, Pranav Chandramouli, Farzaneh Dadrass Javan, Francesco Nattino, Sonja Georgievska

发布于 2026-09-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Caroline M. Gevaert, Alexandra Aguiar Pedro, Ou Ku, Hao Cheng, Pranav Chandramouli, Farzaneh Dadrass Javan, Francesco Nattino, Sonja Georgievska

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在巴西茂密且充满生机的亚特兰蒂斯森林（大西洋沿岸森林）中，一场原生树木与威胁要取代它们的入侵物种之间的无声战斗正在进行。几十年来，生态学家一直依赖于在森林地面行走来识别这些入侵者，这是一个缓慢且耗费人力的过程，导致大片区域处于无人监测的状态。如今，观察工具已转向天空。无人驾驶飞行器（即无人机）现在可以捕捉森林树冠的高分辨率照片，提供一种鸟瞰视角，揭示单棵树木的形状和颜色。然而，将这些图像转化为有用的知识需要人工智能。挑战在于训练这些计算机系统。大多数现代人工智能模型就像是需要通过学习成千上万个案例才能通过考试的学生。在数据稀缺、专家匮乏的偏远森林中，收集如此庞大的标记图像库往往是不可能的。此外，即使这些模型做出了判断，它们通常也表现得像“黑匣子”，只给出结果而不解释是如何得出结论的，这使得森林管理者难以信任其答案。

一个研究小组开发了一种新方法来弥补这一差距，创建了一个能够通过极少示例进行学习，并且至关重要的是，能够展示其推导过程的系统。这项发表于针对圣保罗博罗雷自然公园（Borore Natural Park）研究的研究，介绍了一种结合了特定类型人工智能与视觉解释方法的流程。该系统不再需要成千上数的张照片来学习入侵棕榈树的样子，而是使用了一种“少样本”（few-shot）学习策略。这使得模型可以先在少数已知物种上进行训练，然后仅使用极少数样本图像，就能快速适应以识别新的、稀有的或入侵的物种。为了确保系统不仅仅是在猜测，研究人员增加了一层透明度。当计算机识别一棵树时，它不仅输出一个名称，还会显示其记忆中导致该结论的具体图像，从而允许人类专家验证这种视觉匹配是否合理。

该研究重点关注了塞福提亚棕榈（Seafórtia palm），这是一种在巴西公园中扎根并与原生植物竞争、改变当地生态系统的入侵性澳大利亚物种。为了构建该系统，研究人员首先收集了一小部分训练数据。他们利用现有的数据集和新的无人机飞行数据来识别五种常见的树木物种，建立了一个“已知”示例库。随后，他们在一个神经网络（一种旨在模仿大脑处理视觉模式方式的计算机程序）上对这五种物种进行了训练。研究人员测试了两个不同版本的网络：一个是从头开始构建的简单层结构，另一个是基于名为 MobileNet 的轻量级预设设计，该设计以在小型计算机上运行高效而闻名。这两个版本都被设计为比较两张图像并判断它们有多相似，而不是仅仅记忆物种列表。

在预训练完成后，研究人员引入了真正的挑战：仅使用极少数示例来识别入侵的塞福提亚棕榈和其他新物种。这就是过程中的“少样本”部分。他们向系统展示了一张、两张或三张新目标物种的照片，并要求它学习其中的差异。结果令人瞩目。使用 MobileNet 骨干网（该网络已在海量通用图像库上进行了预训练）的系统比简单的版本表现得更为出色。在仅给定三个新物种示例的情况下，基于 MobileNet 的系统能以极高的准确度正确识别入侵树木，显著优于简单的模型。这证明了复杂的预训练系统比从零开始的学习方式能更快地适应数据匮乏的新环境。

然而，这项工作最显著的贡献在于它如何处理决策背后的“为什么”。在许多人工智能应用中，推理过程是隐藏的。在这里，研究人员使推理过程变得可见。当系统对一棵树进行分类时，它会调取用于做出该决定的少量示例图像，并将它们与新树木并排显示。它还提供了一套指标来评估解释的质量。例如，它会检查“正确性”，以查看所选示例是否确实支持最终标签；以及“连续性”，以确保输入图像的微小变化不会导致系统选择完全不同的示例集。研究发现，这些解释具有高度的一致性，且系统经常选择在视觉上与目标非常相似的支持图像，从而为人类专家提供了一条清晰的视觉追踪路径。

研究人员在博罗雷自然公园发现的入侵性塞福提亚棕榈上测试了他们的工作流。在一个特定的测试案例中，系统正确识别了一棵棕榈树，并向用户展示了用于对比的三张参考图像。在某些情况下，系统通过显示一张看起来与目标差异较大的参考图像，标记出了潜在的错误，尽管这些图像都被标记为同一物种。这种视觉反馈让研究人员能够准确看到模型的困难所在，而标准的“黑匣子”模型永远无法揭示这一点。研究结论指出，这种结合了少样本学习与视觉解释的方法，为森林管理提供了一个实用且可靠的工具。它证明了即使在标记数据稀缺的情况下，通过让系统以人类可以理解和验证的方式解释其逻辑，也可以在保护工作中部署先进的人工智能。这种方法为利用无人机和人工智能保护生物多样性开辟了新路径，将森林中庞大且复杂的数据转化为可用于保护工作的见解。

技术摘要：用于检测入侵及外来树种的可解释小样本学习工作流

问题陈述
用于地球观测（特别是识别入侵和外来树种）的深度学习模型通常需要大量的标注数据集进行训练和评估。这种依赖性在实际应用场景中造成了显著障碍，尤其是在标注数据稀缺的低中收入国家（LMICs）。此外，现有的小样本学习（FSL）方法往往无法为其预测提供充分的解释，导致用户对模型的决策过程缺乏信心。本研究解决的具体挑战是检测圣保罗大西洋森林中的入侵物种（具体为 Archontophoenix cunninghamiana，或称 Seafórtia），在这些地区，人工实地考察不仅劳动强度大，且数据获取难度高。

方法论
作者提出了一种整合无人机（UAV）影像、小样本学习和可解释人工智能（XAI）的端到端工作流。该方法由三个主要的处理步骤组成：

数据准备与预训练：
- 输入： 无人机正射影像和基准数据集（Reforestree）。
- 目标检测： 使用 Netflora 工作流自动从无人机影像中提取单个树冠，或通过人工标注。这些数据与基准数据（香蕉、可可、水果品种）相结合，构成基础训练集。
- 模型架构： 预训练两个孪生网络（Siamese networks）：一个浅层卷积神经网络（CNN）和一个轻量级 MobileNet 骨干网络（在 ImageNet 上进行了预训练）。两个网络均利用相似度度量（欧氏距离）来比较图像对。
- 训练策略： 通过数据增强生成平衡的相似对（同物种）和不相似对（不同物种）切片（128x128 像素），对网络进行训练。
小样本学习精炼：
- 场景： 利用极少量的标注样本（1-shot 至 3-shot）对预训练模型进行精炼，以识别新的目标物种（入侵种和原生种）。
- 过程： 使用来自研究区域的少量手动标注样本对基础模型进行微调。
- 分类： 评估两种预测方法：(1) 分配具有最高平均相似度得分的类别；(2) 基于前 $K$ 个相似度得分使用 K-最近邻（K-NN）逻辑。
可解释人工智能（XAI）集成：
- 基于案例的解释： 该工作流并非生成热力图（如 Grad-CAM），而是提供视觉化的、基于案例的解释。对于查询图像，系统会显示训练数据中最相似的支持集图像。
- 评估指标： 使用三个 Co-12 内容属性对解释质量进行定量评估：
  - 正确性 ( $C_{cor}$ )： 衡量解释（相似样本的多数类）是否与模型的最终分类一致。
  - 连续性 ( $C_{cty}$ )： 通过检查当输入图像发生轻微扰动时解释是否发生变化，来评估稳定性。
  - 对比性 ( $C_{cst}$ )： 使用香农熵（Shannon Entropy）量化用于解释的候选支持图像的多样性。

核心贡献

集成工作流： 本文提出了一种创新的工作流，将用于小样本学习的孪生网络与基于案例的 XAI 策略相结合，同时解决了数据稀缺性和可解释性挑战。
轻量级架构： 研究表明，虽然基于 MobileNet 的孪生网络比浅层 CNN 更大，但仍足够轻量，足以部署在计算能力有限的设备上，并实现了卓越的性能。
定量 XAI 评估： 作者应用了一个严谨的框架（Co-12）来定量评估基于示例的解释质量，超越了定性的视觉观察。

结果

基础模型性能： 基于 MobileNet 的孪生网络在召回率（Recall）、F1 分数和准确率（Accuracy）方面显著优于浅层 CNN，在基础分类任务中实现了 0.97 的 F1 分数和 0.97 的准确率。
小样本学习： 通过小样本学习进行精炼提升了性能，优于零样本学习（zero-shot learning）。MobileNet 模型在 3-shot 学习下表现最佳，达到了 0.90 的精确率（Precision）和 0.86 的 F1 分数。随着支持样本数量的增加（从 1-shot 到 3-shot），MobileNet 与浅层 CNN 之间的性能差距进一步扩大。
解释质量：
- 正确性： 模型精炼后正确性显著提高（例如，MobileNet 的 $C_{cor}$ 在 3-shot 学习中从 0.15 增加到 0.60）。
- 连续性： 两个模型都表现出较高的连续性（数值在 0.80–0.87 之间），表明在轻微输入扰动下解释是稳定的。
- 对比性： 观察到高数值（接近 1.00），表明用于解释的支持图像具有多样性。
- 视觉案例研究： 文中提供了视觉示例，表明当模型做出预测时，相关的支持图像通常能从视觉上证实其决策，尽管可以通过解释列表中的低相似度得分来识别假阳性。

意义
本文声称，这种方法为利用人工智能和无人机进行森林管理和生物多样性保护开辟了新途径，特别是针对稀有或研究较少的物种。通过在极少标注数据的情况下实现树种分类，并提供视觉化的、基于案例的解释，该工作流解决了低中收入国家数据可用性的实际限制。研究强调，基于示例的解释比复杂的显著性图（saliency maps）更符合人类的推理方式（具有对比性和简洁性），从而增加了用户对自动化森林监测系统的信心。使用 MobileNet 等轻量级骨干网络进一步表明，在资源受限的环境中部署此类解决方案具有可行性。

类似论文