Assessing Vision-Language Models for Perception in Autonomous Underwater Robotic Software

这是一份关于《评估自主水下机器人软件中感知任务的视觉 - 语言模型（VLMs）》的论文详细技术总结。

1. 研究背景与问题 (Problem)

• 背景：自主水下机器人（AURs）在工业（如海底设施维护、垃圾清理）和科研领域应用广泛。然而，水下环境具有能见度低、条件恶劣等挑战，这对感知模块的开发和软件质量保证提出了极高要求。
• 现有挑战：传统的深度学习模型依赖大量标注数据，而水下数据稀缺且噪声大，导致模型泛化能力差，难以检测未见过的物体，影响了 AUR 软件的可靠性。
• 潜在方案：视觉 - 语言模型（VLMs）具备强大的泛化能力、多模态理解能力和推理能力，能够利用上下文线索推断信息，有望解决水下物体检测（特别是未知物体）的难题。
• 核心问题：尽管 VLMs 潜力巨大，但其在**水下环境中的具体性能、不确定性量化（Uncertainty Quantification）以及校准度（Calibration）**在软件工程视角下尚缺乏实证研究。工业界（如 DNV AS）需要确凿的证据来评估 VLMs 是否能安全、可靠地集成到 AUR 软件中，特别是在涉及垃圾清理等关键任务时。

2. 方法论 (Methodology)

本研究通过实证评估，分析了四个开源 VLMs 在水下垃圾检测任务中的表现。

• 实验对象（模型）：
  • 选择了四个 2024 年或之后发布的开源 VLMs，参数量均为 7B 以确保公平比较：
    1. BLIP (InstructBLIP)
    2. DeepSeek (DeepSeek-VL2)
    3. LLaVA (LLaVA-1.6)
    4. QWen (QWen2.5-VL)
• 数据集：
  • 使用了两个水下基准数据集：TrashCan1.0 和 SeaClear。
  • 将数据重新分类为四个主要类别：垃圾 (Trash)、人造物体 (Object)、动物 (Animal)、植被 (Vegetation)。
• 实验设置：
  • 零样本（Zero-shot）推理：所有模型均未进行微调，直接通过提示词（Prompt）进行测试，以评估其泛化能力。
  • 提示词设计：使用统一的指令式提示词，要求模型识别并列出图像中的四类物体及其数量。
  • 环境：NVIDIA RTX-5090 GPU，Python/PyTorch 环境，温度设为 0 以确保确定性输出。
• 评估指标：
  • 性能指标 (RQ1)：多标签分类任务下的 F1 分数（Macro/Micro）和 Jaccard 指数（Macro/Micro）。
  • 不确定性量化 (RQ2)：
    • 置信度：最大 Softmax 概率 (MSP)、概率置信度分数 (PCS)。
    • 不确定性：熵 (Entropy, ENT)、深度基尼系数 (Deep Gini, DG)。
    • 校准度：期望校准误差 (ECE)、最大校准误差 (MCE)。
  • 关系分析 (RQ3)：分析性能与置信度、不确定性及校准度之间的相关性。

3. 主要贡献 (Key Contributions)

1. 实证评估：首次系统性地评估了四个主流开源 VLMs 在水下图像多标签分类任务中的性能，为 AUR 软件选型提供了数据支持。
2. 不确定性分析：深入研究了 VLMs 在水下环境中的不确定性量化和校准特性，揭示了“高置信度”并不等同于“高可靠性”。
3. 性能与校准关系：阐明了性能、置信度、不确定性和校准度之间的关系，指出**校准度（Calibration）**比单纯的置信度或低不确定性对于工业部署更为关键。

4. 关键结果 (Key Results)

• 性能表现 (RQ1)：
  • 最佳模型：BLIP 整体表现最佳，DeepSeek 紧随其后。两者在“垃圾”和“物体”类别上显著优于 LLaVA 和 QWen。
  • 类别差异：所有模型在“动物”和“植被”类别上的表现均较差（F1 分数低），表明当前 VLMs 对生物类别的识别能力有限。
  • 具体数据：在聚合数据集中，BLIP 在垃圾检测上的 F1 得分为 0.76，物体检测为 0.87。
• 不确定性与校准 (RQ2)：
  • LLaVA 的问题：LLaVA 表现出最高的置信度和最低的不确定性，但其校准度最差（ECE/MCE 最高）。这意味着它非常“自信”但经常出错（过度自信），不适合直接用于安全关键的工业场景。
  • BLIP 的优势：BLIP 的置信度略低于 LLaVA，不确定性略高，但它是校准度最好的模型。这意味着它的概率估计更可靠，能够真实反映其预测的准确性。
• 性能与不确定性的关系 (RQ3)：
  • 研究发现，高置信度或低不确定性并不直接对应高性能。
  • 表现最好的模型（BLIP, DeepSeek）通常具有相对较高的不确定性（即更谨慎），但它们的校准度最好。
  • 结论：在选择 VLMs 时，应优先关注性能和校准度，而非单纯的置信度高低。

5. 意义与启示 (Significance)

• 工业部署建议：
  • VLMs 目前不适合作为 AUR 的独立感知模块直接部署，特别是在涉及动物和植被识别时。
  • 推荐策略：将 VLMs 作为辅助组件。例如，当传统深度学习模型遇到高不确定性或分类失败时，由 VLMs 进行二次确认。
  • 场景适配：对于垃圾清理和特定物体识别任务，BLIP 是相对可靠的选择；对于数字孪生（Digital Twins）场景，由于算力充足，可部署更大规模的 VLMs 进行实时分析或离线验证。
• 软件工程视角：
  • 强调了在安全关键系统（如海事自主系统）中，不确定性量化和校准是评估 AI 模型可靠性的核心指标。
  • 提出了基于 Token 级不确定性的测试策略，可用于离线测试和实时故障检测。
• 合规性：为海事行业将 VLMs 纳入监管框架（如 IMO 规则）提供了初步的实证证据，表明经过严格校准和测试的 VLMs 有助于满足日益严格的软件安全标准。

总结：该论文通过严谨的实证研究指出，虽然 VLMs 在水下感知中具有巨大潜力，但工业界必须谨慎选择。BLIP 因其优秀的校准度和性能平衡，是目前最可靠的候选模型，但必须结合不确定性监测机制，并明确其适用边界（如专注于垃圾和物体检测），以确保 AUR 系统的安全与可信。