Edge-Optimized Vision-Language Models for Underground Infrastructure Assessment

技术摘要：面向地下基础设施评估的边缘优化视觉语言模型

问题定义
地下基础设施（如下水道和涵洞系统）的维护对于公共安全至关重要，但传统上依赖于缓慢且不一致的人工视频审查。虽然配备视觉传感器的自主机器人平台可以通过深度学习高效检测结构缺陷，但在将这些自动化检测结果转化为可操作、人类可读的摘要方面仍存在显著差距。现有的视觉语言模型（VLM）通常缺乏精确描述基础设施所需的专业领域知识，并且在部署于资源受限的移动机器人时面临着极高的计算和内存限制。本研究的挑战在于开发一个端到端系统，该系统能够在不牺牲准确性或延迟的情况下，在边缘设备上执行实时缺陷检测并生成简洁、具有领域特定性的自然语言摘要。

方法论
作者提出了一种专为边缘部署设计的创新两阶段流水线，集成了轻量级分割模型与微调后的视觉语言模型（VLM）。

1. 第一阶段：视觉缺陷检测（RAPID-SCAN）
   第一阶段采用 RAPID-SCAN（基于紧凑自适应网络的资源感知管线检测与缺陷分割）。这是一个轻量级的语义分割框架，具有包含自适应路由和挤压激励（Squeeze-and-Excitation）模块的动态特征金字塔网络。它处理 RGB 图像以生成各种缺陷类别（如裂缝、树根、孔洞）的像素级分割掩码。该模型经过效率优化，利用空间滤波在设定的邻近阈值内合并冗余检测。

2. 第二阶段：视觉语言摘要生成
   第二阶段使用微调后的 Microsoft Phi-3.5 VLM。该模型接收由来自第一阶段的原始 RGB 图像和分割掩码组成的多模态输入。通过提示词引导，模型生成针对四个关键检查原则的结构化自然语言摘要：

• 状况（Condition）： 当前结构状态。
• 位置（Location）： 在管道内的空间上下文。
• 严重程度（Severity）： 紧迫性和关键性评估。
• 影响（Implications）： 若不处理可能带来的潜在风险。

3. 数据集与标注
   作者引入了一个精选数据集，包含 5,051 张下水道和涵洞检测图像，并配有专家验证的自然语言说明。标注过程采用半自动化方式：初始说明由 VLM 生成，随后由具备领域知识的人类专家进行精炼，以确保精确性、清晰度并符合行业报告标准。

4. 边缘优化与部署
   为了在移动机器人上实现实时性能，系统采用了多种优化策略：

• 参数高效微调（Parameter-Efficient Fine-Tuning）： 使用 QLoRA（量化低秩自适应）对 Phi-3.5 模型进行适配，将基础权重量化为 4-bit NormalFloat4 (NF4)，同时在 FP16 精度下训练 LoRA 适配器。这使可训练参数从 38 亿减少到 6700 万。
• 训练后量化与加速： 流水线使用 INT8 量化和 NVIDIA TensorRT 进行针对硬件的特定加速。这包括混合精度推理（视觉编码器使用 FP16，语言层使用 INT8）和算子融合（Kernel Fusion）。
• 机器人集成： 系统部署在配备 Axis RGB PTZ 相机、Velodyne VLP-16 LiDAR 和 IMU 的 Clearpath Jackal UGV 上。软件架构基于 ROS 1 Noetic 构建，具有用于传感器接口、AI 推理、检查管理以及用于实时可视化和查询的人机交互模块。

核心贡献

• 新型流水线： 一种结合了 RAPID-SCAN 分割与领域特定 VLM 摘要生成的两阶段架构，用于生成可操作的报告。
• 高效分割： RAPID-SCAN 仅需 0.64 M 参数即可实现具有竞争力的性能（F1 分数 0.834），与 U-Net 等最先进模型相比实现了 97% 的参数缩减。
• 精选数据集： 一个包含下水道和涵洞图像及专家验证描述的新数据集，专门用于 VLM 的微调与评估。
• 边缘优化策略： 实施了 QLoRA、训练后量化和 TensorRT 加速，以满足严格的边缘约束（延迟 < 5秒，内存 < 8GB）。
• 实地验证： 在实验室和真实涵洞环境中，通过移动机器人平台进行了全面的评估。

实验结果

• 分割性能： RAPID-SCAN 以仅 0.19 GFLOPS 的计算量实现了 0.834 的 F1 分数和 0.729 的 mIoU，在保持相当准确度的同时，显著优于大型模型的计算效率。
• 摘要质量： 微调后的 VLM 表现优于基准预训练模型，其 ROUGE-L 得分为 0.36（基准模型为 0.26），并在 BLEU、METEOR 和 BERTScore 上取得了更高分。定性分析证实，生成的摘要在技术术语和结构原则上与专家基准高度一致。
• 计算效率： 在 NVIDIA Jetson AGX Orin 上，优化后的 VLM 实现每份摘要 2.3 秒的推理延迟，模型大小为 2.1 GB（较全精度基准减少了 69%）。从图像采集到摘要生成的总端到端平均延迟为 3.1 秒。
• 实地部署： 在 60 英尺长的低光照、不规则表面涵洞中的实地试验确认了系统的鲁棒性。该流水线成功检测了缺陷并在实时状态下生成了可操作的摘要，且运行在热量和功耗限制范围内。

意义
本文声称这项工作弥合了自动化缺陷检测与基础设施维护中可操作见解之间的鸿沟。通过使机器人能够以自然语言传达观察结果，该系统增强了机器人的直观性，从而实现有效的机人协作，这对于安全关键型任务至关重要。该研究证明了在边缘设备上部署集成 AI 系统以支持可扩展和自主检查方案的可行性，推动了具身智能（Embodied AI）和人机交互领域的发展。作者指出，未来的工作将侧重于更广泛的缺陷分类法、改进的摘要架构以及用于增强空间上下文的 3D 制图。