技术摘要：基于车载视觉语言多智能体机器人控制系统

问题陈述

视觉语言模型（VLM）和视觉语言动作（VLA）模型在机器人控制方面展现了潜力，但在工业环境的实际部署中面临显著障碍。这些局限性包括：

• 计算与连接依赖： 许多解决方案需要大量的外部计算能力和网络连接，从而增加了运营成本和延迟。
• 可解释性与安全性： 模型决策缺乏可解释性，引发了安全和伦理方面的担忧。
• 泛化问题： 现有的方法（包括使用解释性技术或约束函数的模型）往往难以泛化到分布外数据。
• 上下文保留： 在单个 VLM 中部署以处理多样化、长程任务（如安全检查、维护、搜索和人机交互）存在上下文窗口溢出的风险，随着任务多样性的增加，关键信息可能会丢失。

方法论

作者提出了一种旨在完全在车载硬件上运行的**多智能体系统（MAS）**架构，消除了对云端或边缘服务器的依赖。该系统在模拟工业仓库环境中控制一个多用途自主移动机械臂（RB-KAIROS+）。

系统架构

该 MAS 基于 RAI 框架构建，并与 ROS 2、MoveIt 2 及 Nav2 集成。其架构包含多个专业化的智能体：

1. Megamind（编排智能体）： 一个用于解决紧凑型模型上下文保留问题的监督智能体。它通过一个两状态自反馈循环运行：
   • 规划状态（Planning State）： 根据机器人状态和任务队列选择下一个任务，并将其委派给子智能体。
   • 分析状态（Analysis State）： 评估子智能体的输出。如果需要恢复，它会生成纠正步骤并将其附加到队列中，然后返回规划阶段。这种方式将任务进度和恢复逻辑外部化。
2. 检测智能体（Inspection Agent）： 监测前置摄像头以发现异常情况（如位置错误的箱子、障碍物、溢出物）。它采用两阶段工作流：首先生成自然语言描述并标记问题，然后进行分类（例如，将可抓取的物品标记为“box”，将垃圾标记为“trash”，其他标记为“other”或“nothing”）。它输出包含问题类型和 3D 位姿的结构化 JSON。
3. 安全智能体（Safety Agent）： 执行持续的法规合规性监控。它采用三阶段流水线：
   • 视觉（Vision）： VLM 识别潜在危险。
   • 检索（Retrieval）： 智能体查询包含 OSHA 29 CFR 1910 法规的向量数据库（FAISS），并针对仓库相关性进行过滤。它使用 Qwen3-Embedding-0.6B 进行索引，并使用 Qwen3-Reranker-0.6B 进行重排序。
   • 推理（Reasoning）： VLM 将视觉场景与检索到的法规摘录进行交叉比对，以确定违规行为，并输出法规 ID、严重程度等级和理由。
4. MoveIt 和 Nav2 智能体： 为操纵和导航提供底层控制，执行来自 Megamind 的指令。
5. 人机界面（HRI）： 一个基于 Qt 的图形界面，允许操作员发布自然语言命令并查看实时视频/状态更新。

模型策略

• 基础模型： 系统对所有视觉任务（检测、安全、Megamind）均使用紧凑的 3B 参数 VLM（LFM2-VL-3B）。
• 通过知识蒸馏进行微调： 为了解决基础模型在包裹质量验证（任务 T4）方面的困难，作者对其进行了微调。他们使用 Qwen3-256B-A22B 作为教师模型，从带标注的模拟图像中生成合成训练数据（自然语言描述）。该 3B 模型在该数据集上进行了一个轮次（epoch）的微调。
• 硬件： 整个技术栈运行在 AMD Ryzen™ AI 微型电脑（128 GB 统一内存，其中 96 GB 分配给 GPU）的硬件在环（HIL）模拟中。

核心贡献

1. 车载 MAS 架构： 一个完全在本地硬件上运行的功能完备的多智能体系统，证明了紧凑型模型（3-20B 参数）可以在无需外部计算的情况下控制复杂的移动机械臂。
2. 通过编排进行上下文管理： “Megamind”智能体通过显式的任务委派和自反馈恢复循环，成功缓解了小型模型的上下文保留限制。
3. 专门的安全流水线： 将 VLM 与法规数据库（OSHA）集成，利用检索增强生成（RAG）技术（嵌入、重排序、推理）来提供具有可解释性的安全合规性。
4. 开源发布： 模拟环境（包括可配置的仓库、机器人平台和软件栈）以 Apache 2.0 许可证发布，以促进移动机械臂智能体系统的研究。
5. 性能优化： 证明了通过知识蒸馏微调紧凑型模型可以显著提高特定任务（如包裹检测）的准确性，同时保持较低的推理成本。

结果

系统在涵盖五个任务类别的硬件在环（HIL）模拟中得到了验证：

• T1： 安全检查。
• T2： 仓库维护。
• T3： 仓库搜索。
• T4： 包裹质量验证。
• T5： 响应人类请求。

定量改进：
针对包裹检测（任务 T4）进行微调后，模型实现了：

• 箱体状况标注准确率： 从 76.7% 提升至 91.5%。
• F1 分数： 从 0.755 提升至 0.915。
• 真阴性（True Negatives）： 从 54% 增加到 95.5%。
• 假阳性（False Positives）： 从 46% 降低至 4.5%。

系统成功展示了在动态工业环境中的实时响应和运行能力，包括抢占用户任务以处理高优先级异常情况，以及执行多步工作流（例如：检查、移动或处置物体）。

意义与主张

论文声称，全车载 MAS 架构是依赖云端部署的可行且具成本效益的替代方案。通过利用本地托管的紧凑型 VLM，该系统解决了与外部计算平台相关的极高运营成本（电力、硬件）和延迟问题。

作者将这项工作定位为面向中小企业（SMEs）的柔性机器人技术迈出的重要一步，因为对于这些企业而言，成本低廉、具有可解释性且安全的自主系统至关重要。在五个任务类别中的成功验证，证明了向实物机器人试验过渡的可行性，并为工业环境下的智能体系统开辟了研究途径。该工作强调，成熟的技术栈（ROS 2, MoveIt 2）结合模块化智能体设计，可以克服通用策略难以实现的实时反应性和可认证控制的挑战。