技术摘要：VisualClaw —— 面向物理世界的实时个性化智能体

1. 问题陈述

将视觉语言模型（VLMs）作为通用智能体部署于复杂的多模态任务中，面临着三个阻碍其在流式、边缘侧环境（如 AI 眼镜、云端助手）中实际应用的批判性差距：

1. 效率与成本： 处理密集的视频帧和长提示词会产生高昂的延迟和 API 成本。标准方法通常假设可以获取完整的离线视频片段，这对于实时流媒体而言是不可行的。
2. 静态脚手架： 当前的智能体架构在部署后仍保持静态。它们缺乏从自身失败中学习或随时间推移优化推理能力的能力，而无需重新训练模型权重。
3. 评估局限性： 标准的视频问答（QA）基准测试侧重于单次多选题回答。它们无法评估智能体是否能在动态、使用工具的工作空间（例如编辑文件、对账记录、执行检查）中有效地利用视觉证据。

2. 方法论：VisualClaw 框架

VisualClaw 是一个自我进化的多模态智能体，旨在通过**混合编码（Hybrid Encoding）实现高效的边缘部署，以及自我进化的技能/记忆（Self-Evolving Skills/Memories）**实现自适应推理，从而解决上述差距。该系统在不更新底层 VLM 权重 ($\theta$) 的情况下，在三个不同的时间尺度上运行。

2.1 每帧：级联编码门控 ($G$)

为了降低实时流中的视觉成本，VisualClaw 在边缘设备上采用了一个轻量级的、仅限 CPU 的级联过程，在视频帧到达云端 VLM API 之前对其进行过滤。门控 $G$ 处理每个传入的帧 $f_t$ 并输出判定结果：MAJOR（重大）、**MINOR（轻微）**或 SKIP（跳过）。

• 机制： 该级联由三个阶段组成：
  1. 感知哈希 (dHash)： 检测并丢弃位精确或近乎精确的重复帧（例如相机抖动、静止期间）。
  2. 轻量级 CPU 编码器： 使用 HSV 直方图、亮度、边缘密度和纹理生成 128 维场景向量（无需深度网络或 GPU）。
  3. 自适应变化门控： 将编码后的帧与滚动参考帧进行比较，利用时间衰减阈值来区分显著的场景变化（MAJOR）与细微的变化（MINOR）。
• 结果： 只有 MAJOR 帧（关键帧）会被转发到云端。MINOR 帧会更新参考帧但不会被上传；SKIP 帧则被直接丢弃。该过程在实时状态下运行（约 $10 \mu s$），且无需缓冲未来帧。

2.2 每问题：混合热/冷技能注入 ($S$)

为了在不饱和提示词上下文的情况下管理不断增长的技能库 $S$ 的成本，VisualClaw 采用了分层注入策略：

• 热层 (Hot Tier)： 对于给定的查询 $q$，使用 sentence-transformer 对技能库进行排序。最相关的前 $k$ 个技能将作为全文（“热主体”）内联到系统提示词中。
• 冷层 (Cold Tier)： 其余技能仅以紧凑的“冷目录”（名称和描述）形式呈现。模型可以按需请求特定技能的全文，但这些技能不会预先加载。
• 收益： 这将提示词成本与技能库的总大小解耦，将成本限制在 $k$ 而非 $|S|$。

2.3 每会话：记忆增强的元进化 ($M_v$ 与 $E$)

VisualClaw 通过从失败中学习来不断改进。

• 记忆库 ($M_v$)： 正确解决的案例被存储为稠密嵌入。
• 进化器 ($E$)： 当达到失败阈值 ($N_{evo}$) 时，离线 LLM 进化器会分析失败轨迹 ($D_{fail}$) 以及检索到的高置信度记忆 ($R$)。
• 更新机制： 进化器提出新的技能 ($\Delta S$) 来更新技能库。测试了两种变体：
  • 拼接模式 (Concatenation, Cat.)： 直接将检索到的记忆附加到进化提示词中。
  • 引导模式 (Guided, Guide)： 添加前缀，指示进化器从记忆中抽象出可复用的技能，同时避免涉及特定场景的细节。
• 卫生管理： 过滤器防止技能膨胀：(F1) Token-Jaccard 去重拒绝重叠的技能名称；(F2) 每个技能的效用追踪器会剔除那些表现低于技能库平均准确率的技能。

3. VisualClawArena：一个新的基准测试

为了解决第三个差距（评估），作者引入了 VisualClawArena，这是一个包含 200 个场景的多模态智能体基准测试。

• 构建： 利用现有的视频数据集（Indoor/VSI, EgoSchema, QVHighlights）并辅以文档、聊天记录和可执行检查器进行构建。
• 流水线： 五阶段策展过程确保场景需要视频证据、具有有效的可执行检查，并防止文本泄露（即任务可以通过仅靠文本解决，而无需视频）。
• 任务结构： 场景涉及多步交互，智能体必须编辑文件、将视频证据与文本记录进行核对，并通过可执行检查。该基准测试包含 200 个场景，每个场景平均有 24.4 个步骤。

4. 关键结果

4.1 静态视频问答性能

在四个基准测试（EgoSchema, EgoPlan-Bench, Video-MME long, NextQA）上使用 Gemini 3 Flash 和 GPT-5.2 进行评估：

• 准确率： VisualClaw 的 “Guide” 变体（带有引导进化的流式处理）比纯基线平均提升了 +3.85%，在 EgoSchema 上峰值提升达 +15.80%（针对 Gemini 3 Flash）。
• 对比： VisualClaw 的流式配置在保持或提高准确率的同时，比 “Uniform-8” 离线基线（使用 8 帧均匀采样）降低了 +25.9% 的成本。
• 离线上限： 当相同的进化框架应用于离线 Uniform-8 基线时，准确率进一步提升了 +3.50% 至 +13.00%，确立了一个该流式版本接近的强有力上限。

4.2 VisualClawArena（智能体型）性能

使用 Codex (GPT-5.5) 和 Claude Code (Sonnet 4.6) 对 200 个场景进行评估：

• 准确率： 使用 “Cat.”（拼接）记忆模式的 VisualClaw 达到了最佳宏观准确率：54.27% (Codex) 和 52.16% (Claude Code)。这分别比无进化基线提升了 +2.9% 和 +3.2%。
• 难度： 自我进化栈在 “困难” 场景（难度 $\le$ 55% 基线准确率）中表现出最显著的增益，比基线提高了约 +5.3% 至 +5.4%。
• 观察： 与静态视频问答中 “Guided” 进化表现最佳不同，在智能体工作流中 “Cat.”（直接拼接）模式表现更优，这表明复杂的工具使用型智能体从原始的过程性轨迹中获益更多。

4.3 效率与成本

• API 成本降低： 与全帧上传（1 fps）相比，VisualClaw 将每个问题的 API 成本平均降低了 −98.1%。
• 峰值节省： 在长时程 Video-MME 基准测试（30 分钟片段）中，成本降低了 −99.3%（从每次运行约 \520 降至约 \3.63）。
• 帧数减少： 级联过程将发送到 API 的帧数从长片段的约 1,800 帧减少到平均每问题 5.41 帧，在短片段上甚至低至 1.13 帧。
• 边缘性能： 级联门控完全在 CPU 上运行，延迟极低（<10 ms），支持实时操作。

5. 重要性与主张

论文声称，VisualClaw 通过解决 流式成本、静态脚手架 和 缺失智能体评估 这三重挑战，为实时边缘应用（如 AI 眼镜）提供了天然的契合方案。

• 成本效益： 通过在边缘过滤帧并压缩技能库，VisualClaw 使实时、长时程的视频处理在经济上变得可行（例如，将 1 小时的会话从约 3,600 次 API 调用减少到 5–20 次）。
• 适应性： 自我进化机制允许智能体根据用户特定的失败进行个性化和持续改进，而无需昂贵的模型重训或权重更新。
• 基准测试： VisualClawArena 填补了文献中的关键空白，提供了一个经过验证的测试平台，用于测试必须在动态工作空间内运行的多模态智能体，超越了简单的多选题问答，转向可执行的、使用工具的任务。

作者总结道，结合混合编码和记忆引导的进化，使得高效感知和持续适应成为可能，使 VisualClaw 成为一种鲁棒的可部署多模态智能体框架。