Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition

这是一份关于论文《Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition》（基于多模态大模型的人类活动识别中利用眼动数据评估视觉提示的有效性）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
随着物联网（IoT）的发展，大型语言模型（LLM）被广泛用作基础模型来理解人类行为和上下文。然而，直接将高频、多维度的传感器数据（如眼动追踪数据）输入 LLM 面临两大主要问题：

1. 信息丢失与模式识别失败：LLM 的分词器（Tokenizer）专为自然语言设计，难以捕捉连续数值序列中的时间相关性，导致高频信号中的关键模式丢失。
2. 计算与 Token 成本过高：高频原始传感器数据会转化为极长的 Token 序列，不仅产生不可行的计算成本，还会引发“中间丢失”（Lost in the Middle）问题，导致模型忽略长序列中的关键时间模式。

研究目标：
探索一种**视觉提示（Visual Prompting）**策略，将眼动追踪传感器信号转换为数据可视化图像，作为多模态大模型（MLLM）的输入，以解决上述问题，并验证其在人类活动识别（HAR）任务中的有效性。

---

2. 方法论 (Methodology)

实验设计：

• 数据集：使用了三个公开的眼动追踪数据集，涵盖不同的采集设备和活动类型：
  • GazeBase：1000 Hz 采样率，桌面屏幕设备，6 类活动（如水平扫视、阅读等）。
  • SedentaryActivity：30 Hz 采样率，桌面屏幕设备，8 类自然主义桌面活动（如搜索、调试、写作）。
  • DesktopActivity：30 Hz 采样率，可穿戴式第一人称设备，6 类活动。
• 可视化策略：设计了三种主要的可视化类型，每种类型包含“原始数据”和“特征提取数据”两种变体：
  1. 时间轴（Timeline）：将 X/Y 坐标随时间变化绘制为线条（原始）或基于注视点/扫视特征绘制（特征）。
  2. 热力图（Heatmap）：将注视点分布叠加在刺激物上，展示注意力集中区域（原始点分布或基于注视点计数的特征）。
  3. 扫描路径（Scanpath）：描绘眼动轨迹，节点大小映射注视时长，颜色映射时间顺序。
• 基线对比：
  • 原始文本（Raw Text）：将 (x, y) 坐标序列直接作为文本输入。
  • 特征文本（Feature Text）：将注视点和扫视结构化为符号表示（如 F((x,y),t)）。
• 模型设置：使用 OpenAI 的 GPT-5.1 模型，在**零样本（Zero-shot）和单样本（One-shot）**设置下进行评估。
• 变量控制：
  • 测试了不同的时间窗口大小（10s 至 100s，以 10s 为步长）。
  • 评估了不同可视化类型、窗口大小及提示策略对识别准确率和 Token 消耗的影响。

---

3. 关键贡献 (Key Contributions)

1. 系统性评估框架：首次系统性地评估了多种眼动可视化技术（时间轴、热力图、扫描路径）作为 MLLM 视觉提示在 HAR 任务中的表现。
2. Token 效率与可扩展性证明：证明了视觉提示在处理高频传感器数据时，相比文本提示具有显著的 Token 效率优势，且 Token 消耗不随时间窗口长度线性增长。
3. 任务特定可视化选择的重要性：揭示了没有一种“万能”的可视化方法。不同的活动类型（如“阅读”vs“玩耍”）对不同的视觉特征（空间分布 vs 时间顺序）敏感度不同。
4. 窗口大小效应分析：发现了时间窗口大小对识别准确率的影响因数据集复杂度而异，复杂活动需要更长的时间窗口来捕捉行为模式。

---

4. 主要结果 (Results)

准确率表现：

• GazeBase 数据集：视觉提示表现优异。在单样本设置下，**原始热力图（Raw Heatmap）和原始时间轴（Raw Timeline）**达到了 0.811 的最高准确率，显著优于原始文本基线（0.539）。
• SedentaryActivity 数据集：随着窗口增大，准确率提升。热力图在大多数窗口下表现最佳（最高约 0.529），优于文本基线。
• DesktopActivity 数据集：整体准确率较低（约 0.3），且窗口大小和提示模态的影响不明显，可能受限于可穿戴设备的噪声或数据特性。
• 特征提取的影响：在某些情况下（如 GazeBase 的扫描路径），基于特征提取的可视化优于原始数据；但在其他情况下（如 SedentaryActivity 的热力图），原始数据表现更好。这表明适当的视觉抽象有时可以替代显式的特征提取。

Token 消耗与成本：

• 显著优势：视觉提示极大地降低了 Token 消耗。
  • 在 SedentaryActivity 的 100 秒窗口实验中，文本提示需要 83,901 个 Token，而视觉提示仅需 4,061 个 Token（20.7 倍的节省）。
  • 视觉提示的 Token 消耗是恒定的，不随时间窗口增加而增加；而文本提示的消耗随窗口线性增长。
• 可扩展性：视觉提示使得处理长时长传感器数据成为可能，避免了“中间丢失”问题。

可视化类型的差异：

• 热力图：擅长捕捉空间注意力分布，在“玩耍（Play）”等活动中表现优异。
• 扫描路径：擅长捕捉时间序列和眼动轨迹，在“阅读（Read）”等需要顺序关注的活动中表现更好。

---

5. 意义与展望 (Significance)

• IoT 领域的范式转变：该研究提出了一种无需训练（Training-free）的解决方案，利用 MLLM 预训练的世界知识和视觉推理能力来处理传感器数据，降低了构建 IoT 应用的门槛。
• 解决高频数据瓶颈：通过视觉编码，成功解决了高频传感器数据输入 LLM 时的 Token 爆炸和上下文限制问题，为长时序数据分析提供了可扩展的架构。
• 设计指导：研究结果表明，在构建基于 MLLM 的 IoT 系统时，必须根据具体的任务行为特征（如空间分布 vs 时间顺序）选择合适的可视化策略，而非盲目使用单一格式。
• 未来应用：除了基础的活动识别，该框架有望支持更高级的推理任务，如推断用户的注意力状态、任务参与度或认知负荷，从而推动泛在计算（Ubiquitous Computing）和智能系统的发展。

局限性：

• 依赖闭源模型（OpenAI API）。
• 目前准确率仍低于传统的监督学习方法。
• 主要局限于 HAR 任务，在更开放的现实世界 IoT 场景中的泛化能力需进一步验证。

总结：
这篇论文证明了将眼动数据转化为可视化图像作为 MLLM 的输入，是一种高效、低成本且可扩展的方法。它不仅在 Token 消耗上具有巨大优势，还能通过选择合适的可视化形式（如热力图或扫描路径）来有效捕捉不同的人类活动模式，为未来基于大模型的智能感知系统提供了重要的设计依据。