🤖 AI

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite 是一种轻量级的、基于设备端的双过程注视点预测器，它通过根据预测的注视点精确裁剪视频，为多模态大语言模型实现高效能的自我中心视频理解，从而在无需专用眼动追踪硬件的情况下，保持描述质量并能在消费级硬件上实时运行。

原作者： Matteo Stoiber, Niels Buus Lassen

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Matteo Stoiber, Niels Buus Lassen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你戴着一副智能眼镜，它能通过你的眼睛观察世界，并描述你正在做的事情。这项技术有望帮助外科医生回忆复杂的术式，引导机械师进行维修，或通过叙述周围环境来协助视障人士。为了实现这一目标，眼镜必须将视频流发送给一个能够理解图像和语言的强大人工智能系统。然而，这里存在一个显著的瓶颈：传输高清视频需要海量的数据，远超小型可穿戴设备能够轻松传输或处理的范围。理解这些视频的计算机系统在面对过多的视觉信息时也会感到吃力，往往会被庞大的像素量所淹没。

研究人员发现了一种通过专注于人实际注视区域来解决这一数据问题的聪明方法。系统不再发送整个宽阔的视野，而是可以裁剪视频，仅显示佩戴者目光聚焦的小区域。这使计算机需要处理的数据量减少了约百分之九十，使任务变得更快且更便宜。直到现在，这种方法仍需要集成在眼镜中用于精确追踪眼球运动的特殊且昂贵的硬件。如果没有这种专用硬件，系统就无法知道该看向哪里，从而使得智能眼镜的潜力无法在日常消费者中得到实现。

一组研究人员现在已经证明，专门的眼动追踪传感器实际上并非必要。他们开发了一款轻量级的软件程序，仅通过分析视频流本身就能预测一个人的注视位置。这个名为 EgoGazeLite 的程序可以直接在标准的智能手机上运行，并且其准确度足以取代昂贵的硬件传感器。研究人员通过将视频片段输入人工智能系统，并根据真实的眼动追踪数据或软件的预测进行裁剪，随后要求人工智能描述视频中的动作。结果显示，基于预测注视点生成的描述与基于真实眼动追踪数据生成的描述几乎完全一致。在每一个测试案例中，该软件的预测表现都与硬件测量结果一样出色，证明了该系统可以在没有专门传感器的情况下正常工作。

该软件本身非常高效。它的体积足够小，可以在消费级硬件（如现代智能手机中的处理器）上实时运行，在不到二十二毫秒内即可完成每一帧视频的预测与裁剪。这种速度至关重要，因为这意味着系统可以跟上实时视频流而不会产生延迟。研究人员利用数千小时的人类执行各种任务（从烹饪、修理自行车到踢足球和进行心肺复苏）的视频对该软件进行了训练。当他们在新的、未见过的视频上测试该系统时，它成功地高精度识别了人的注视位置。该软件通过学习两种不同的注意力机制进行工作：一种是基于场景中视觉明亮或移动的部分，另一种是基于人前一时刻的注视位置。它结合这两个线索来猜测下一个焦点。

为了确保研究结果的稳健性，研究人员并没有依赖单一的评估方法。他们使用了两个不同的语言大模型来生成视频描述，并让自动化评分系统和其他先进的人工智能模型对这些描述进行评判。他们将预测注视点产生的描述与来自硬件传感器的真实数据（ground truth）以及仅裁剪屏幕中心的简单基准进行了对比。结果非常明确：预测注视点产生的描述明显优于中心裁剪法，并且在统计学上与基于硬件的注视点描述无法区分。事实上，软件预测与真实的眼动追踪数据如此接近，以至于在他们进行的十个不同测试场景中，其差异小到无法被测量为显著差异。

这项工作消除了实现注视感知型人工智能的一个主要障碍。通过证明软件模型可以取代硬件传感器，研究人员表明，未来的智能眼镜不需要再承担昂贵且耗电的眼动追踪组件。该系统现在可以部署在任何带有摄像头和标准处理器的设备上，为广泛的日常活动开启了负担得起的实时辅助之门。尽管该研究是在特定的数据集和模型上进行的，但结果表明了构建此类系统的一种根本性转变：即从依赖专门硬件转向利用智能、轻量化的软件，仅通过观察我们所见，即可理解人类的注意力。

技术摘要：EgoGazeLite

问题陈述

在可穿戴设备上部署用于第一视角视频理解的多模态大语言模型（MLLMs）受到严格 Token 预算的限制。MLLMs 通常通过视觉 Transformer 对视觉输入进行编码，其内存和计算成本随视觉 Token 数量线性扩展，而 Token 数量又取决于视频的分辨率和时长。高分辨率视频在大规模传输和处理方面成本过高。

先前的工作（特别是 GazeLLM）通过在处理前围绕佩戴者的注视点裁剪视频帧来解决这一问题，在保持描述质量的同时，将视觉 Token 减少了约十倍。然而，GazeLLM 完全依赖于专门的眼动追踪硬件，而目前的消费级智能眼镜并不具备该硬件。这为实现 Token 高效、受注视引导的理解设置了门槛。核心挑战在于：一个纯软件实现的注视预测器是否可以在不降低下游 MLLM 性能的前提下，准确地替代硬件测量的注视，并保持足够轻量，以便在智能手机的功耗和计算预算内运行。

方法论

EgoGazeLite 架构

作者提出了 EgoGazeLite，一种专为设备端部署设计的轻量级双过程注视预测器。它基于 Huang 等人 [10] 确定的强非 Transformer 基线构建，但引入了三项架构改进以降低计算成本：

共享骨干网络（Shared Backbone）： 用单个共享的 EfficientNet-Lite4 骨干网络（由 ImageNet 权重初始化）取代了独立的空域和时域流。
特征级时间差分（Feature-Level Temporal Difference）： 用简单的特征级减法（ $\Delta F = \text{BatchNorm}(F_t - F_{t-1})$ ）取代了稠密光流，以捕捉运动。
残差融合（Residual Fusion）： 用在 Logit 空间运行的残差融合模块取代了非线性卷积融合，使注意力图能够在不饱和的情况下锐化或抑制显著性预测。

该架构由以下部分组成：

自下而上路径（Bottom-up Path）： 仅从视觉输入计算显著性热图（ $G^s_t$ ），并结合了一个可学习的 2D 高斯中心偏差，以解释第一视角下的注视偏差。
自上而下路径（Top-down Path）： 根据注视历史追踪注意力。它从前一注视位置提取通道权重，通过门控 LSTM（由在线 I-DT 注视/扫视决策控制）进行传播，并将这些权重应用于当前帧特征，以生成注意力热图（ $G^a_t$ ）。
融合（Fusion）： 使用残差模块将 $G^s_t$ 和 $G^a_t$ 结合，生成最终的预测热图 $G_t$ ，并通过 argmax 提取注视坐标。

注视引导裁剪流水线

系统遵循 GazeLLM 协议：

输入： 来自 Ego-Exco4D 数据集的 30 fps、1404×1404 源剪辑。
处理： 以 1 fps 进行帧采样。一个固定的 448×448 窗口以注视坐标（由 EgoGazeLite 预测或来自眼动追踪器的真值）为中心进行裁剪。
条件： 研究对比了四种条件：全分辨率、真值注视裁剪、预测注视裁剪以及中心裁剪（基线）。
评估： 裁剪后的剪辑被输入到 MLLMs（Gemini 2.5 Flash 和 Pro）中生成逐步的活动描述。这些描述根据自动化指标（BLEU、ROUGE-L、SBERT）和 LLM 评判员（Claude Sonnet 4.6、GPT-4o）针对全分辨率参考进行评分。

实验设置

数据集： Ego-Exo4D（Project Aria Gen 1 眼镜）。在七个领域进行训练（烹饪、足球、医疗、自行车维修、舞蹈、攀岩、音乐）；篮球为留出集。
替代测试集： 一个包含六个任务类别的留出集，共 138 个剪辑，确保与训练集无重叠。
硬件评估： 整个流水线在 iPhone 15 Pro 上进行了测试，以测量端到端延迟。

核心贡献

用预测注视替代测量注视： 本文证明了轻量级模型预测的注视可以替代硬件测量的注视，用于 GazeLLM 流水线。在两种 MLLMs、三种自动化指标和两个 LLM 评判员的测试中，预测注视裁剪在下游描述质量方面与真值注视裁剪没有显著差异。
等效性确认： 通过双单侧检验（TOST），作者在所有十个评估单元（2 种 MLLMs × 5 种指标/评判员）中确认了等效性。预测条件与真值条件之间的差异小于合并标准差的一半，满足了主要等效性边界。
EgoGazeLite 的高效性： 该模型实现了 15.7M 参数和 6.71 GFLOPs 的性能，与之前的最先进第一视角注视模型（Huang 等人 [10] 和 Lai 等人 [13]）相比，FLOPs 降低了 8.6 倍。
实时设备端性能： 完整的注视与裁剪流水线在消费级加速器硬件（iPhone 15 Pro Neural Engine）上以 21.6 ms/帧（约 46 FPS）的速度端到端运行，使其具备实时部署的可行性。

结果

准确度： 在分布内验证集上，EgoGazeLite 实现了 8.33° 的平均角误差（AAE）和 0.9655 的 AUC。
下游质量：
- 在所有指标上，预测注视裁剪和真值注视裁剪的表现均显著优于中心裁剪基线。
- 预测注视裁剪与真值注视裁剪之间的差异在统计学上是不显著的（最小校正 p 值 = 0.054）。
- 效应量（ $d_z$ ）始终很小（< 0.17），完全符合 Cohen 关于微弱效应的惯例。
- 等效性检验（TOST）确认，在所有十个案例中，这两个条件在中等效应边界（0.5× 合并 SD）下是统计等效的，并在四个案例中在严格的小效应边界（0.2× 合并 SD）下也是等效的。
延迟： EgoGazeLite 的前向传播约占流水线时间的 41%（8.9 ms），其余时间用于图像处理（裁剪、缩放）。该流水线支持高达 30 FPS 的采样率，远高于下游 MLLM 所需的 1 FPS 要求。

意义与主张

本文声称，EgoGazeLite 消除了注视引导的 MLLM 第一视角视频理解对专用眼动追踪硬件的严格前提。通过证明轻量级的纯软件预测器可以在不降低 MLLM 生成描述质量的前提下替代硬件测量的注视，这项工作使得在消费级智能眼镜和智能手机上进行 Token 高效、注视引导的视频处理成为可能。

作者强调，这一结果打通了注视预测与设备端 MLLM 输入之间的闭环。虽然该研究在范围上保持谦逊——承认未在相同的拆分下与之前的模型进行直接的头对头准确度比较，且尚未测试其在未见领域或其他 MLLM 系列上的泛化能力——但其核心发现是：这种替代在所测试的任务和模型中是经验有效的。这改变了从依赖硬件的注视系统向面向任何第一视角摄像机的软件驱动解决方案转型的范式。