想象一下，你正试图教一个机器人如何开车。你想让它能察觉到危险——比如行人踏下路缘，或者汽车突然刹车——就像人类那样。但这里有一个棘手的难题：有时，机器人会学习“捷径”。它们并不会真正理解什么是危险，而是可能仅仅因为在训练期间这样做很奏效，就学会了将“任何移动物体”都标记为危险。这就像一个学生记住了所有带有“狗”这个词的问题都是陷阱题，而不是在真正阅读故事。为了解决这个问题，科学家们在想：如果我们能在机器人学习时，展示人类在驾驶时是在“看”哪里呢？如果机器人看到人类在停车前会紧盯着红灯，也许它也会学会看向那里，而不是靠瞎猜。这个想法被称为使用“特权信息（privileged information）”——在练习阶段给学生额外的提示，而在最终考试时这些提示会被撤走，希望通过这些提示让学生学到正确的道理。
但问题在于，你如何获得这些提示呢？你不可能给每一位驾驶员都戴上价值百万美元、具有激光般精准度的眼动追踪头盔。所以，研究人员尝试使用普通的摄像头，就是那种内置在笔记本电脑或手机上的摄像头，来猜测人们在看哪里。他们建立了一个大规模实验，以观察这种廉价、简便的方法是否能教会自动驾驶汽车更加安全。他们收集了超过13.7万张快照，记录了人们在观看真实驾驶场景的行车记录仪视频时视线停留的位置。他们用各种类型的计算机大脑进行了测试，从简单的模型到非常复杂的、能够理解时间和序列的模型，甚至尝试了不同的“校准”方式来提高摄像头的准确性。他们想要看看，加入这些“人类在看哪里”的数据，是否能帮助机器人更好地发现危险。
简短的回答是：完全没用。研究人员发现，摄像头实在是太模糊、太不准确了，以至于根本无法发挥作用。他们发现，摄像头猜测的误差大约有196个像素宽。换个角度来看，他们试图识别的平均危险物体——比如停止标志、行人或交通灯——只有大约36个像素宽。想象一下，你试图用激光笔指向足球场上的一只小蚂蚁，但你的手抖得厉害，导致你的激光点覆盖了整个体育场。这基本上就是发生的情况。摄像头认为的人类注视点那个“圆点”太大了，以至于它同时覆盖了危险物体及其周围的一切。正因如此，机器人无法分辨人类是在看那个危险物体，还是仅仅在看它旁边的天空。
该团队做得非常彻底。他们并没有只做一次测试就放弃。他们尝试了“弱”校准（只需45次点击即可设置相机）和“超强”校准（440次点击）。他们测试了简单的模型，也测试了能够理解时间和序列的复杂模型。他们甚至在不同的随机设置下运行了五次实验，以确保他们不是碰巧运气好或运气差。在每一种情况下，结果都是一样的：摄像头的注视数据没有带来任何收益。事实上，数学计算表明，这种提升微乎其微，仅仅是随机噪声。研究人员得出结论：虽然利用眼动追踪来教机器人的想法非常高明，但廉家版的摄像头版本在物理层面上无法胜任这项工作，因为它的“视觉”太模糊，无法分辨细微且关键的细节。他们发表了这个“负面”结果，以避免其他科学家在同一个死胡同里浪费时间，证明了有时，知道什么行不通与知道什么行一样重要。
技术摘要：摄像头注视能否约束驾驶模型中的中层目标（Mesa-Objectives）？
问题陈述
自动驾驶系统面临着一个关键的安全挑战：开发出**中层目标（mesa-objectives）**的可能性。这些是训练过程中习得的内部目标，它们通过伪相关而非真正的危险识别来实现高性能（例如，模型学习到“标记所有移动物体”，而不是理解特定的风险）。
作者假设，在训练过程中引入人类注视模式作为特权信息（privileged information），可以约束可学习的中层目标空间。这种方法借鉴了利用特权信息的学习（LUPI）范式，其中注视作为“教师的提示”仅在训练期间可用，旨在引导模型转向真实的风险特征。然而，尽管之前的研究成功地使用注视作为特权信息，但它们依赖于具有亚度级精度的研究级红外眼动仪。本研究调查了基于摄像头（特别是 WebGazer.js）的眼动追踪——虽然易于获取但精度较低——是否能提供足够的信号来改进危险检测或约束中层目标。
研究方法
本研究采用了严谨的多阶段实验设计，旨在系统性地消除潜在的瓶颈（校准质量、模型复杂度和仪器精度）。
1. 数据采集流水线
- 素材来源： 从 20 多小时的行车记录仪视频（Tesla Model 3, HW3）中提取的 388 段独特的 15 秒片段，涵盖多种环境条件（雨、雪、眩光等）。
- 模拟平台： 一个交互式 Web 平台（React/TypeScript），40 名参与者在其中观看片段并通过空格键标记危险发生的起始与结束。
- 注视捕获： WebGazer.js 以约 10–15 Hz 的频率捕获注视坐标。
- 校准协议： 测试了两种不同的协议以评估校准影响：
- 预校准（Pre-calibration）： 9 点网格，共 45 次点击（47,524 个样本）。
- 后校准（Post-calibration）： 11 点圆环，共 440 次点击（90,139 个样本）。
- ETL 流水线： 通过四个阶段确保数据质量：
- 视口归一化（Viewport Normalization）： 针对不同的屏幕尺寸和黑边进行修正。
- 渲染延迟移除： 丢弃初始缓冲阶段。
- 人口统计学反应时间修正： 根据年龄相关的反应时间减慢进行调整（Der & Deary, 2006）。
- 特征提取： 生成了 137,663 条帧级记录，并富集了 50 多个特征（注视速度、加速度、空间离散度等）以及 YOLOv8m 视频嵌入。
2. 实验设计
进行了三次实验，每次使用 5 个随机种子，并使用配对 t 检验来评估统计显著性。唯一的变量是是否包含注视特征。
- 实验 1a（随机森林，预校准）： 测试在较弱校准协议下，基准性能与注视增强模型的表现。
- 实验 1b（随机森林，后校准）： 使用更高质量（440 次点击）的校准数据重复测试，以隔离校准质量这一变量。
- 实验 2（因果 Transformer，后校准）： 使用 2 层因果 Transformer（8.1M 参数）来消除模型复杂度作为混淆因素，严格执行因果律（仅利用过去的数据预测 0.5 秒后的情况）。
3. 几何分析
为了解释负面结果，作者进行了几何分析，将检测到的危险物体物理尺寸（通过 YOLOv8m 获取）与 WebGazer.js 报告的误差半径进行对比。
关键结果
在所有实验条件下，均未观察到显著的性能提升。
| 实验 |
模型 |
数据 |
平均 Δ AUC |
p-值 |
是否显著？ |
| 1a |
随机森林 |
预校准 |
+0.001 |
0.919 |
否 |
| 1b |
随机森林 |
后校准 |
+0.002 |
0.578 |
否 |
| 2 |
因果 Transformer |
后校准 |
+0.008 |
0.667 |
否 |
- 校准影响： 将校准样本从 45 个增加到 440 个提高了信号纯度（降低了离散度），但并未带来危险检测性能的提升。
- 模型复杂度： 更复杂的 Transformer 架构显示出略高的平均提升幅度（+0.008），但表现出高方差（范围从 -0.055 到 +0.052），证实这些结果是噪声而非信号。
- 几何根源： 分析表明，WebGazer 报告的误差半径（~196 px）是检测到的危险物体中值宽度（36 px）的 5.5 倍。此外，93% 的检测到的危险物体（包括行人、交通灯和停止标志）都小于注视误差半径。
意义与主张
论文得出结论：由于基础仪器精度的限制，目前的基于摄像头的眼动追踪不足以用于约束驾驶模型中的中层目标。
- 仪器感知评估： 作者强调，如果仅凭单次种子实验显示的 +7.4% 提升，可能会被误导性地作为正面发现发表。本研究证明了在安全关键型 AI 中进行多种子验证和根因分析对于避免假阳性现象的必要性。
- 物理上的不可能： 核心观点是，在此精度水平下，实现物体级的注视归因在物理上是不可能的；仪器无法区分驾驶员是在看危险物体还是在看其紧邻的场景。
- 基础设施的贡献： 虽然注视信号本身未能奏效，但作者提出了其数据采集基础设施（模拟平台、四阶段 ETL 流水线以及多种子评估框架）作为可复用的贡献。该流水线设计为可扩展，只需通过更换输入层，即可未来集成专门的、具有亚度级精度的眼动追踪硬件（如 Tobii）。
- 负面结果： 论文倡导发布严谨的负面结果，以防止其他研究人员在安全关键领域误入歧途，并促进诚实的评估标准。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。