论文技术总结：See Through the Noise: Improving Domain Generalization in Gaze Estimation

1. 研究背景与问题定义 (Problem)

核心问题：
现有的目光估计（Gaze Estimation）方法在跨域泛化（Domain Generalization）任务中表现不佳，主要原因是标签噪声（Label Noise）。

• 噪声来源： 目光数据集的标注极其困难，受人类注意力不稳定、光照变化、头部姿态和遮挡等因素影响，导致大规模数据集中存在大量标注误差（如 Gaze360 数据集中存在明显偏离真实目光方向的标签）。
• 现有方法的局限：
  1. 大多数域泛化方法（如对抗学习、对比学习）专注于学习域不变特征，却忽略了源域标签中的噪声。
  2. 现有的噪声标签学习（Noisy Label Learning, LNL）方法主要针对分类任务（离散类别），难以直接应用于目光估计这种回归任务（连续角度）。在回归任务中，噪声是连续偏差而非类别错误，导致难以界定“干净”与“噪声”样本的边界。
  3. 简单的标签修正往往只能提升源域性能，无法解决源域与目标域之间的分布差异，甚至可能因过拟合噪声而损害泛化能力。

研究目标：
从缓解标签噪声的新视角出发，解决目光估计中的域泛化问题，在提升跨域泛化能力的同时，不牺牲源域精度。

---

2. 方法论 (Methodology)

作者提出了名为 SeeTN (See-Through-Noise) 的框架，旨在通过构建语义流形（Semantic Manifold）来识别噪声样本，并利用干净样本的信息正则化噪声样本。主要包含以下三个核心步骤：

2.1 语义流形构建 (Semantic Manifold Construction)

为了捕捉目光特征的语义结构并解决回归任务中特征与标签连续性的问题：

• 原型变换： 将提取的特征 $f$ 通过 MLP 映射并投影到单位超球面上，得到 $z$。
• 原型学习： 在超球面上随机初始化 $K$ 个原型（Prototypes）$\mu_k$，并通过指数移动平均（EMA）更新，使其代表特征的语义中心。
• 拓扑结构保持： 构建语义流形 $M$，计算流形上的特征亲和度矩阵 $A^{(m)}$（基于原型投影的余弦相似度）和标签亲和度矩阵 $A^{(g)}$（基于真实目光标签的余弦相似度）。
• 对齐约束： 最小化 $A^{(m)}$ 和 $A^{(g)}$ 之间的差异，强制特征空间保持与标签空间一致的拓扑结构，确保相似目光方向的样本在特征空间中距离相近。

2.2 噪声样本识别 (Noise Identification)

利用构建好的语义流形来区分干净样本和噪声样本：

• 指示器 $\eta$： 定义了一个基于交叉熵的指标 $\eta_i$，用于衡量样本 $x_i$ 的特征分布（在流形上的相对关系）与标签分布（在标签空间中的相对关系）之间的不一致性。
  • 公式：$\eta_i = -\sum \hat{y}^{(g)}_{i,j} \log \hat{y}^{(m)}_{i,j}$
• 划分策略： 根据 $\eta$ 值对样本排序，将 $\eta$ 值较大的前 $t\%$ 样本划分为噪声集 ($D_S^N$)，其余为干净集 ($D_S^C$)。
  • 注：$\eta$ 值大意味着特征与标签的相对关系不一致，极可能是噪声标签。

2.3 噪声鲁棒正则化 (Noise-Robust Regularization)

针对划分后的不同样本集，设计差异化的损失函数：

• 干净集 ($D_S^C$)：
  • 直接使用真实标签监督目光估计损失 ($L_{gaze}$)。
  • 施加流形对齐损失 ($L_{align}^C$)，强制其特征亲和度矩阵与标签亲和度矩阵对齐，强化语义结构。
• 噪声集 ($D_S^N$)：
  • 不直接使用不可靠的标签进行监督。
  • 利用干净样本学习到的流形亲和度矩阵 $A^{(m)}$ 作为“教师”，通过特征级亲和度对齐 ($L_{align}^N$) 来约束噪声样本的特征。
  • 具体做法是最大化噪声样本与干净样本之间的特征亲和度与流形亲和度的余弦相似度，从而将干净样本的监督信号“转移”给噪声样本，使其学习域不变的目光相关特征。

总损失函数：
$$L_{all} = L_{gaze} + L_{align}^C + \lambda L_{align}^N$$

---

3. 主要贡献 (Key Contributions)

1. 首创视角： 首次系统性地从标签噪声的角度研究目光估计的域泛化问题，揭示了噪声对跨域性能的负面影响。
2. SeeTN 框架： 提出了一种新颖的 SeeTN 框架。
   • 通过基于原型的变换构建语义流形，解决了回归任务中连续标签的拓扑结构保持问题。
   • 设计了基于特征 - 标签亲和度一致性的噪声检测指标 $\eta$。
   • 提出了针对干净和噪声样本的差异化正则化策略，实现了从干净样本到噪声样本的知识迁移。
3. 实验验证： 在多个跨域设置（如 Gaze360 $\to$ MPIIFaceGaze, ETH-XGaze $\to$ EyeDiap 等）下进行了广泛实验，证明了该方法在提升泛化能力的同时保持了源域精度。

---

4. 实验结果 (Results)

4.1 性能对比

• 基线提升： 在 ResNet-18 和 ResNet-50 骨干网络上，SeeTN 在四个跨域设置中均显著降低了平均角度误差（MAE）。例如，在 DG $\to$ DM 设置下，ResNet-18 的误差从 7.94° 降至 6.57°（提升 17.2%）。
• SOTA 对比： 在 Gaze360 作为源域时，SeeTN 的表现显著优于 PureGaze, GazeCF, CGaG, AGG 等现有最先进方法。
• 噪声学习对比： 与专为分类设计的 DivideMix 和目光估计专用的 SUGE 相比，SeeTN 在跨域场景下表现最佳，证明了其针对回归任务噪声处理的优越性。

4.2 消融实验

• 损失函数有效性： 移除 $L_{align}^N$（噪声正则化）或 $L_{align}^C$（干净对齐）均导致性能显著下降，证明了两者缺一不可。
• 参数敏感性： 原型数量 $K=12$ 和噪声比例 $t\%=10\%$（针对 Gaze360）为较优设置。
• 指标有效性： 使用提出的 $\eta$ 指标比传统的 $L_1$ 小损失准则更能准确识别噪声样本。

4.3 定性分析

• 特征可视化 (t-SNE)： 基线模型的特征聚类主要受头部姿态影响，而 SeeTN 的特征聚类紧密跟随目光方向，且保持了目光角度的连续性（顺时针/逆时针变化平滑）。
• 噪声检测可视化： 低 $\eta$ 值样本的标签准确，高 $\eta$ 值样本标签错误但模型预测准确，验证了 $\eta$ 指标能有效识别噪声且模型对噪声具有鲁棒性。

---

5. 意义与结论 (Significance & Conclusion)

• 理论意义： 填补了目光估计领域在“噪声标签学习”与“域泛化”交叉研究的空白，证明了在回归任务中显式处理标签噪声对于提升泛化能力至关重要。
• 实用价值： 提出的 SeeTN 框架不需要目标域数据，即可在复杂的真实世界场景（如光照变化、不同设备采集）中实现鲁棒的目光估计，且无需牺牲源域训练精度。
• 未来方向： 作者指出当前的噪声/干净样本划分策略相对简单，未来计划结合更先进的噪声标签学习方法与语义流形，以实现更精准的样本划分。

总结： 该论文通过“透过噪声看本质”的思路，利用语义流形和亲和度正则化，成功解决了目光估计中因标注噪声导致的泛化瓶颈，为构建更鲁棒的目光交互系统提供了新的技术路径。