技术摘要：三视图几何中的三焦点张量

问题陈述

在多视图计算机视觉中，三焦点张量（$T$）是编码三个视图之间投影关系的根本代数对象。虽然该张量本质上是一个 $3 \times 3 \times 3$ 的三阶对象，但标准文献（如 Hartley 和 Zisserman）通常将其表示并处理为三个 $3 \times 3$ 矩阵（$T_1, T_2, T_3$）的集合。这种“分块矩阵”方法依赖于特设的展开、非均匀的索引以及跨视图的不对称性，从而掩盖了张量固有的多线性属性。此外，现有公式通常通过单独的矩阵操作而非统一的代数框架来处理点、线及混合对应关系。本文旨在解决建立一个坐标无关、对称且定义严谨的三焦点张量共形张量代数的需求，以促进更好的理论理解、退化检测以及与现代计算框架的集成。

方法论

作者利用共形张量代数重新构建了三焦点张量，用定义良好的多线性算子（外积和收缩）取代了矩阵切片。

1. 对称表示： 不同于不对称的矩阵切片表示法，该张量使用协变下标索引 $T_{ijk}$ 进行定义。张量直接通过规范相机矩阵 $P = [I|0]$，$P' = [A|a_4]$ 和 $P'' = [B|b_4]$ 的外积表示进行构造：
   $$T = A^\top \times b_4 - B^\top \times_2 a_4$$
   其中 $\times$ 和 $\times_2$ 表示特定的外积模式。

2. 统一约束： 所有几何对应约束（点-点-点、线-线-线、点-线-线等）都通过该共享代数内的单一收缩运算导出。例如，线-线-线对应关系表示为 $l = T *_{2} l' *_{3} l''$，而点-点-点约束则通过与反对称矩阵的收缩来公式化。

3. 秩特征分析： 本文分析了模式-$k$ 展开（矩阵化）$T[k] \in \mathbb{R}^{3 \times 9}$。文中证明，对于非退化配置（非共线相机中心），所有三个展开均具有满行秩（$rank(T[k]) = 3$）。相反，任何展开的秩亏损都证明了退化配置的存在（特别是共线相机中心）。

4. 估计算法：

   • 线对应关系： 利用三线性约束构建了一个线性求解器，需要 $N \ge 27$ 个线三元组。
   • 点对应关系： 推导了一种归一化直接线性变换（NDLT）。通过利用点-点-点约束中反对称矩阵的秩-2 结构，作者将系统从每个三元组 9 个方程减少到 4 个独立方程。这使得最小求解器仅需 $N \ge 7$ 个点三元组。
   • 参数约简： 研究表明，张量由 24 个相机参数（在比例因子意义下）决定。作者构建了一个线性映射 $t = Mw$，将估计问题从 27 个张量分量减少到 24 个参数，从而在进行线性估计时直接强制执行张量的结构约束。

5. 极点提取： 引入了一种利用与单位矩阵的双收缩迹（double contractive traces）进行直接极点提取的新方法（例如 $e'' \sim T *_{(2,3)} I_3$），从而绕过了切片分解的过程。

核心贡献

本文明确区分了对经典结果在新符号下的重新推导与真正的创新贡献：

1. 外积表示： 紧凑公式 $T = A^\top \times b_4 - B^\top \times_2 a_4$（定理 4.3），实现了张量流形的 24 参数双线性参数化。
2. 精确秩特征： 证明了在非退化设置下，所有 $k$ 均满足 $rank(T[k]) = 3$，且秩亏损可证退化（定理 4.7）。这提供了一个近乎零成本的退化报警器（通过三个$3 \times 9$ SVD）。
3. 直接极点提取： 一种无需切片分解即可通过与单位矩阵的双收缩迹提取极点的方法（定理 4.26）。
4. 自动微分集成： 展示了坐标无关的收缩运算与 PyTorch 中的 einsum 操作是一一对应的。由此产生的 24 参数双线性参数化作为一个结构先验，能够防止非线性精化过程中的精度漂移，这与非结构化的 27 参数精化不同。

实验结果

本文通过合成数据和真实世界实验验证了所提框架：

• 合成数据：

  • 完美数据： 线性求解器以机器精度（$\approx 10^{-15}$）恢复了地面真值张量。
  • 噪声数据： 非线性精化（Levenberg-Marquardt）相比仅使用线性估计，将估计误差降低了约 53.5%。
  • 自动微分实验： 在 PyTorch 中，结构化的 24 参数精化保持了线性解的精度，而非结构化的 27 参数精化由于违反了张量流形约束，导致误差显著增加（从 $\approx 10^{-14}$ 增加到 $\approx 10^{-4}$）。
  • 退化检测： 秩测试正确识别了重合的相机中心（秩降至 2），但对于一般的共线配置仍能保持满秩，证实了该报警器具有“充分但不必要”的特性。

• 真实世界数据（Oxford Corridor 序列）：

  • 张量成功过滤了那些能通过成对基础矩阵检查的异常值，起到了严格的验证层作用。
  • 在近退化场景（前向运动、平面墙壁）中，张量的传递映射保持准确（中值误差 $\approx 3.2$ px），而通过极点提取进行的位姿恢复性能有所下降，这与理论秩分析一致。

意义与主张

本文声称该重构提供了一个坐标无关的多线性框架，其特点是：

• 统一了经典的点、线及混合对应约束到单一的代数结构中。
• 阐明了张量的结构属性，特别是其展开的精确秩条件，这为鲁棒的退化诊断提供了依据。
• 架起了经典投影几何与现代深度学习流水线之间的桥梁。通过将张量操作直接映射到自动微分框架（PyTorch/TensorFlow），作者证明了张量的代数结构可以作为强大的结构先验，消除了非结构化优化中常见的漂移现象。

作者总结道，尽管束调整（Bundle Adjustment）和学习型对应关系在现代运动恢复结构（SfM）中占据主导地位，但三焦点张量仍然是理论、标定、鲁棒验证和运动分割的基石。所提出的多线性工具箱被视为扩展这些概念至四视图及通用多视图张量构建的基础。