💻 computer science

Breaking the Scalability Limit of Multi-Projector Calibration with Embedded Cameras

本文提出了一种新颖的校准框架，将相机嵌入目标表面以捕获同步投影，从而在保持高精度的同时，将多投影系统的校准时间从与投影仪数量呈线性关系降低至近乎恒定。

原作者： Takumi Kawano, Kohei Miura, Daisuke Iwai

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Takumi Kawano, Kohei Miura, Daisuke Iwai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对该论文的解读。

问题：“逐个进行”的瓶颈

想象一下，你正在调校一个由 25 名歌手（投影仪）组成的庞大合唱团，让他们在巨大的舞台（墙壁或屏幕）上完美和谐地演唱。按照旧有的方法，你必须让每位歌手唱一个特定的音符，等待指挥（相机）听到后，再让下一位歌手做同样的事。

如果你有 25 名歌手，就必须重复这个过程 25 次。歌手越多，耗时就越长。这就是论文中提到的“可扩展性限制”。对于拥有数十台投影仪的庞大系统而言，校准过程变得极其缓慢且枯燥，因为你无法让它们同时“演唱”；否则，它们的声音会混成一团难以分辨的噪音，指挥也无法将其理清。

解决方案：给舞台装上“眼睛”

研究人员想出了一个巧妙的办法：不再让相机站在观众席试图聆听歌手的声音，而是将微型相机直接嵌入舞台本身（即校准板）中。

可以这样理解：

旧方法： 房间后排的人试图猜测哪位歌手在发出什么声音，但当所有人同时说话时，那只是一片噪音。
新方法： 每位歌手的嘴部都内置了一个微型麦克风。即使 25 位歌手完全同时说话，每个麦克风也只会听到来自其特定方向的声音。

通过将相机平贴在校准板上，系统可以纯粹根据光线射入相机的角度，来区分是来自投影仪 A 还是投影仪 B 的光线。这就像你的耳朵能分辨声音是来自左侧还是右侧一样。即使光束在板子上相互交叉，嵌入式相机也能将它们分离，因为它们来自不同的方向。

“轻微歪斜”的修正

这里有一个小麻烦。当你制造一块内置相机的板子时，很难让相机的“眼睛”（光学中心）完美地平贴在表面上。它通常会稍微高一点或低一点，就像一条稍微太长的桌腿。

如果不解决这个问题，数学计算就会变得混乱，投影仪也无法完美对齐。作者们创建了一种特殊的“校正算法”，用于精确测量相机歪斜的程度，并在数学上将其“扶正”。这就像是一个软件更新，告诉系统：“嘿，你的眼睛向左倾斜了 2 毫米，所以让我们调整图像以进行补偿。”

结果：速度与清晰度

该团队制造了一个带有四个相机的原型板，并用多达 25 台投影仪进行了测试。他们的发现如下：

速度： 新方法不再需要数小时逐个校准 25 台投影仪，而是可以一次性完成所有工作。他们将所需的图案数量减少了95%。速度从线性的苦差事（投影仪越多=时间越多）变成了近乎恒定的速度（投影仪越多=几乎不增加额外时间）。
精度： 有了“歪斜”修正，对齐的清晰度与旧有的缓慢方法一样锐利。事实上，由于相机就在板子上，图像有时甚至比使用房间远处的相机更清晰。
强光环境： 该系统即使在明亮的阳光下也能工作。因为嵌入式相机直接“注视”投影仪的光线，所以不会被冲淡图像的 ambient light（环境光）所迷惑，而房间里的相机则会看到被冲淡、不可见的图案。

总结

该论文提出了一种通过校准板本身作为传感器来校准多台投影仪的新方法。通过将相机嵌入板中，系统可以同时“聆听”所有投影仪，并根据方向分离它们的信号。这打破了旧有的速度限制，使得庞大的投影仪阵列能够快速、精确地部署，即使在明亮的环境下也是如此。

以下是论文《利用嵌入式相机突破多投影仪校准的可扩展性限制》的详细技术总结。

1. 问题陈述

传统多投影仪校准系统面临根本性的可扩展性瓶颈。

顺序要求：为了校准多个投影仪，必须按顺序投射和捕获结构光图案（例如格雷码）。如果同时投射来自多个投影仪的图案，它们会在目标表面上重叠，导致外部相机因漫反射而无法区分单个图案。
线性时间复杂度：因此，校准时间和工作量随投影仪数量线性增加（ $O(M)$ ，其中 $M$ 为投影仪数量）。
影响：这阻碍了需要数十或数百个投影仪的大规模系统的部署，例如高亮度堆叠、超分辨率显示、光场显示和阴影抑制系统。

2. 方法论

作者提出了一种新颖的校准框架，用嵌入相机的板取代了传统的打印校准靶标。

A. 核心概念：逆向设置

系统不使用外部相机观察从目标反射的图案，而是将相机直接嵌入校准靶标中，使其光心与板平面齐平。

方向编码：当多个投影仪同时投射结构光时，来自不同投影仪的光线以不同的入射角进入嵌入式相机。
分离：由于相机基于方向捕获光线（类似于光场相机），即使图案在板表面空间上重叠，系统也能区分特定像素观察到的光线是由哪个投影仪发出的。

B. 校准过程

图案投射：所有 $M$ 个投影仪同时投射结构光图案（用于粗略 ID/位置的格雷码、用于亚像素精度的线移图案）以及用于编码投影仪 ID 的二进制时间序列。
数据捕获：嵌入式相机捕获光线。对于每个接收光线的相机像素，系统解码：
- 投影仪 ID（来自时间序列）。
- 投影仪像素坐标 ( $p_m$ )（来自格雷码和线移图案）。
- 相机像素坐标 ( $c_n$ )。
对应关系：这建立了投影仪像素与板上相机光心之间的对应关系。通过重复此过程以获取多个板姿态，利用张氏法估计内参和外参。

C. 未对准补偿

一个关键的技术挑战是，由于镜头外壳和复合光学元件，嵌入式相机的光心无法与物理板表面完美对齐。

问题：如果光心存在偏移，光线在板上的交点 ( $x_n$ ) 会因投影仪不同而变化，从而引入几何误差。
解决方案：作者引入一个离线校准步骤，为每个嵌入式相机估计一个单应性变换 ( $M_n$ )。
- 他们从已知投影仪位置向嵌入式相机投射单条线。
- 外部相机测量该光线与板的交点。
- 此数据将相机像素坐标映射到真实的板交点坐标，从而在校准主阶段补偿光学偏移。

3. 主要贡献

可扩展性突破：该方法将所需的投射 - 捕获周期数从相对于投影仪数量的线性 ( $O(M)$ ) 减少到近乎恒定 ( $O(1)$ )。所有投影仪均在单次批次中完成校准。
方向分离：它利用入射方向作为分离键，解决了“图案重叠”问题，实现了对重叠结构光的同步解码。
对环境光的鲁棒性：由于嵌入式相机直接接收光线（高对比度）而不是依赖漫反射，即使在高强度环境照明下（例如户外阳光），系统仍能正常工作，而传统方法则会失效。
高精度补偿：所提出的算法有效校正了光心未对准，实现了与或优于传统方法的亚像素精度。

4. 实验结果

作者使用带有 4 个嵌入式相机的原型板进行了验证，并进行了多达 25 个投影仪的实验。

对准精度：
- 在 2 投影仪实验中，带有补偿的所提方法达到了与传统方法相当的对准精度（RMS 重投影误差 < 1.0 像素）。
- 若无补偿，误差增加至约 2.4 像素，验证了校正算法的必要性。
- 在 25 投影仪实验中，补偿后的方法产生的图像比传统方法更清晰。传统方法由于外部相机距离板较远，导致表观分辨率较低，而嵌入式相机位于源头。
效率：
- 25 投影仪系统：传统方法需要 1,100 个图案（每个投影仪 44 个）和约 12 分钟。所提方法总共仅需54 个图案，图案数量和时间的减少了 95%。
环境光鲁棒性：
- 在约 70 klux（直射阳光）的户外进行测试。所提方法成功分离并解码了图案，而传统的外部相机方法由于图案被冲淡而完全失败。
分离极限：该系统成功分离了角间距小至0.88 度的投影仪。

5. 意义

这项工作解决了投影映射和多投影仪系统中存在四十年的可扩展性问题。通过将范式从“观察反射”转变为“定向捕获”，作者实现了：

快速部署：大规模阵列（例如用于光场显示的数百个投影仪）现在可以在几分钟内完成校准，而不是数小时或数天。
新应用：它促进了复杂系统的实际应用，如阴影抑制显示和高亮度堆叠，这些系统以前因校准过于困难而难以实现。
未来潜力：嵌入式相机捕获的方向数据为未来的进一步改进打开了大门，例如估计镜头像差、孔径形状，并在未来的迭代中减少所需的板姿态数量。