💻 computer science

Unwarping the Lens: A Physics-Grounded Approach to Video Glasses Removal

本文提出了 JFSnet，这是一个基于物理规律的视频眼镜去除框架，该框架通过合成数据增强和光学模拟，从商业生成模型中迁移多视图知识，以实现高保真、时序一致的修复，同时防止身份漂移。

原作者： Radim Spetlik, David Futschik, Radek Danecek, Feitong Tan, Ziqian Bai, Rohit Pandey, Yinda Zhang

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Radim Spetlik, David Futschik, Radek Danecek, Feitong Tan, Ziqian Bai, Rohit Pandey, Yinda Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字图像的世界里，面部是我们所知的最容易辨认的地标。我们能瞬间通过眼睛、鼻子和嘴巴的独特排列，识别出朋友、名人或陌生人。然而，当一个人佩戴眼镜时，一层复杂的光学屏障便横亘在观察者与真实的脸庞之间。镜片不仅仅是扁平的塑料片；它们是弯曲的表面，会弯曲光线，使其背后的特征放大或缩小，同时镜框也会投下阴影并产生锐利的反射。几十年来，计算机科学家一直试图教会机器从照片和视频中移除这些眼镜，希望能揭示眼镜下的真实面容。早期的尝试通常依赖于猜测隐藏的面部可能是什么样子，利用庞大的人脸库来填补空白。虽然这些方法有时能生成看起来合理的眼睛，但它们经常无法保留一个人的真实身份，会在无意中改变他们的表情、偏移他们的视线，或模糊掉那些让面部变得独特的精细细节。挑战在于，如何在去除眼镜的同时不丢失那个人。

一组研究人员现在开发了一种新方法，将眼镜的移除视为一个物理问题，而非一场猜谜游戏。他们不再要求人工智能去想象透镜之下隐藏着什么，而是构建了一个理解光线穿过玻璃时实际行为的系统。研究人员创建了一个流程，首先生成数千对合成的面部图像：一组显示不戴眼镜的人，另一组显示同一人戴着眼镜。为了确保这些配对完美对齐，他们使用了一种复杂的过滤过程，剔除了任何人物姿态或表情发生轻微漂移的图像。随后，他们并非仅仅依赖这些生成的图像，而是模拟了光的实际物理折射过程。他们计算了特定镜片如何弯曲来自人眼的 light（光线），从而创造出一种真实的畸变，让计算机可以学习如何将其逆转。这一过程使他们能够训练一个专门的网络，他们称之为“联合特征-空间网络”（joint feature-spatial network），使其充当眼镜的数字“撤销”按钮。

该方法的结果标志着机器理解和编辑视频方面迈出了重要一步。在对数千张高分辨率肖像进行测试时，该系统成功地移除了眼镜，同时保持了人物身份的完整，达到了以往方法无法比拟的细节水平。在人物移动且光线变化的视频序列中，该系统保持了稳定、无闪烁的结果，保留了视线的精确方向以及面部肌肉的细微运动。在与包括商业视频编辑器和基于图像的生成器在内的其他先进工具进行直接对比时，由于该方法能够让脸部看起来与原主一致，人类观察者一致更倾向于这种新方法。该系统运行速度极快，处理视频的速度接近每秒二十八帧，足以满足实时应用的需求。

研究人员还证明了他们的方法避免了早期技术的常见陷阱。许多先前的系统会“幻觉”出新的特征，例如改变一个人的瞳色或改变其微笑的形状，因为它们试图从头开始生成一张新脸。通过将训练建立在光学物理定律的基础上，新系统学会了仅仅逆转由镜片引起的畸变，从而揭示出原本就在那里的脸。这种区别至关重要：系统并非在发明一个新人，而是在揭开那个被遮挡的人。这项研究证实，通过将大规模图像生成器的创造力与物理学的严谨规则相结合，可以实现以前无法企及的保真度。这项工作表明，数字编辑的未来不仅在于生成新内容，更在于理解创造这些内容的物理现实。

技术摘要：解构镜片：一种基于物理学的视频眼镜去除方法

问题陈述

高保真地从视频中去除眼镜是一个具有挑战性的面部属性编辑问题。与标准的遮挡不同，眼镜是复杂的光学元件，会引入与深度相关的折射畸变和与视角相关的镜面反射，从而遮蔽底层的面部几何结构。依赖随机生成先验（如 GAN 或扩散模型）的现有方法难以将这些光学效应与真实的脸部结构分离。因此，这些方法经常会出现“身份漂移”现象，即恢复后的主体在表情、姿态或独特的结构特征上偏离了原始状态。此外，由于缺乏跨时间域的约束，逐帧应用此类模型往往会导致时间性闪烁。

方法论

作者提出了一种全新的迁移框架，旨在将大规模生成先验与物理修复原理相结合。该流水线由三个主要部分组成：数据策展、基于物理的增强以及专门的修复架构。

1. 生成式数据创建与过滤

训练数据使用 Nano Banana (Gemini 3 Pro Image) 进行合成，这是一种商业级生成模型。

合成： 对于每个合成身份，模型生成 13 组高保真图像集，捕捉多样化的头部姿态和表情，并分别包含佩戴和不佩戴眼镜的情况。
对齐： 为了解决生成模型固有的空间失配问题，作者采用了 尽可能保持刚性 (As-Rigid-As-Possible, ARAP) 的变形网格。通过地标约束和多尺度光度损失，将“洁净”的面部精确对齐到“佩戴眼镜”图像的姿态和配置。
过滤： 严格的三阶段过滤过程确保了数据质量：
1. L1 过滤： 通过背景和眼部误差分析，剔除头部姿态、注视方向或身份发生显著偏移的样本。
2. 结构一致性： 过滤掉生成模型引入非预期表情漂移的身份。
3. 重建代理： 使用轻量级 U-Net 进行初步修复；重建误差较高的身份（表明存在残留的失配或伪影）会被丢弃。
  该过程产生了一个包含 1,860 个身份（24,180 对图像）的精选数据集。

2. 基于物理学的训练增强

为了克服生成模型在光学效应方面的简化偏差，作者引入了一个在训练期间运行的基于物理学的增强流水线：

折射模拟： 利用 3D 参数化面部拟合和单目深度估计，系统模拟了镜片的物理特性。光线穿过由目标屈光度强度（使用 Vogel 定律）定义的球面镜面表面，并应用斯内尔定律（Sn Snell's law）来计算折射扭曲。这创建了一个密集的扭曲场 ( $W$ )，模拟了随深度变化的放大/缩小效果。
反射模拟： 镜面反射使用以主体肖像为条件的逆视图环境贴图生成，并在高动态范围 (HDR) 中进行模拟，以捕捉真实的亮度和变化的镜片涂层。
训练输入： 最终的训练输入 $I$ 是生成眼镜图像与物理模拟的洁净面部的组合：
$I = (1 - M_{lens}) \cdot G_{glasses} + M_{lens} \cdot (\mathcal{W}(G_{clean}) + \mathcal{R}) + \epsilon$
其中 $M_{lens}$ 是镜片掩码， $\mathcal{W}$ 是折射扭曲， $\mathcal{R}$ 是反射层。

3. JFSnet 架构

修复网络 JFSnet（联合特征-空间网络）直接在像素空间运行，以保留在潜空间扩散方法中经常丢失的高频细节。

编码器： 利用预训练的 DINOv2 (ViT-L/14) 编码器来捕获对局部畸变具有不变性的稳定语义身份先验。仅对最后四层进行微调。
解码器： 基于 ResNet 的卷积解码器用于重建精细的面部特征。
跳跃连接： 来自输入图像的直接跳跃连接绕过了信息瓶颈，确保网络保留未被眼镜遮挡的细节。
时间一致性： 为了在不使用昂贵流估计的情况下防止闪烁，模型在训练期间强制执行平移等变性。一个损失项 ( $\mathcal{L}_{temp}$ ) 强制网络与微小的空间偏移进行交换，确保恢复的特征随主体连贯移动。

核心贡献

确定性迁移框架： 作者将视频眼镜去除定义为生成先验向确定性前馈模型的离线迁移，结合了精选的生成集合与基于物理的增强。
JFSnet 架构： 一种混合 ViT-CNN 架构，集成了语义特征与空间重建，实现了身份保留和时间一致性。
基于物理的增强： 一个新颖的流水线，能够模拟真实的镜片折射和反射，使模型学会如何反转特定的光学畸变，而非仅仅依赖于幻觉生成。
全面的评估： 在精选的 FFHQ 和 CelebV-Text 数据集上进行了广泛评估，证明了该方法在注视保留、时间稳定性和结构保真度方面优于现有的先进基准模型。

结果

定量性能： 在 FFHQ 数据集（12,163 张图像）上，该方法实现了 0.379 的 Fréchet Inception Distance (FID) 和 0.632 的地标 L2 误差，性能超越了 Nano Banana、ProPainter 及各类扩散模型等基准。
推理速度： 该模型运行速度为 27.68 FPS，适用于实时视频应用。
感知研究： 在 CelebV-Text 视频序列的用户研究中，该方法在注视一致性、时间稳定性和整体修复质量方面，始终优于基于扩散和 GAN 的基准模型（包括 Runway Gen-4.5）。
消融实验： 实验证实，折射/反射模拟以及平移等变性损失对于实现低 FID 分数和时间稳定性至关重要。

重要性

本文声称弥补了大规模生成先验与物理修复之间的鸿沟。通过将生成模型的照片级真实感、多视角知识迁移到专门的架构中，并结合物理模拟数据进行训练，该方法在实现高保真结构准确性的同时，保持了实时性能。这项工作解决了随机先验在保留身份和表情方面的局限性，提供了一种尊重人类面部几何和光学约束的解决方案。作者将其定位为精准局部编辑领域的一大进步，从全局风格迁移转向了具有确定性可靠性的复杂光学遮挡处理。