💻 computer science

Lightweight Unpaired Smartphone ISP Transfer with Semantic Pseudo-Pairing

本文提出了一种轻量级、7K 参数的 CNN，用于无配对智能手机 ISP，该网络利用 DINOv2 语义嵌入和融合 Gromov-Wasserstein 最优传输来构建伪配对，通过有效解决数据未对齐问题而无需对抗训练，在 NTIRE 2026 挑战赛中取得了顶尖性能。

原作者： Yujin Cho, Flavien Armangeon, Yanhao Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yujin Cho, Flavien Armangeon, Yanhao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一盒未经处理的生食材（智能手机传感器拍摄的RAW照片），以及一盒烹饪完美、美味可口的佳肴（你希望呈现的目标 RGB照片）。本文的目标是教会计算机如何将生食材转化为美味佳肴。

棘手之处在于？你并没有一份食谱，能确切地告诉你哪种生食材对应哪道特定的菜肴。事实上，生食材和成品菜肴位于不同的房间，你必须猜测哪些是匹配的。这被称为"非配对"问题。

以下是作者如何利用简单的类比来解决这一问题的：

1. 问题：“错配的拼图”

通常，要教会计算机烹饪，你会给它看一个生鸡蛋以及它变成的那个确切煎蛋。但在这个挑战中，计算机只能看到一堆生鸡蛋和一堆煎蛋，没有任何标签告诉你哪个鸡蛋变成了哪个煎蛋。

风险：如果计算机猜错了（例如，它试图将生鸡蛋变成牛排），它就会学到错误的知识，从而制造出一团糟（颜色错误、奇怪的伪影）。
旧方法：以前的方法试图强迫计算机通过复杂且不稳定的“对抗”游戏来进行猜测（就像伪造者试图欺骗侦探），这往往导致结果不稳定。

2. 解决方案：两步“配对”策略

作者没有盲目猜测，而是建立了一个智能的配对系统，在训练计算机之前先创建伪配对（虚假但可靠的匹配）。

步骤 A：“语境”侦探（全局匹配）
想象你有一堆拼图碎片。如果只看其中一块，很难知道它该拼在哪里。但如果你先把整幅图画拼好，就能看清整体的语境。

作者将小的图像块（碎片）拼接在一起，以观察完整场景。
他们使用了一种智能 AI（称为DINOv2），它充当“语义侦探”。它不仅仅看颜色，还能理解图片中是什么（例如，“这是日落”，“这是森林”）。
他们使用了一种名为最优传输的数学工具（将其想象为一位超高效的物流规划师），根据场景的氛围和结构，将生“食材”与最相似的目標“菜肴”进行配对，而不是随机猜测。

步骤 B：“微调”厨师（图像块匹配）
一旦找到了最佳匹配的完整场景，他们就回到单个拼图碎片（图像块）。

他们检查来自生场景的特定碎片是否与该匹配对中的目标场景的特定碎片相匹配。
这创建了一份可靠的“源食材 A" $\rightarrow$ “目标菜肴 A"配对列表，即使它们最初并未配对。

3. 厨师：微小而高效的厨师

一旦拥有了这些可靠的“虚假”配对，他们便训练了一个神经网络（即厨师）。

秘诀：他们没有建造一个巨大复杂的厨房，而是打造了一位微小、轻量级的厨师，仅拥有7,000 个参数（想象一位工具带非常精简、专注的厨师）。
为何如此小？ 作者意识到，对于智能手机照片而言，图像的结构（形状、边缘）在原始传感器中已经基本存在。主要任务仅仅是色彩校正（让天空变蓝，草地变绿）。
一位大厨师试图重建整栋房子；而这位小厨师只是重新粉刷墙壁。这使得它快速、稳定，并且非常适合手机。

4. 结果：完美平衡的佳肴

该论文声称，他们的方法实现了：

高质量：照片看起来自然，色彩准确，没有奇怪的斑块或棋盘格图案。
高效性：他们的“小厨师”（7K 参数）的表现几乎与使用数百万参数的其他团队的“大厨师”一样好，但轻量得多。
稳定性：由于他们首先使用了智能配对，训练过程没有变得混乱或不稳定，而这通常是在尝试从未配对数据中学习时发生的情况。

总结类比

将其想象为学习绘制风景画。

旧方法：你得到了一桶灰色粘土和一桶彩色颜料，但没有说明。你试图通过试错来猜测哪种粘土会变成哪种颜料，往往会弄得一团糟。
本文的方法：
1. 首先，你观察整个风景以理解氛围（日落还是清晨）。
2. 你将灰色粘土与属于该特定氛围的彩色颜料进行匹配。
3. 你聘请了一位微小、专业的艺术家，他只懂得如何混合颜色（而不懂得如何绘制形状）。
4. 结果是一幅美丽、准确的画作，快速完成，且无需庞大的团队。

该论文得出结论：对于智能手机相机而言，找到正确的匹配比拥有一个庞大复杂的模型更重要，当你没有完美的训练数据时，简单、专注的方法效果最佳。

技术摘要：基于语义伪配对的轻量级非配对智能手机 ISP 迁移

问题陈述
本文解决了在非配对设置下学习智能手机图像信号处理器（ISP）的挑战。传统的学习型 ISP 方法依赖于来自同一场景的配对 RAW–RGB 数据，这些数据收集成本高昂且通常特定于设备。在非配对场景中，模型必须学习将 RAW 传感器数据映射到目标 sRGB 图像，而无需对齐的 ground truth。如果采用朴素的匹配策略，这种场景和色彩的对齐缺失会导致训练不稳定、监督噪声以及色彩不一致。具体背景是 NTIRE 2026 学习型智能手机 ISP 挑战赛，其目标是从分块输入中重建全质量图像，且没有配对的目标数据。

方法论
所提出的方法是一个两阶段流水线，旨在构建可靠的伪配对并训练一个紧凑的色彩映射网络。

预处理与全局上下文恢复：
- 输入 RAW 分块（256×256）通过固定流水线转换为伪 RGB：白/黑电平归一化、白平衡（增益 1,1,1,1）、去马赛克（DemoisacNet）、去噪（FFDNet）和伽马校正（ $\gamma=2.2$ ）。
- 由于数据集由分块组成，该方法首先从训练分块重建完整图像，以恢复全局场景上下文，这对于语义匹配至关重要。
语义伪配对构建（由粗到细）：
- 图像级匹配： 该方法利用 DINOv2（ViT-S/14）特征检索语义相似的源 RAW 和目标 RGB 完整图像。为了处理 RAW 与 sRGB 之间的域差异，它采用了 融合 Gromov-Wasserstein (FGW) 最优传输。这结合了域内结构一致性（源集和目标集内部的风格/纹理相似性）与域间配对成本。传输计划对候选项进行排名，保留前 10 个匹配项。
- 分块级细化： 在前 10 个匹配的目标图像内，第二阶段匹配选择特定的分块。此阶段仅使用 DINOv2 语义描述符，因为局部对应关系由语义捕捉比由全局统计捕捉更好。
- 一致性： 分块级传输权重由图像级检索分数调节，以确保从全局到局部的一致性。预先计算稀疏匹配图，为每个源分块保留前 8 个候选项。在训练期间，目标伪分块根据匹配权重成比例的概率从该集合中采样。
网络架构：
- 核心模型是一个仅包含 7,000 个参数 的轻量级残差 CNN。
- 它接收预处理后的 3 通道 RGB 输入，并预测残差色彩校正。
- 该架构由两个卷积层（隐藏维度 128）组成，后接一个用于通道混合的 $1\times1$ 卷积。该设计专注于色彩变换，同时保留从固定预处理流水线继承的结构信息。
训练策略与损失函数：
- 阶段 1（色彩对齐）： 生成器在不使用对抗损失的情况下进行训练，采用加权的以下损失组合：
  - 矩损失 (Moment Loss)： 对齐通道均值和标准差。
  - 直方图损失： 在 YUV 空间中对亮度 ( $L_Y$ ) 和色度 ( $L_{UV}$ ) 使用软直方图损失。 $L_{UV}$ 的权重更高，以抑制全局色彩偏差。
  - Gram 损失： 使用冻结的 VGG19 编码器鼓励风格和纹理一致性。
  - 全变分 (TV) 损失： 抑制噪声和振荡伪影。
- 阶段 2（感知细化）： 引入基于 hinge 的对抗损失，权重较低，以在不破坏色彩一致性的情况下细化感知质量。使用 PatchGAN 判别器。

主要贡献

两阶段伪配对流水线： 一种从分块重建完整图像以恢复全局上下文的方法，随后进行由粗到细的匹配（先图像级后分块级），以在非配对设置中构建可靠的伪输入 - 目标对。
基于最优传输的语义匹配： 将 DINOv2 嵌入与融合 Gromov-Wasserstein 最优传输相结合，将预处理后的 RAW 图像与目标 RGB 图像关联起来，在缺乏配对数据的情况下提供鲁棒的监督。
紧凑的色彩映射网络： 一个专为色彩渲染而非结构变化设计的高效网络（7K 参数），证明了当与可靠的伪监督配对时，轻量级模型在非配对 ISP 任务中可优于更大的基线模型。

结果
在 NTIRE 2026 非配对 ISP 挑战赛隐藏测试集上，该方法取得了以下成绩：

PSNR： 22.569（第 4 名）
SSIM： 0.675（第 3 名）
$\Delta E$ (CIE 2000)： 8.067（第 3 名）
平均排名： 三项指标平均排名为 3.33。

该方法显著优于基线（基线得分为 22.569 PSNR 中的 20.91，0.675 SSIM 中的 0.567，8.067 $\Delta E$ 中的 10.93），同时使用的参数量比其他表现优异的条目少约 1,000 倍（例如，第 1 名团队使用了 29M 参数）。

意义与主张
本文主张，对于非配对智能手机 ISP，伪监督的质量比网络架构的复杂性更为关键。结果表明：

可靠的伪配对： 通过由粗到细的匹配和最优传输构建语义相关的伪配对，对于稳定训练和连贯的色彩迁移至关重要，优于随机配对或朴素的 k-NN 匹配。
全局约束优于表达性： 在具有噪声伪标签的非配对设置中，稳定的全局色彩约束（通过简单的 $1\times1$ 卷积实现）比高度表达性的渲染头（如 3D LUT）更有效，后者倾向于过拟合色彩不一致性并引入伪影。
效率： 专注于色彩变换而非结构重建的轻量级设计对于移动部署而言是充分且可取的，以最小的计算成本实现了具有竞争力的性能。

作者得出结论，非配对 ISP 通过可靠的伪配对构建和轻量级色彩映射来处理，比仅通过对抗性图像到图像翻译来处理更为可取。