💻 computer science

RL-AWB: Deep Reinforcement Learning for Auto White Balance Correction in Low-Light Night-time Scenes

本文提出了 RL-AWB，这是一个将统计学夜间光源估计算法与深度强化学习相结合的新型框架，旨在无需地面真值数据的情况下动态优化自动白平衡参数，并同时引入了一个全新的多传感器夜间数据集，以验证其在不同光照条件下的强大泛化能力。

原作者： Yuan-Kang Lee, Kuan-Lin Chen, Chia-Che Chang, Yu-Lun Liu

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuan-Kang Lee, Kuan-Lin Chen, Chia-Che Chang, Yu-Lun Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一个光线昏暗的派对上为朋友拍照。相机的自动“白平衡”功能会试图猜测光源是什么，以便让你的朋友肤色看起来自然，而不是发蓝或发橙。在日光充足的情况下，这很容易。但在夜晚？情况会变得一团糟。光线微弱，相机产生的噪点很多（就像旧电视上的静电一样），而且自动设置经常完全出错，导致你的照片看起来像是一团奇怪的、色彩偏移的混乱。

RL-AWB 的作者们决定通过教计算机扮演一名经验丰富的照片编辑师来解决这个问题，这位编辑师知道如何针对每一处夜景场景去精准地调节那些旋钮。

问题所在：“一刀切”的陷阱

大多数现有方法就像是一个无论面对什么食材都使用完全相同食谱的厨师。它们依赖于固定的规则或海量的训练数据数据库。论文指出，这些方法在黑暗中会失效，因为当环境过于黑暗且充满噪点时，光线行为的“规则”就会崩溃。此外，如果你在一个模型（比如 iPhone）上进行训练，当你切换到另一个设备（比如索尼）时，它往往会产生混乱，导致严重的色彩错误。论文明确排除了“仅仅向深度学习模型投入更多数据就能解决问题”的想法；事实上，他们发现标准的深度学习模型在低光照环境下难以实现跨相机的泛化。

解决方案：一个聪明的、循序渐进的侦探

作者并没有试图通过一次巨大的跨越来猜测答案，而是创建了一个名为 RL-AWB（用于自动白平衡的强化学习）的系统。你可以把这个系统想象成一名正在破解谜题的侦探，只不过他寻找的不是线索，而是照片中的色彩。

基础工具 (SGP-LRD)： 首先，他们构建了一个新的统计工具，称为 SGP-LRD。想象一下这是一个放大镜，它在照片中寻找“灰色像素”（即应该是中性灰色的像素）。在黑暗中，噪点使得寻找这些像素变得困难。这个工具很聪明：它会过滤掉那些带有噪点的“伪”灰色像素，并专注于可靠的像素，利用一种特殊的数学技巧（Minkowski 范数）来权衡证据。
侦探 (RL Agent)： 这就是见证奇迹的地方。他们不仅仅是让工具运行一次。他们训练了一个“强化学习”智能体——一个数字学习者，它在玩一场游戏。
- 游戏规则： 智能体观察照片和工具当前的设置。
- 动作： 它决定微调两个特定的旋钮：寻找多少灰色像素，以及对这些像素的权重分配有多严格。
- 奖励： 如果这次微调让颜色看起来更准确（通过测量“角误差”下降了多少来衡量），智能体会获得积分。如果情况变差，它就会失去积分。
- 策略： 智能体并不只是盲目猜测一次。它会进行 N 步（通常约为 3 次迭代）。它做一个小调整，检查结果，再做下一个小调整，以此类推，直到找到适合该特定图像的最佳设置。

“训练营”（课程学习）

教导这个智能体非常困难。如果直接把它扔进混乱的夜景场景，它会感到困惑。因此，作者使用了“课程学习”的方法。

第一阶段： 他们仅针对一张图像来教导智能体，直到它学会如何在找到理想答案时停止。
第二阶段： 然后，他们引入了一个包含 5 张图像的小型“班级”。智能体在这些图像上进行练习，循环往复，学习如何在不需要数千个样本的情况下，快速适应不同的光照条件。

新的游乐场：LEVI 数据集

为了证明其有效性，作者意识到现有的夜间照片数据集规模太小，且仅使用了一种相机类型。因此，他们创建了 LEVI（低光照傍晚视觉照明）数据集。

这是第一个多相机夜间数据集。
它包含 700 张图像，由两款截然不同的相机拍摄：一部是 iPhone 16 Pro，另一部是 Sony ILCE-6400。
ISO（感光度）范围从 500 到 16,000，涵盖了从黄昏到漆黑一片的所有场景。
每张图像都配有一个“色彩检查表”（已知颜色的图表），以提供色彩应有的“地面真值”（ground truth）。

结果：快速、准确且具有适应性

当他们测试这种方法时，结果令人印象深刻，但论文谨慎地将其界定为强有力的证据，而非万能灵药。

准确度： 在新的 LEVI 数据集上，他们的方法实现了 3.08° 的中值角误差，优于其他统计方法。
数据效率： 这是最大的亮点。虽然其他深度学习模型需要针对整个数据集进行训练才能表现良好，但 RL-AWB 在仅经过 5 张图像的训练后，就能达到相同或更好的效果。
跨传感器魔力： 当他们在 iPhone 数据上训练并在索尼数据上测试（反之亦然）时，RL-AWB 依然表现稳健。其他方法的效果大幅下滑（例如，误差率从约 3° 飙升至超过 13° 甚至某些模型的 28°）。而 RL-AWB 保持在较低水平，分别约为 3.03° 和 1.99°。这表明该方法对不同相机传感器具有鲁棒性。
白天的加成： 尽管它是为夜间设计的，但他们也在白天数据集（Gehler-Shi）上进行了测试，发现其表现依然出色，中值误差为 2.24°。

缺陷：过度校正

论文也坦诚地指出了其局限性。有时，如果初始猜测已经相当不错，智能体会变得有些“过度兴奋”并进行“过度校正”，导致图像比开始时稍微变差。他们称之为一种“失效模式”，即智能体增加了初始低估值中的误差。他们建议未来的工作将集中在如何让智能体在这些特定场景下更加谨慎。

总结

论文表明，通过将聪明的统计工具与能够循序渐进调整设置的学习智能体相结合，我们可以比以往更好地解决黑暗中的白平衡问题。它运行迅速（在高端 GPU 上每张图像约 1.1 秒），需要的训练数据极少，并且在更换相机时不会感到困惑。它不是一个完美的、已解决的问题，但它是教计算机看清黑夜的一个重要进步。

技术摘要：RL-AWB

问题陈述

自动白平衡（AWB）是相机图像信号处理（ISP）流水线中的关键组件，负责估计场景光源并校正色彩偏差。虽然现有方法在光照充足的白天场景中表现稳健，但夜间环境带来了根本性的挑战。低照度、高 ISO 设置和严重的色度噪声违反了传统 AWB 算法背后的统计假设，导致光源估计不稳定。此外，基于深度学习的方法虽然在白天效果显著，但通常需要大量的标注训练数据，并且在部署到未见过的相机传感器或不同光照条件下时，会遭遇严重的泛化性能退化。核心难点在于低光场景下可靠颜色统计信息的崩溃，以及算法参数对特定场景特征的高度敏感性，这使得跨传感器适配变得异常困难。

方法论

作者提出了 RL-AWB，这是一个将深度强化学习（DRL）与统计色彩恒常性算法相结合的新型框架，旨在解决夜间 AWB 问题。该方法将 AWB 建模为一个序列决策问题，由一个 RL 智能体根据输入图像动态选择统计估计器的最优参数，而无需地面真值（ground-truth）光源或参考图像。

1. 核心算法：SGP-LRD

该框架的基础是 SGP-LRD（具有局部反射差值的显著灰度像素），一种针对夜间场景设计的统计算法。

显著灰度像素检测： 该算法在窄带光谱假设下对线性图像进行建模。通过分析对数域中的局部对比度向量来识别无色（灰色）像素。像素的选择基于其与灰色方向的一致性。
精细化滤波器： 为了减轻低光图像中普遍存在的噪声和色度异常值，应用了两个滤波阶段：
- 局部方差滤波： 移除颜色信息不足（低像素内方差）的像素。
- 颜色偏差滤波： 移除与场景主导色调偏差显著的像素。
局部反射差值： 算法在重叠的 3x3 窗口内计算像素级的归一化局部反射差值。这种设计通过空间冗余放大了高信噪比（SNR）的灰色信号，同时抑制了孤立的伪噪声像素。
光源估计： 最终的光源通过 Minkowski 范数 ( $p$ ) 进行估计，该范数累积了加权的 SGP 强度和归一化局部差值。该算法依赖于两个可调超参数：灰度像素采样比例 ( $N$ ) 和 Minkowski 阶数 ( $p$ )。

2. 强化学习框架

RL-AWB 框架使用 Soft Actor-Critic (SAC) 算法来学习用于调整 SGP-LRD 的 $N$ 和 $p$ 参数的自适应策略。

状态设计： 状态向量结合了照明相关特征（对数色度 RGB-uv 直方图）和参数相关特征（近期参数调整的历史记录和时间步计数器）。至关重要的是，状态不包含地面真值光源，从而确保了可部署性。
动作设计： 智能体输出连续的相对动作，以更新 $N$ 和 $p$ 。动作经过采样、通过 tanh 函数压缩并重新缩放到有效范围，从而实现平滑且协调的参数调整。
奖励设计： 奖励信号基于相对于初始误差的角误差改善程度 ( $E_0 - E_t$ )。为了在不同初始难度的图像上稳定训练，奖励进行了归一化处理。一个难度感知放松机制会惩罚大幅度且不稳定的移动。当估计达到三个步骤的稳定性或达到收敛奖励时，回合（episode）结束。
课程学习： 训练采用两阶段课程学习：
1. 第一阶段： 单图像参数微调，以稳定行为并教会智能体检测收敛。
2. 第二阶段： 多图像自适应微调，通过在一个小型图像池（例如 5 张图像）上使用循环调度方案，以平衡探索与稳定性。

核心贡献

SGP-LRD 算法： 一种专为夜间场景定制的新型统计色彩恒常性算法，通过利用空间冗余和噪声感知滤波，在公开基准测试中实现了最先进的光源估计。
RL-AWB 框架： 首次将深度强化学习应用于夜间色彩恒常性。它实现了具有卓越数据效率的自适应逐图像参数优化，仅需极少量的训练图像（每个数据集 5 张）即可泛化到未见过的传感器。
LEVI 数据集： 引入了 LEVI（低光夜晚视觉照明）数据集，这是第一个包含来自两个不同系统（iPhone 16 Pro 和 Sony ILCE-6400）的 700 张线性 RAW 图像的多相机夜间数据集，并带有手动标注。该数据集促进了严格的跨传感器评估，填补了现有单传感器基准（如 NCC）的空白。

实验结果

实验在 NCC、LEVI 和 Gehler-Shi 数据集上进行。

统计基准方法： SGP-LRD 在 NCC 和 LEVI 数据集上均优于现有的统计方法（如 GE-1st, MSGP, GI），实现了最低的中值和平均角误差。
跨数据集泛化： 在跨数据集评估中（例如，在 NCC 上训练，在 LEVI 上测试，反之亦然），RL-AWB 展示了比全监督深度学习基准（如 FC4, C5, GCC）更强的鲁棒性。虽然深度学习模型由于领域和传感器的偏移而遭受严重的性能下降，但 RL-AWB 保持了具有竞争力的准确度。
数据效率： 尽管每个数据集仅使用 5 张图像进行训练，RL-AWB 的泛化能力仍优于使用完整数据集训练的模型。这突显了使用 RL 调节可解释的统计参数而非直接回归光源的有效性。
白天泛化： 当适配到光照充足的 Gehler-Shi 数据集时，RL-AWB 实现了最先进的泛化能力，与基础 SGP-LRD 算法相比，中值角误差降低了 5.9%。
消融研究： 与单步回归器（MLP 和 CNN）的比较证实，RL-AWB 的迭代优化机制允许进行误差纠正并从次优中间决策中恢复，其表现优于单步预测模型。

意义与主张

本文声称，RL-AWB 通过成功弥合统计方法的解释性和传感器无关性与基于学习的方法的自适应能力之间的鸿沟，迈出了重要一步。通过将 AWB 表述为一个序列决策问题，该方法避免了纯深度学习方法在低光、跨传感器场景下常见的大量数据需求和泛化失败问题。作者强调，该方法提供了一种实用的、兼容部署的解决方案，在推理时无需地面真值信息，同时能有效处理夜间成像中复杂的噪声条件。LEVI 数据集的引入也被强调为实现夜间色彩恒常性领域标准化跨传感器评估的关键贡献。