PixIE: Prompted Pixel-Space Low-Light Image Enhancement
PixIE 是一种前馈像素空间低光照图像增强框架，它利用 DINOv3 语义提示、跨尺度去噪以及高效的空间 - 通道压缩，在重建保真度和感知质量两方面均显著优于最先进的方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一张在非常昏暗的房间里拍摄的照片。当你尝试在手机上提亮它时，通常会发生两件坏事：要么画面变得颗粒感很重（就像老式电视上的雪花噪点），要么细节变得模糊，看起来像一幅水彩画。这是因为计算机不知道那些黑暗且充满噪点的像素实际上代表什么。那个颗粒状的斑点是一粒灰尘，还是衬衫的纹理？
本文介绍了一种名为PixIE的新工具，旨在修复这些昏暗的照片。请将 PixIE 不仅仅视为一种“提亮器”，而应将其视为一位智能侦探，它利用“超级视觉”指南来清理混乱，同时不丢失细节。
以下是 PixIE 的工作原理，分解为简单的步骤：
1. “超级视觉”指南（基础模型）
通常，当计算机尝试修复昏暗照片时，它们是基于以往见过的模式进行猜测。但在非常昏暗且充满噪点的照片中，这些猜测往往会失败。
PixIE 引入了一位名为DINOv3的“超级视觉”专家。想象 DINOv3 是一位受过高度训练的艺术评论家，看过数百万张图片。即使在昏暗、杂乱的照片中，这位评论家也能看着一个模糊的形状说：“那肯定是一棵树”，或者“那是人的脸”，即使计算机尚未看清细节。PixIE 利用这位专家的知识来指导清理过程，确保计算机知道它正在尝试恢复什么。
2. 第一步：“噪音吸尘器”（跨尺度去噪）
在计算机尝试添加细节之前，它必须先消除严重的噪点。如果你试图在一块沾满泥浆的画布上绘制一幅细节丰富的图画，只会弄得一团糟。
PixIE 首先将照片通过一个“噪音吸尘器”。它从最小的细节到大的形状清理图像，去除颗粒状的雪花噪点，同时保持基本结构（如建筑物的轮廓）完好无损。关键在于，它在向“超级视觉”专家寻求帮助之前就完成这一步，以免专家被噪点混淆。
3. 第二步：“智能画笔”（像素空间增强）
这是 PixIE 真正巧妙的地方。大多数其他工具以“图块”（像马赛克一样）工作，即一次修复图像的一个方块。这通常会在方块连接处留下难看的接缝或线条，就像一块拼凑不整齐的被褥。
PixIE 对每一个单独的像素进行单独处理，但处理过程非常平滑。
- 邻里守望（MRPE）： 在“绘画”之前，PixIE 会询问每个像素：“你的邻居在做什么？”这有助于它区分真实的纹理（如毛衣的编织纹路）和随机噪点。
- 连续调制（DPPB）： PixIE 不使用“超级视觉”专家对整个图块给出粗略指令，而是将专家的建议转化为平滑、连续的指令，适用于每一个单独的像素。想象一位指挥家领导一个乐团，每位乐手都获得独特且完美定时的音符，而不是仅仅告诉整个声部“大声演奏”。这确保了最终图像中没有锯齿状的线条或接缝。
4. 第三步：“高效管理者”（空间 - 通道压缩）
通常，修复高分辨率照片中的每一个单独像素非常缓慢，并且需要庞大的计算机。PixIE 使用了一种称为空间 - 通道压缩的技巧。
想象这就像整理行李箱。与其试图松散地携带每一件物品（这会占用太多空间），PixIE 将衣物整齐折叠并适度压缩，使其刚好能放入一个较小的袋子中，进行处理，然后再完美地 unpack。这使得 PixIE 能够在不需要超级计算机的情况下，完成修复每个像素的繁重工作，既快速又高效。
结果
当作者测试 PixIE 时，发现它生成的照片具有以下特点：
- 更锐利： 它恢复了其他工具平滑掉的那些精细细节（如标志上的文字或织物纹理）。
- 更干净： 它去除了噪点，同时没有让图像看起来像塑料或模糊。
- 更自然： 它避免了当工具以不同方式修复图像的不同部分时出现的奇怪色彩偏移或“块状”外观。
简而言之，PixIE 就像给照片编辑者提供了一副眼镜，能在黑暗中看清物体的“真实”形状，同时配备了一支能平滑且高效地触碰照片上每一个点的画笔，从而产生清晰、自然的图像。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。