DRIFT: Deep Restoration, ISP Fusion, and Tone-mapping

本文提出了 DRIFT,一种高效的 AI 移动相机处理流程,它通过对抗感知损失训练的多帧处理网络实现对齐、去噪、去马赛克和超分辨率,并结合可调节且与参考管线保持一致的新型深度学习色调映射模块,从而在移动端设备上从手持 RAW 图像生成高质量 RGB 图像。

Soumendu Majee, Joshua Peter Ebenezer, Abhinau K. Venkataramanan, Weidi Liu, Thilo Balke, Zeeshan Nadir, Sreenithy Chandran, Seok-Jun Lee, Hamid Rahim Sheikh

发布于 2026-04-07
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

想象一下,你拿着手机在夕阳下拍了一张照片,或者在昏暗的餐厅里拍了一张美食照。手机里的“大脑”(图像信号处理器,ISP)需要在几秒钟内把一堆原始、模糊、充满噪点的照片,变成一张清晰、色彩鲜艳、明暗细节都完美的照片。

这篇论文提出的 DRIFT,就是给手机相机装上了一个**“超级智能修图流水线”。它把原本复杂的修图过程分成了三个主要步骤,就像是一个“三位一体”的魔法团队**:

1. 第一步:DRIFT-MFP(“超级清洁工与拼图大师”)

任务: 把一堆模糊、有噪点的原始照片(Raw 数据)变清晰。

  • 普通做法: 以前的手机可能会把几张照片简单叠加,或者用很笨重的算法去噪,结果要么照片糊了,要么细节没了。
  • DRIFT 的做法:
    • 多帧融合: 想象你手里拿着相机,手稍微抖了一下,拍了一连串(比如 11 张)照片。DRIFT 就像一个超级拼图大师,它能精准地把这 11 张照片里每一张的微小细节都找出来,对齐,然后拼在一起。
    • 去噪与超分辨率: 它不仅能擦掉照片上的“雪花点”(噪点),还能像变魔术一样,把原本模糊的小图“脑补”成高清大图(超分辨率)。
    • 核心黑科技: 它使用了一种叫 NAFNet 的轻量级网络,就像是一个身手敏捷的清洁工,不需要像以前的重型机器那样消耗大量电量,就能在手机上跑得飞快。而且,它用了一种特殊的“对抗训练”方法,就像让两个 AI 互相“找茬”,直到照片完美得连专家都挑不出毛病。

2. 第二步:Fusion ISP(“曝光融合师”)

任务: 把不同亮度的照片合二为一。

  • 场景: 手机通常会同时拍一张“正常曝光”的照片和一张“短曝光”(为了保留高光细节,比如太阳或灯光)的照片。
  • DRIFT 的做法: 这个模块就像一位高明的调酒师,把“正常曝光”的浓郁色彩和“短曝光”的清晰高光完美地混合在一起,形成一张**高动态范围(HDR)**的图像。这张图里,既能看到阴影里的细节,又不会让亮处过曝变白。

3. 第三步:DRIFT-TM(“智能调色师”)

任务: 把那张“高动态范围”的图,变成我们手机屏幕上能显示的好看照片。

  • 痛点: 手机屏幕显示不了那么宽的亮度范围。以前的方法要么把照片调得太假,要么一旦调好就不能改了。
  • DRIFT 的做法:
    • 残差学习(打补丁): 它不重新画整张图,而是先快速生成一张“基础版”照片,然后只负责**“打补丁”**——哪里不够亮补哪里,哪里对比度不够加哪里。这就像给衣服做最后的精修,既快又好。
    • 全局视野(防拼缝): 以前的 AI 为了省内存,把大图切成小块(Tile)分别处理,结果拼起来时,块与块之间的颜色或亮度会不连贯,像拼凑的补丁。DRIFT 有一个“全局视野”模块,就像总指挥,确保每一块小补丁的颜色和亮度都跟整张大图协调一致,看不出接缝。
    • 可调节性(调音台): 这是最酷的地方!DRIFT 允许你在拍照后实时调整照片的风格。
      • 想要更强烈的对比度?拉一下滑块。
      • 想要更柔和的高光?调一下参数。
      • 不需要重新训练 AI! 就像给音乐加混响,你只需要转动旋钮,AI 就能立刻生成不同风格的照片,既保留了 AI 的智能,又保留了人工调色的灵活性。

总结:为什么 DRIFT 很厉害?

  1. 快: 整个流程(从拍 11 张原片到出最终照片)在最新的手机芯片上只需要 4 秒钟。这意味着你拍完照,不用等太久就能看到大片。
  2. 好: 它解决了以前 AI 修图容易出现的“网格状伪影”(看起来像格子布)和“拼缝不自然”的问题,照片看起来更真实、更自然。
  3. 灵活: 它不是死板的算法,而是一个可定制的调色台。用户可以根据自己的喜好,在几秒钟内把照片调成“电影感”、“清新风”或“高对比度”等不同风格。

一句话总结:
DRIFT 就像给你的手机相机请了一位全能管家:它先帮你把一堆乱糟糟的原始素材整理得井井有条(去噪、超清),然后像调酒师一样混合出完美的光影(HDR 融合),最后像一位经验丰富的摄影师,根据你想要的风格,瞬间把照片调得恰到好处,而且整个过程快得让你几乎感觉不到等待。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →