Bridging Day and Night: Target-Class Hallucination Suppression in Unpaired Image Translation

本文提出了一种基于薛定谔桥框架的无配对图像翻译新方法,通过设计双头判别器检测目标类幻觉并利用类原型在特征空间中抑制这些幻觉,从而显著提升了日转夜翻译任务中下游检测性能。

Shuwei Li, Lei Tan, Robby T. Tan

发布于 2026-02-18
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文主要解决了一个让自动驾驶和夜间视觉系统非常头疼的问题:“无中生有”的幻觉

想象一下,你有一个超级厉害的 AI 画家,它的任务是把白天的照片变成夜晚的照片。这个画家不需要有人告诉它“这棵树在左边,那辆车在右边”(因为它是“非配对”学习,就像看了一堆白天图和一堆夜晚图,自己悟)。

但是,这个画家有个坏毛病:它太想表现得像“夜晚”了,结果经常瞎编乱造

  • 明明路边什么都没有,它却画出了红绿灯
  • 明明没有车,它却画出了车尾灯
  • 明明只是路灯,它却画成了交通信号灯

在论文里,这叫**“目标类别的幻觉”**(Target-Class Hallucination)。这对自动驾驶是致命的,因为如果 AI 以为路边有个红绿灯,它可能会急刹车,导致交通瘫痪甚至事故。

这篇论文就是给这位“画家”装上了**“防幻觉眼镜”“记忆锚点”,让它学会:“该亮的地方亮,不该亮的地方千万别乱画。”**


核心比喻:如何教 AI 不乱画?

作者用了三个聪明的招数:

1. 给裁判装上“透视眼”(双头判别器)

以前的裁判(判别器)只看画得“像不像夜晚”。如果画里多了个假红绿灯,裁判反而觉得:“哇,这画得真像夜晚,有灯光!”于是给高分。

  • 新招数:作者给裁判装了一个**“透视眼”**(分割头)。
  • 怎么工作:裁判不仅看整体像不像,还要拿着白天的原图(作为参考)去对比。如果原图里那个位置是空地,但画出来的夜晚图里却有个红绿灯,裁判就会大喊:“停!这里原图没有东西,你这是在瞎编(幻觉)!”
  • 结果:AI 画家知道只要乱画,就会被扣分,所以它不敢乱画了。

2. 建立“标准答案库”(类别原型)

AI 有时候会困惑:“到底什么样的东西才算真正的‘车’?什么样的东西算‘背景’?”

  • 新招数:作者给 AI 准备了一个**“标准答案库”**(原型)。
  • 怎么工作:这个库收集了所有真实夜晚里“车”、“人”、“红绿灯”的特征。这就好比老师给 AI 看了一堆真正的夜晚照片,告诉它:“记住,真正的车长这样,真正的红绿灯长这样。”
  • 作用:如果 AI 在背景里画了一个像红绿灯的东西,这个“标准答案库”就会报警:“不对!这个‘红绿灯’离真正的红绿灯特征太远了,它是假的!”

3. 玩“推远游戏”(对比学习抑制)

这是最关键的一步。当 AI 在背景里画出了一个“假红绿灯”时,系统会启动**“推远游戏”**。

  • 怎么工作:系统会抓住那个“假红绿灯”的特征,用力把它推开,推得离“标准答案库”里的真红绿灯特征越远越好。
  • 比喻:就像你在教孩子认字。孩子把“猫”画成了“狗”。你不仅告诉他“这是错的”,还要把“猫”和“狗”的概念在脑子里彻底分开,让他明白:背景里的东西,绝对不能长得像“猫”。
  • 结果:背景里的空地就老老实实保持空地,不会莫名其妙长出红绿灯了。

为什么要这么做?(实际效果)

这就好比给自动驾驶系统做**“夜间特训”**。

  • 以前:用旧方法把白天图转成夜晚图,虽然看着挺像,但里面全是假红绿灯假车灯。拿这些图去训练自动驾驶的“眼睛”(检测器),结果就是:车在路上看到假红绿灯就急刹车,或者把路灯当成行人。
  • 现在:用了这篇论文的方法,生成的夜晚图干净多了。
    • 数据说话:在著名的 BDD100K 数据集上,自动驾驶检测车的准确率(mAP)提升了 15.5%
    • 最牛的地方:对于那些最容易“瞎编”的红绿灯类别,准确率直接提升了 31.7%

总结

这篇论文就像给 AI 画家请了一位严格的“事实核查员”

以前,AI 画家为了追求“像夜晚”,不惜无中生有,乱画各种灯光和物体。现在,通过**“透视眼”(发现哪里乱画了)和“标准答案库”(把乱画的东西推开),AI 学会了“实事求是”**。

它依然能把白天变成美丽的夜晚,但绝不再在空地上凭空变出红绿灯。这让生成的图片不仅能“看”,还能真正用来训练自动驾驶汽车,让它们晚上开车更安全、更聪明。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →