Bridging Day and Night: Target-Class Hallucination Suppression in Unpaired Image Translation

이 논문은 일몰부터 야간까지의 비쌍체 이미지 번역 과정에서 발생하는 대상 클래스의 환각 현상을 탐지하고 억제하여 하류 작업의 성능을 향상시키는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"낮을 밤으로 바꾸는 AI"**가 겪는 아주 귀찮은 실수, 즉 **'환각 (Hallucination)'**을 해결하는 방법에 대해 이야기합니다.

마치 마법사가 낮의 풍경을 밤으로 변신시키는 마법을 부린다고 상상해 보세요. 그런데 이 마법사가 너무 열중하다 보니, 원래 없던 가짜 신호등이나 유령 자동차를 만들어내거나, 실제 신호등은 사라지게 만드는 실수를 저지릅니다. 이 논문은 바로 그 실수를 막아주는 새로운 '현실 감시관' 시스템을 제안합니다.

이제 이 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 문제: 마법사의 '과도한 상상력'

기존의 AI(마법사) 들은 낮 사진을 밤으로 바꿀 때, "밤에는 불빛이 있어야 하겠지?"라고 생각해서 아예 없는 곳에 가짜 가로등이나 자동차 불빛을 만들어냅니다.

• 실제 상황: 도로에 신호등이 없는데, AI 가 밤 분위기를 내려고 가짜 신호등을 그려 넣습니다.
• 결과: 나중에 이 그림을 보고 '차량이나 신호등을 찾아내는' 다른 AI(감시 카메라 등) 가 혼란을 겪습니다. "저건 진짜 신호등인가, 가짜인가?"를 구분하지 못해 엉뚱한 곳에 경보를 울리게 됩니다.

2. 해결책: "실제 존재하는 것"과 "가짜 상상"을 가르는 두 가지 무기

이 논문은 이 문제를 해결하기 위해 두 가지 강력한 도구를 개발했습니다.

🛡️ 무기 1: "가짜 신호등 탐지기" (허위 탐지 분별기)

기존의 AI 는 그림이 "밤처럼 보이는지"만 확인했습니다. 하지만 이 새로운 시스템은 **"이 그림에 원래 없던 신호등이나 차가 갑자기 튀어 나오지 않았는지"**를 꼼꼼히 검사합니다.

• 비유: 마치 그림을 그리는 화가 옆에 감시관을 붙여놓은 것과 같습니다. 화가가 "여기에 불빛을 그리자!"라고 할 때, 감시관이 "잠깐! 원래 여기 신호등이 없잖아? 그건 가짜야!"라고 바로 지적하고 지우게 만드는 것입니다.

🧭 무기 2: "실물 나침반" (프로토타입 기반 억제)

AI 가 밤으로 바꾸는 과정에서, 실제 밤에 있는 사물 (실제 신호등, 실제 차) 의 특징을 미리 기억해 둡니다. 이를 **'나침반'**이라고 부르겠습니다.

• 비유: AI 가 그림을 그리는 중, 배경 (도로) 에 갑자기 신호등 모양이 생기기 시작하면, AI 는 "아, 이건 배경인데 신호등 특징을 닮았네? 나침반을 보면 실제 신호등은 여기 (앞쪽) 에 있어야지, 배경에 있으면 안 되지!"라고 판단합니다.
• 작동 원리: AI 는 배경에 생긴 가짜 신호등 특징을 실제 신호등 특징 (나침반) 과는 반대 방향으로 밀어냅니다. 이렇게 하면 배경은 배경대로, 사물은 사물대로 깔끔하게 분리됩니다.

3. 어떻게 작동하나요? (점진적인 변신)

이 시스템은 한 번에 낮을 밤으로 확 바꿔버리지 않습니다.

• 비유: 마치 점진적으로 어둠이 깔리는 해질녘처럼, 낮 -> 황혼 -> 밤 순서로 여러 단계에 걸쳐 천천히 변신시킵니다.
• 각 단계마다 위에서 말한 **'감시관'**이 가짜를 찾아내고, **'나침반'**이 가짜를 밀어내면서, 마지막에 완성된 밤 풍경은 원래 낮에 있던 사물들의 위치와 모양을 정확히 지키면서 밤의 분위기를 풍기게 됩니다.

4. 왜 이것이 중요할까요?

이 기술은 단순히 그림을 예쁘게 만드는 것을 넘어, 자율주행차나 보안 시스템 같은 실생활에 큰 도움을 줍니다.

• 기존 방식: 밤으로 바꾼 사진에서 가짜 신호등이 생기면, 자율주행차가 "저기 신호등이 있네!"라고 잘못 인식해 급정거를 할 수 있습니다.
• 이 논문 방식: 가짜 신호등은 싹 지워지고, 진짜 신호등만 정확히 남습니다. 그래서 자율주행차가 밤에도 낮처럼 안전하게 사물을 인식할 수 있게 됩니다.

5. 결론: "현실감"과 "정확함"의 조화

이 연구는 "낮을 밤으로 바꿀 때, 원래 있던 사물은 그대로 두고, 없던 가짜 사물은 없애는" 기술을 개발했습니다.

• 결과: 기존 방법들보다 30% 이상 더 정확하게 신호등이나 차량을 찾아내는 성과를 냈습니다.
• 한 줄 요약: "마법사가 밤을 만들 때, 가짜 불빛은 지우고 진짜 불빛만 남기는 똑똑한 감시 시스템을 만들어, 자율주행차가 밤길도 안전하게 달릴 수 있게 했습니다."

이처럼 이 논문은 AI 가 환각에 빠지지 않도록 도와주어, 우리가 만든 AI 가 현실 세계에서도 더 믿고 사용할 수 있게 만든 획기적인 연구입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 자율주행 및 다운스트림 작업 (객체 감지, 시맨틱 분할 등) 을 위해 낮 (Daytime) 에서 밤 (Nighttime) 으로 이루어지는 비쌍화 (Unpaired) 이미지 번역이 필수적입니다.
• 핵심 문제: 기존 비쌍화 번역 방법론 (GAN 기반, Diffusion 기반 등) 은 직접적인 픽셀 수준의 지도 신호가 부족하여, **대상 클래스 (Target-Class) 의 환각 (Hallucination)**을 자주 생성합니다.
  • 예시: 실제 객체가 없는 배경 영역에 교통 표지판, 차량, 인공 조명 (전조등, 미등, 신호등) 등을 잘못 생성하는 현상.
• 영향: 이러한 환각은 번역된 데이터의 라벨 노이즈를 유발하여, 이를 학습한 다운스트림 객체 감지 모델의 성능을 심각하게 저하시킵니다. 특히 기존 방법들은 주석 (Bounding Box) 이 있는 전경 객체는 잘 보존하지만, 주석이 없는 배경 영역을 제어하지 못해 이러한 환각이 발생합니다.

2. 제안 방법론 (Proposed Methodology)

저자들은 Schrödinger Bridge 기반의 다단계 번역 프레임워크 위에, 대상 클래스 환각을 명시적으로 탐지하고 억제하는 새로운 프레임워크를 제안합니다.

A. Schrödinger Bridge 기반 다단계 번역 (Multi-Step Translation)

• 기존 단일 단계 매핑 대신, 소스 도메인에서 타겟 도메인으로 가는 확률적 운송 (Stochastic Transport) 과정을 중간 단계들을 거쳐 점진적으로 수행합니다.
• 이 방식은 큰 도메인 간격 (낮 $\to$ 밤) 을 부드럽게 연결하고, 번역의 다양성을 확보하며, 환각 발생 시 중간 단계에서 수정할 기회를 제공합니다.

B. 환각 인식 판별기 (Hallucination-Aware Discriminator)

기존 판별기가 스타일 (Style) 만 평가하는 한계를 극복하기 위해 듀얼 헤드 (Dual-Head) 구조를 도입합니다.

1. 스타일 헤드 ($D_{sty}$): 이미지 전체의 리얼리즘과 스타일 일관성을 평가.
2. 환각 분할 헤드 ($D_{seg}$): 대상 클래스의 환각을 픽셀 단위로 탐지.
   • 학습 전략: 데이터셋에 있는 Bounding Box 주석을 기반으로 SAM2 (Segment Anything Model 2) 를 사용하여 **의사 레이블 (Pseudo-labels)**을 생성하고, 이를 통해 분할 헤드를 학습시킵니다.
   • 손실 함수 ($L_{hl}$): Bounding Box 영역이 아닌 배경 영역에서 대상 클래스가 예측될 경우 페널티를 부여하여, 배경에 객체가 생성되는 것을 억제합니다.

C. 프로토타입 기반 환각 억제 (Prototype-Based Suppression)

탐지된 환각을 제거하기 위해 **클래스별 프로토타입 (Class-specific Prototypes)**을 활용합니다.

• 프로토타입 구성: 타겟 도메인 (밤) 의 실제 주석된 객체 특징들을 집계하여 각 클래스별 평균 특징 벡터 (Anchor) 를 생성합니다.
• 억제 메커니즘: 번역 과정 중 생성된 중간 이미지의 환각 픽셀 특징을 탐지한 후, **Contrastive Learning (InfoNCE Loss)**을 적용하여 이 특징들을 해당 클래스의 프로토타입으로부터 멀리 밀어냅니다.
• 효과: 배경 영역의 특징이 전경 객체의 특징과 혼동되지 않도록 명확한 경계를 형성하여, 배경이 객체처럼 변하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 환각 억제 번역 프레임워크: 비쌍화 이미지 번역 과정에서 대상 클래스의 환각을 탐지하고 억제하는 최초의 체계적인 접근법 제시.
2. 환각 인식 판별기: 스타일 판별기에 분할 헤드를 통합하여, 스타일 모방이 아닌 **의미론적 불일치 (Semantic Inconsistency)**를 직접적으로 감지하고 처벌하는 구조 개발.
3. 프로토타입 기반 억제: 실제 타겟 도메인의 특징을 기반으로 한 프로토타입을 '음성 (Negative)' 샘플로 활용하여, 배경과 전경 간의 특징 분리를 강제함.
4. 실증적 검증: 다양한 데이터셋과 작업 (객체 감지, 시맨틱 분할) 에서 기존 SOTA 방법들을 능가하는 성능 입증.

4. 실험 결과 (Results)

• 데이터셋: BDD100K (낮 $\to$ 밤), KITTI $\to$ Cityscapes (교차 도메인 적응).
• 성능 (BDD100K 객체 감지):
  • mAP 향상: 기존 최선 방법 (SOTA) 대비 13.1%, Lower Bound (낮 데이터 학습) 대비 15.5% 향상.
  • 특정 클래스: 환각이 빈번한 교통 신호등 (Traffic Light) 클래스에서 **31.7%**의 놀라운 성능 향상 (기존 방법들은 오히려 성능 저하).
  • Upper Bound 달성: 트럭, 자전거, 라이더, 보행자 등 여러 클래스에서 실제 밤 데이터로 학습한 모델 (Upper Bound) 의 성능을 초과하거나 근접함.
• 정성적 평가:
  • Fig. 4 및 Fig. 5 에서 확인할 수 있듯, 기존 방법 (InstaFormer, MGUIT, UNSB 등) 이 생성하는 잘못된 신호등, 전조등, 미등 등의 환각이 제안 방법에서는 제거되어 원본 주석과 의미론적으로 일치하는 밤 이미지를 생성함.
• Ablation Study:
  • 환각 분할 손실 ($L_{hl}$) 과 특징 억제 손실 ($L_{supp}$) 을 모두 제거할 경우 성능이 급격히 하락하며, 두 요소가 모두 필요할 때 최적의 성능을 보임.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 비쌍화 이미지 번역 분야에서 **의미론적 일관성 (Semantic Consistency)**을 유지하면서 스타일 변환을 수행하는 새로운 패러다임을 제시했습니다. 특히, 주석이 없는 배경 영역에서의 환각을 제어함으로써 다운스트림 작업 (객체 감지 등) 의 신뢰성을 크게 높였습니다.
• 결론: 제안된 프레임워크는 낮과 밤 사이의 큰 시각적 격차를 극복하면서도, 객체의 구조와 의미는 왜곡하지 않는 고품질의 번역 데이터를 생성할 수 있음을 입증했습니다. 이는 자율주행 시스템의 야간 환경 적응 능력을 향상시키는 데 중요한 기여를 할 것으로 기대됩니다.