DeLux: Cross-Modal Local Artifact Restoration in Video Using Neuromorphic Data

기술 요약: DeLux – 뉴로모픽 데이터를 이용한 비디오 내 교차 모달 국소 아티팩트 복원

1. 문제 정의

기존의 RGB 카메라는 특히 극단적인 동적 범위를 가진 실외 장면에서 렌즈 플레어(lens flare), 글레어(glare), 과노출(overexposure), 플리커(flicker)와 같은 심각한 조명 아티팩트에 취약합니다. 이러한 아티팩트는 픽셀 강도가 완전히 포화되거나 클리핑되어 정보가 손실되는 국소적인 정보 결손을 초래하며, 이는 표준 RGB 전용 후처리 방식으로는 복구가 불가능합니다. 기존의 복원 방법들은 이러한 문제들을 개별적으로 처리하거나(예: 글레어만 처리하거나 과노출만 처리) 글로벌 톤 매핑(global tone mapping)에 의존하는 경향이 있습니다. 후자의 접근 방식은 광학적 아티팩트(예: 플레어 광선)의 구조적 무결성은 보존하지만, 퇴화 현상에 의해 완전히 가려진 세부 정보를 완전히 복구하지 못합니다. 또한, 현재의 문헌에는 다양한 공간적 불연속 조명 퇴화를 동시에 해결할 수 있는 일반화된 패러다임이 부족합니다.

2. 방법론: DeLux 파이프라인

저자들은 뉴로모픽 이벤트 스트림을 구조적 사전 정보(structural prior)로 활용하여, RGB 비디오 내의 조명 아티팩트를 표적 탐지 및 인페인팅(inpainting)하도록 유도하는 모듈형 엔드 투 엔드 개념 증명(proof-of-concept) 파이프라인인 DeLux를 제안합니다. 이 프레임워크는 아티팩트 탐지, 다중 모달 융합, 그리고 이미지 인페인팅을 명시적으로 분리합니다. 파이프라인은 네 가지 별도의 단계로 구성됩니다:

1. 이벤트-투-비디오 재구성 (Event-to-Video Reconstruction): 뉴로모픽 카메라로부터 얻은 비동기 이벤트 데이터를 사전 학습된 모델(E2VID 또는 E2VID++)을 사용하여 밀집된 그레이스케일 비디오 프레임으로 변환합니다. 이 재구성된 데이터는 보조 모달리티로서, RGB 센서가 포화된 상태에서도 마이크로초 단위의 정밀도로 밝기 변화를 포착하며 140 dB를 초과하는 동적 범위를 제공합니다.
2. 아티팩트 탐지 (Artifact Detection): 전용 UNet 기반 세그멘테이션 네트워크가 입력 RGB 프레임을 처리하여 아티팩트 존재 가능성(글레어, 플레어, 과노출, 플리커)을 나타내는 픽셀 단위의 신뢰도 맵(아티팩트 마스크)을 생성합니다. 이 단계는 다양한 조건에 일반화될 수 있도록 합성된 아티팩트 마스크를 통해 학습됩니다.
3. 다중 모달 융합 (Multimodal Fusion): RGB 프레임, 이벤트 기반 재구성 영상, 그리고 아티팩트 마스크를 채널 차원을 따라 결합합니다. 컨볼루션 모듈은 이러한 입력들을 혼합하여 통일된 표현을 생성합니다. 결정적으로, 아티팩트 마스크는 수동 오버라이드 인터페이스 역할을 하여, 재학습 없이 추론 시에 융합 동작을 구성할 수 있게 합니다. 이 단계는 이벤트 스트림의 구조적 세부 정보가 주로 손상된 영역에서 활용되도록 보장합니다.
4. 아티팩트 제거 (Artifact Removal): 최종 UNet 기반 모듈이 표적 인페인팅을 수행합니다. 이 모듈은 융합된 표현을 받아 깨끗하고 아티팩트가 없는 RGB 이미지를 출력합니다. 모델은 손상된 영역을 복원하는 동시에 영향을 받지 않은 콘텐츠를 보존하도록 학습됩니다.

학습 전략:
파이프라인은 디텍터, 융합, 리무버 모듈을 공동 최적화하며, 이벤트-투-비디오 재구성 모델은 고정(frozen)된 상태로 유지됩니다. 학습 목적 함수는 세 가지 손실 구성 요소의 조합으로 이루어집니다:

• 탐지 손실 ($L_{det}$): 예측된 마스크와 실제 마스크 사이의 Huber 손실.
• 재구성 손실 ($L_{recon}$): MAE(Mean Absolute Error), MS-SSIM(Multi-Scale Structural Similarity), VGG 지각 손실(perceptual loss), 그리고 TV(Total Variation) 정규화의 조합.
• 비마스크 손실 ($L_{nm}$): 아티팩트가 없는 영역에서의 편집을 억제하여 모델이 깨끗한 픽셀을 변경하지 않도록 보장하는 일관성 항(consistency term).

데이터:
시스템은 깨끗한 프레임에 합성된 아티팩트를 주입한 데이터(CARVIA 및 Cityscapes 사용)와 실제 뉴로모픽 데이터(DSEC, E2VID)를 포함하는 하이브리드 데이터셋을 통해 학습됩니다. 실제 환경 평가를 위해 저자들은 심각한 아티팩트가 자연스럽게 발생하는 자동차 주행 영상의 특정 시간대를 선별하였습니다.

3. 주요 기여

• 새로운 연구 방향: 본 논문은 "교차 모달 국소 아티팩트 복원"이라는 새로운 패러다임을 도입합니다. 이는 국소적인 조명 아티팩트를 보조 센싱 모달리티(뉴로모픽 이벤트)를 통합하여 RGB 인페인팅을 가이드함으로써 완화할 수 있는 모달리티 특화 정보 손실로 취급합니다.
• DeLux 프레임워크: 단일 딥러닝 파이프라인 내에서 표준 비디오와 뉴로모픽 이벤트 데이터를 융합하여 여러 유형의 조명 아티팩트를 탐지하고 제거하도록 설계된 최초의 시스템입니다.
• 엄격한 벤치마크: 저자들은 향후 교차 모달 복원 모델을 위한 평가 프로토콜을 제공하기 위해 합성 및 실제 조명 아티팩트로 구성된 벤치마크를 구축했습니다. 또한 연구 촉진을 위해 합성 아티팩트 생성 도구와 큐레이션된 실제 데이터셋을 공개합니다.

4. 실험 결과

저자들은 DeLux를 단일 모달리티 복원 모델(Flare7K++, Wu et al., SHDR), 통합 단일 네트워크 접근 방식(DAD†), 그리고 이벤트 가이드 HDR 모델(HDRev-Diff)을 포함한 최신 기술(SOTA) 베이스라인들과 비교 평가했습니다.

• 합성 데이터 성능: DeLux는 MS-SSIM, PSNR, MAPE 측면에서 모든 아티팩트 유형(글레어, 플레어, 과노출)에 대해 가장 높은 성능을 달 기록했습니다. 모든 아티팩트 유형에 대해 평균 0.99 이상의 MS-SSIM을 달성하며, RGB 전용 베이스라인 및 이벤트 가이드 HDR 모델을 크게 앞질렀습니다.
• 실제 환경 성능: 실제 자동차 주행 영상에서 DeLux는 커스텀 제작된 Strong Artifact Suppression(SAS) 지표를 기준으로 최대 88%의 아티팩트 심각도 감소를 보여주었습니다. 반면, HDRev-Diff와 같은 글로벌 톤 매핑 베이스라인은 국소적 아티팩트를 억제하는 데 실패하여 특정 시퀀스에서 음수의 SAS 점수를 기록했습니다.
• 효율성: DeLux는 NVIDIA A100에서 90.2백만 개의 파라미터로 16.5 FPS로 작동하며, 이는 디퓨전 기반 베이스라인(예: 1.6B 파라미터로 1.1 FPS인 HDRev-Diff)보다 한 자릿수 더 빠르고 가볍습니다.
• 어블레이션 연구 (Ablation Studies): 연구를 통해 이벤트 모달리티를 제거하거나(DeLux-NE) 명시적 디텍터를 제거하면(DeLux-ND) 성능이 심각하게 저하됨을 확인했습니다. 또한 비마스크 손실($L_{nm}$)이 탐지 정확도와 제어된 국소적 재구성 사이의 균형을 맞추는 데 결정적이라는 것을 발견했습니다.

5. 의의 및 주장

본 논문은 DeLux가 글로벌 강화(global enhancement) 방식과는 확연히 다른 길을 제시한다고 주장합니다. 아티팩트 국소화와 다중 모달 융합을 명시적으로 분리함으로써, 프레임워크는 깨끗한 이미지 영역의 부적절한 변경을 방지하고, RGB 센서가 실패한 영역에서만 보조 모달리티를 선택적으로 사용할 수 있게 합니다.

저자들은 DeLux를 심각한 국소적 이미지 퇴화를 해결하기 위한 템플릿으로 정의합니다. 이들은 이러한 교차 모달 접근 방식이 단일 센서의 제약을 넘어, 열악한 조명 조건에서도 매우 신뢰할 수 있는 이미지 처리 시스템을 구축할 수 있는 경로를 제시한다고 주장합니다.

저자들이 인정한 한계점:

• 정적 장면 (Static Scenes): 이벤트 카메라는 이벤트가 발생하지 않는 정지된 장면에서 본질적으로 어려움을 겪지만, 모듈형 구조를 통해 다른 모달리티(예: 열화상)를 통합하여 이를 완화할 수 있습니다.
• 합성 평가 (Synthetic Evaluation): 고품질의 합성 오버레이를 사용했음에도 불구하고, 실제 렌즈 어셈블리 내의 복잡한 빛의 물리적 상호작용을 완전히 재현할 수는 없습니다.
• 시간적 일관성 (Temporal Consistency): 현재 구현은 프레임을 독립적으로 복원하므로, 출력의 시간적 일관성이 보장되지 않아 시각적인 플리커가 발생할 수 있습니다. 저자들은 다중 프레임 모델링이 향후 연구의 필수적인 방향임을 명시했습니다.
• 최적화 (Optimization): 고정된 E2VID 재구성 모델에 의존하는 것은 엔드 투 엔드 전체 최적화를 제한하며, 향후 파이프라인은 로우(raw) 이벤트 표현을 직접 입력받을 수 있음을 시사합니다.