우리가 전등이나 네온사인을 찍을 때, 가끔 사진이 가로줄무늬로 번지거나 색이 달라지는 걸 보신 적이 있나요? 이것이 바로 **'플리커 (Flicker)'**입니다.
원인: 전등은 전기가 들어오고 나가는 것을 매우 빠르게 반복합니다 (교류). 그런데 카메라는 이 빛이 켜지고 꺼지는 순간을 아주 짧은 시간 동안만 찍습니다. 마치 빠르게 돌아가는 선풍기 날개를 찍으면 날개가 멈춘 것처럼 보이거나, 혹은 반대로 흐릿하게 보이는 것과 비슷합니다.
결과: 카메라가 한 줄씩 찍어가는 (롤링 셔터) 방식 때문에, 사진 위쪽은 빛이 켜진 순간을, 아래쪽은 꺼진 순간을 찍게 되어 가로줄무늬가 생깁니다.
기존의 사진 복원 기술들은 이 줄무늬를 '단순한 노이즈'나 '먼지'처럼 취급해서 지우려 했지만, 오히려 사진이 흐릿해지거나 유령처럼 번지는 (고스트) 현상이 생기곤 했습니다.
💡 해결책: 플리커포머 (Flickerformer) 의 두 가지 비밀 무기
이 연구팀은 "플리커는 단순한 노이즈가 아니라, **특정한 규칙 (주기성)**과 방향을 가지고 있다"는 사실을 발견했습니다. 이를 이용해 세 가지 마법 같은 도구를 만들었습니다.
1. 🔄 규칙을 찾아내는 '리듬 감지기' (주기성 활용)
플리커는 마치 음악의 박자처럼 규칙적으로 반복됩니다.
비유: 여러 장의 사진을 나란히 놓고, "어느 사진의 어느 부분이 빛이 켜진 상태이고, 어느 부분이 꺼진 상태일까?"를 맞춰보는 게임이라고 생각하세요.
기술 (PFM & AFFN): 이 기술은 여러 장의 사진을 비교해서, 빛이 켜진 '진짜' 부분과 빛이 꺼진 '깜빡이는' 부분을 구별합니다. 마치 여러 개의 퍼즐 조각을 맞춰서, 빛이 꺼진 구멍을 다른 사진의 밝은 부분으로 자연스럽게 채워 넣는 역할을 합니다.
2. 🧭 방향을 아는 '나침반' (방향성 활용)
플리커 줄무늬는 항상 가로나 세로로만 흐릅니다.
비유: 폭포수가 아래로 흐르듯, 플리커는 카메라가 스캔하는 방향으로만 흐릅니다.
기술 (WDAM): 이 기술은 "아, 이 줄무늬는 가로로 흐르는구나"라고 정확히 파악합니다. 그리고 고주파 (세밀한 부분) 정보를 이용해 **저주파 (어두운 부분)**를 복원합니다. 마치 어두운 방에서 벽의 균열을 찾아내어, 그 부분만 집중적으로 수리하는 것과 같습니다.
🏆 왜 이 기술이 특별한가요?
기존의 기술들은 "어디가 흐려졌나?"라고 막연하게 고치려 했지만, 플리커포머는 다음과 같이 작동합니다:
유령 현상 제거: 여러 장의 사진을 합칠 때, 움직이는 물체가 번지는 것 (고스트) 을 막아줍니다.
정밀한 수리: 줄무늬가 있는 부분만 정확히 찾아서, 주변의 자연스러운 색과 질감을 해치지 않고 복원합니다.
가볍고 빠름: 복잡한 계산 없이도 최고의 결과를 내어, 스마트폰 같은 기기에서도 실용적으로 쓸 수 있습니다.
📝 한 줄 요약
"플리커포머는 사진 속의 깜빡이는 줄무늬가 가진 '리듬'과 '방향'을 파악하여, 마치 마법처럼 어두운 부분을 밝고 선명하게, 그리고 자연스럽게 되살려주는 인공지능입니다."
이 기술 덕분에 앞으로 우리가 전등이나 네온사인이 있는 곳에서 찍은 사진도 더 선명하고 아름다운 추억으로 남길 수 있게 될 것입니다!
1. 연구 배경 및 문제 정의 (Problem)
플리커 (Flicker) 현상: 교류 (AC) 전원으로 구동되는 인공 조명 하에서 촬영 시 발생하는 밝기 변동 현상입니다. 조명의 강도가 AC 주파수에 따라 주기적으로 진동하며, 카메라의 롤링 셔터 (rolling shutter) 메커니즘으로 인해 행 (row) 단위로 노출 시간이 미세하게 달라지면, 이미지 상에 줄무늬 형태의 밝기 패턴이 발생합니다.
기존 방법의 한계:
기존 딥러닝 기반 이미지 복원 모델들은 플리커를 일반적인 노이즈나 저조도 문제로 간주하여 처리했습니다.
플리커는 특정 시공간적 패턴 (주기성과 방향성) 을 가진 구조화된 열화 (structured degradation) 이기 때문에, 이를 고려하지 않은 일반적 모델은 복원 성능이 낮거나 유령 아티팩트 (ghosting artifacts) 를 발생시킵니다.
하드웨어 기반 해결책은 특수 장비가 필요하거나 동적 장면에서 모션 블러를 유발하는 등 한계가 있습니다.
2. 제안 방법: Flickerformer (Methodology)
저자들은 플리커 아티팩트의 두 가지 고유한 특성인 주기성 (Periodicity) 과 방향성 (Directionality) 을 신경망 아키텍처에 명시적으로 통합한 트랜스포머 기반 프레임워크인 Flickerformer를 제안했습니다.
핵심 구성 요소
위상 기반 융합 모듈 (PFM, Phase-based Fusion Module):
원리: 플리커 패턴의 공간적 분포는 주파수 도메인의 위상 (Phase) 정보에 인코딩되어 있음을 발견했습니다. (두 프레임의 위상 성분을 교환하면 플리커 패턴도 교환됨)
기능: FFT(고속 푸리에 변환) 를 통해 주파수 도메인에서 기준 프레임과 참조 프레임 간의 위상 상관관계를 계산합니다. 이를 통해 참조 프레임의 특징을 적응적으로 정렬하고 융합하여, 플리커가 없는 깨끗한 영역의 정보를 효과적으로 추출합니다.
자기 상관 피드포워드 네트워크 (AFFN, Autocorrelation Feed-forward Network):
원리: 프레임 내부의 구조적 규칙성 (intra-frame regularities) 을 활용합니다.
기능: Wiener-Khinchin 정리를 기반으로 자기 상관 (autocorrelation) 을 계산하여 신호 내 반복되는 패턴을 증폭시키고 무관한 노이즈를 억제합니다. 이는 프레임 내의 주기적인 플리커 구조를 인식하는 능력을 강화합니다.
웨이브릿 기반 방향성 어텐션 모듈 (WDAM, Wavelet-based Directional Attention Module):
원리: 플리커 아티팩트는 카메라의 스캔 방향 (수평 또는 수직) 을 따라 정렬된 줄무늬 형태를 띠며, 이는 고주파수 진동과 저주파수 어두운 밴드로 나타납니다.
기능: Haar 웨이브릿 변환을 사용하여 특징을 저주파수 (LL) 와 고주파수 (LH, HL, HH) 서브밴드로 분해합니다.
고주파수 성분 (특히 LH, HL) 에서 플리커의 방향적 특징을 추출하여 방향성 가중치 (Directional weight) 를 생성합니다.
이 가중치를 사용하여 저주파수 어텐션 브랜치가 플리커로 인해 어두워진 영역을 정밀하게 식별하고 복원하도록 유도합니다.
효율성: 전체 이미지가 아닌 저주파수 서브밴드에서만 어텐션을 수행하여 계산 비용을 약 75% 절감하면서도 방향성 정보를 효과적으로 활용합니다.
3. 주요 기여 (Key Contributions)
Flickerformer 아키텍처 개발: 버스트 (burst) 촬영 시 발생하는 플리커 제거를 위해 주기성과 방향성이라는 물리적 사전 지식 (priors) 을 트랜스포머 구조에 통합한 최초의 모델입니다.
새로운 모듈 설계:
PFM: 주파수 도메인 위상 상관관계를 이용한 프레임 간 특징 융합.
AFFN: 자기 상관을 통한 프레임 내 주기적 구조 모델링.
WDAM: 웨이브릿 기반 방향성 어텐션을 통한 플리커 영역의 정밀한 위치 파악 및 복원.
유령 아티팩트 제거: 기존 방법들이 겪던 모션 유령 현상을 방지하면서 고품질의 복원 이미지를 생성합니다.
4. 실험 결과 (Results)
데이터셋: BurstDeflicker (실제 세계 플리커 벤치마크) 를 사용했습니다.
정량적 성능:
16 가지 최신 모델 (HDR, 초해상도, 저조도, 일반 복원 모델 등) 과 비교하여 모든 지표 (PSNR, SSIM, LPIPS) 에서 최상의 성능을 기록했습니다.
PSNR 기준 2 위 모델보다 +0.580 dB 높은 성능을 보였으며, 파라미터 수는 2 위 모델의 약 19.7% 수준으로 매우 경량화되었습니다.
정성적 성능:
시각적 비교에서 플리커가 심한 영역 (예: 화면, 어두운 조명) 에서도 선명한 텍스처와 색상을 보존하며 플리커를 완전히 제거했습니다.
기존 방법들이 발생시키던 색상 편차 (color deviation) 나 유령 현상이 관찰되지 않았습니다.
Ablation Study: PFM, AFFN, WDAM 각 모듈을 제거하거나 다른 모듈로 교체했을 때 성능이 현저히 저하됨을 확인하여, 제안된 모듈들의 유효성을 입증했습니다.
5. 의의 및 한계 (Significance & Limitations)
의의:
이미지 복원 분야에서 물리 기반 모델링과 딥러닝을 성공적으로 결합한 사례입니다.
플리커라는 특수한 열화 현상에 대해 "일반적인 복원"이 아닌 "구조적 특성 (주기성/방향성) 에 맞춘 복원"이 필요함을 증명했습니다.
고품질 이미지 복원뿐만 아니라 HDR, 슬로우 모션, 모션 캡처 등 짧은 노출이 필수적인 다양한 응용 분야에서 실용적인 가치를 가집니다.
한계:
여러 프레임에 걸쳐 깨끗한 영역이 전체 장면을 커버하지 못하는 경우 (예: 긴 형광등이 완전히 꺼져서 어떤 프레임에서도 빛이 없는 영역), 해당 영역의 복원은 어렵습니다. (Fig. 9 참조)
이 논문은 플리커 제거 문제를 해결하기 위해 도메인 지식 (물리적 특성) 을 신경망 설계에 깊이 통합함으로써, 기존 SOTA 모델들의 한계를 극복하고 새로운 기준을 제시했다는 점에서 의미가 큽니다.