💻 computer science

Transformer Image Dehazing Method Based on Physical Prior Guidance and Adaptive Feature Modulation

본 논문은 물리적 사전 지식 가이드와 적응형 특징 변조를 통합하여 공간적으로 불균일한 안개를 효과적으로 처리하고 미세한 구조적 세부 사항을 보존함으로써 여러 벤치마크 데이터셋에서 최첨단 성능을 달성하는 트랜스포머 기반 단일 이미지 디헤이징 네트워크를 제안한다.

원저자: Zhangshuo Hu, Lin Chai

게시일 2026-09-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhangshuo Hu, Lin Chai

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

짙은 안개가 밀려올 때, 세상은 단순히 회색으로 변하는 것이 아니라 평면적으로 변한다. 공기는 빛을 산란시키는 미세한 물방울이나 먼지로 가득 차, 하늘의 깊은 푸른 빛을 씻어내고 날카로운 가장자리들을 부드럽고 불분명한 얼룩으로 만든다. 인간에게 이것은 일시적인 불편함일 뿐이지만, 고속도로를 주행하는 자율주행 자동차나 도시 거리를 감시하는 보안 카메라와 같이 기계가 무언가를 보려고 할 때는 근본적인 실패가 된다. 기계는 도로가 어디서 끝나고 건물이 어디서 시작되는지, 혹은 보행자와 그림자를 어떻게 구분해야 하는지를 식별하는 능력을 상실한다. 과학자들은 컴퓨터에게 이 과정을 역전시키는 법, 즉 안개를 걷어내고 그 아래 숨겨진 선명한 장면을 드러내는 법을 가르치기 위해 오랫동안 노력해 왔다. 초기 시도들은 대기 중에서 빛이 어떻게 행동하는지에 대한 엄격한 규칙에 의존했으나, 최신 방법들은 수천 개의 사례로부터 학습하는 인공지능을 사용한다. 하지만 이러한 학습 시스템들은 안개가 불균일하거나 조명이 까다로울 때 종종 어려움을 겪으며, 때로는 중요한 세부 사항을 뭉개버리거나 존재하지도 않는 색상을 만들어내기도 한다.

동남대학교의 연구팀은 이 두 세계 사이의 간극을 메우는 새로운 접근 방식을 개발했다. 그들은 현대 인공지능의 유연성과 물리학의 신뢰할 수 있는 논리를 결합한 시스템을 만들었다. 컴퓨터가 이미지를 어떻게 깨끗하게 만들지 추측하게 두는 대신, 그들은 안개가 가장 짙은 곳을 나타내는 지도로 컴퓨터를 안내한다. '투과 지도(transmission map)'라고 알려진 이 지도는 사진의 모든 지점에서 빛이 얼마나 차단되는지를 추정한 값이다. 이 물리적 단서를 학습 과정에 직접 입력함으로써, 시스템은 정확히 어디에 노력을 집중해야 할지 알게 된다. 이 시스템은 단순히 사진을 밝게 만드는 데 그치지 않고, 안개가 숨겨버린 특정한 구조를 복원하는 법을 배운다. 이를 통해 멀리 있는 나무가 나무로 남고, 가까이 있는 울타리가 선명함을 유지하도록 보장한다.

그들 발명품의 핵심은 인간이 안개 낀 장면을 바라보는 방식, 즉 먼저 넓은 시야를 확보한 다음 세부 사항으로 줌인하는 방식을 모방한 네트워크이다. 연구진은 다양한 규모에서 이미지를 동시에 처리하는 다층 구조를 구축했다. 가장 넓은 수준에서 시스템은 고급 어텐션 메커즘(attention mechanism)의 일종을 사용하여 이미지의 먼 부분들 사이의 관계를 이해하는데, 이는 안개가 전체 풍경을 연결된 방식으로 덮는 경우가 많다는 점을 인식하는 것이다. 동시에, 시스템은 가장자리와 질감을 정의하는 미세하고 국소적인 세부 사항들을 계속 주시하기 위해 특화된 필터를 사용한다. 이러한 이중 접근 방식 덕분에 시스템은 큰 그림을 유지하면서도 이미지를 인식 가능하게 만드는 미세한 선들을 놓치지 않는다.

이 기능을 더욱 향상시키기 위해, 연구팀은 시스템이 스스로의 행동을 조정할 수 있는 동적인 방법을 도입했다. 카메라 렌즈가 매끄러운 벽을 보고 있는지 혹은 복잡한 잎사귀 패턴을 보고 있는지에 따라 즉각적으로 초점을 바꾸는 것을 상상해 보라. 이 시스템에서 컴퓨터는 직면한 안개의 유형을 분석하고 정보 처리 방식을 변경한다. 만약 안개가 옅고 세부 사항이 명확하다면, 미세한 질감을 보존하는 데 집중한다. 만약 안개가 짙고 장면이 흐릿하다면, 형태를 파악하기 위해 더 넓은 맥락에 주의를 기울인다. 이러한 적응성은 앞서 언급한 물리적 지도에 의해 유도되며, 이 지도는 대기가 가장 밀도 높은 곳이 어디인지 알려주는 지속적인 상기 장치 역할을 한다. 또한 시스템은 가장자리에 특별한 주의를 기울이며, 사물 사이의 경계를 강조하는 기술을 사용하여 안개가 자동차와 도로, 혹은 사람과 건물 사이의 선을 흐리게 만들지 않도록 한다.

연구진은 사무실 같은 실내 환경과 도시 거리 및 시골 도로 같은 실외 환경을 포함한 매우 다양한 장면에서 그들의 방법을 테스트했다. 그들은 자신들의 방식과 기존의 규칙 기반 기술 및 최신 인공지능 모델을 포함한 여러 선도적인 방법들을 비교했다. 결과는 그들의 접근 방식이 일관되게 더 선명한 이미지와 더 높은 구조적 정확도를 생성한다는 것을 보여주었다. 실외 장면 테스트에서 그들의 방법은 표준적인 이미지 품질 측정에서 24.57점을 기록했으며, 이미지 구조를 0.907의 점수로 보존했다. 실내 테스트에서의 성능은 더욱 강력하여, 품질 면에서 28.78, 구조 면에서 0.928에 도달했다. 이 수치들은 시스템이 단순히 회색 안개를 제거하는 것을 넘어, 사물의 선명함과 배열을 온전히 유지한다는 것을 나타내며, 이는 많은 다른 방법들이 동시에 달성하기 위해 애쓰는 과제이다.

가장 중요한 점은, 이 시스템이 안개가 극도로 짙어질 때도 견고함을 입증했다는 것이다. 안개 밀도가 높아짐에 따라 다른 방법들은 형체를 구별하는 능력을 상실하며 흔히 흐릿하거나 왜곡된 이미지를 만들어냈다. 그러나 이 새로운 방법은 훨씬 더 우아하게 성능이 저하되었다. 심한 안개 조건에서도 구조적 무결성을 높게 유지하며 사물의 윤곽을 명확하게 하고 색상을 진실되게 유지했다. 이는 물리적 가이드와 적응형 학습의 결합이 시각 정보가 부족한 상황에서도 실수를 저지를 가능성이 낮은 시스템을 만든다는 것을 시사한다. 연구진은 시스템의 각 부분이 고유한 역할을 수행한다는 것을 발견했다. 물리적 지도는 시스템이 어디를 볼지 알려주었고, 어텐션 메커니즘은 장면의 배치를 이해하도록 도왔으며, 동적 조정은 특정 조건에 맞춰 반응을 미세하게 조정할 수 있게 해주었다.

결과는 유망하지만, 연구진은 자신들의 테스트가 선명한 이미지와 결합된 컴퓨터 생성 안개를 사용하여 수행되었다는 점을 주의 깊게 언급했다. 이러한 설정은 시스템이 얼마나 잘 작동하는지 정밀하게 측정할 수 있게 해주지만, 실제 세계의 안개는 빛과 입자 밀도의 변화를 포함하여 시뮬레이션하기 어려운 더 복잡한 특성을 가질 수 있다. 연구팀은 이 방법이 통제되지 않은 환경에서도 완벽하게 작동하는지 확인하기 위해 실제 영상에 대한 추가적인 테스트가 필요함을 인정한다. 또한 그들은 이 시스템이 일부 단순한 모델보다 더 많은 컴퓨팅 파워를 요구하며, 이는 자원이 제한된 장치에는 도전 과제가 될 수 있다고 지적한다. 이러한 한계에도 불구하고, 이 연구는 기계가 저하된 세상을 어떻게 인지하는지에 대한 중요한 진전을 제공한다. 인공지능에게 물리학의 법칙을 존중하면서 데이터로부터 학습하도록 가르침으로써, 연구진은 단순히 추측하는 것이 아니라 이해함으로써 안개를 뚫고 보는 도구를 만들어냈다.

문제 정의

단일 이미지 안개 제거(Single-image dehazing)는 안개의 공간적 비균일성과 미세한 이미지 구조를 손상시키지 않으면서 안개를 제거해야 하는 어려움 때문에 여전히 까다로운 과제로 남아 있습니다. 이는 특히 조명 변화가 심하거나 밀도가 높은 대기 산란이 발생하는 장면에서 더욱 두드러집니다. 대기 산란 모델(예: Dark Channel Prior)에 기반한 고전적인 방법들은 물리적 해석력을 제공하지만, 밝은 하늘 영역이나 비균일한 안개 상황에서는 그 가정이 실패하는 경우가 많습니다. 반면, 딥러학습 기반 방법들은 유연성을 제공하지만 명시적인 열화 제약 조건이 부족하여 외관 통계에 과적합되거나, 색상 재구성이 불안정해지거나, 안개가 공간적으로 변할 때 국부적인 경계가 소실되는 문제가 발생합니다. 기존의 트랜스포머 기반 접근 방식들은 전역적 의존성 모델링을 개선했지만, 종종 문제를 순수한 특징 변환으로 취급하여 이미징 과정을 약하게 제약함으로써 경계가 부드러워지거나 투과율 변화가 어긋나는 결과를 초래합니다.

방법론

저자들은 물리적 열화 단서를 적응형 특징 변조(Adaptive Feature Modulation, AFM) 프레임워크를 통해 특징 학습 과정에 직접 통합하는 물리적 사전 지식 가이드 기반 다중 스케일 트랜스포머 안개 제거 네트워크를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소를 갖춘 인코더-디코더 설계 형식을 따릅니다.

물리적 사전 지식 가이드(Physical Prior Guidance, PPG) 브랜치:
- Dark Channel Prior(DCP)를 단순히 보조 입력이나 일회성 투과 맵 추정을 위해 사용하는 대신, 이 방법은 추정된 투과 맵( $T$ )을 네트워크 전체의 특징 업데이트 과정에 내장합니다.
- **사전 지식 임베딩 모듈(Prior Embedding module)**은 투과 맵을 특징 공간으로 투영하여 열화 인식 단서 역할을 수행합니다.
- 이 사전 지식은 변조 함수 $\psi(\cdot)$ 를 통해 다중 스케일의 인코더 특징과 상호작용하며, 이를 통해 네트워크가 안개 단서가 강한 영역에는 복원 역량을 할당하고 모호한 영역에서는 학습된 이미지 표현을 유지할 수 있도록 합니다.
계층적 트랜스포머 백본(Hierarchical Transformer Backbone):
- 인코더는 Swin Transformer 블록(장거리 문맥용)과 확장 컨볼루션(dilated convolutions)(국부적 고주파 정보용)을 결합한 네 개의 계층적 스테이지를 활용합니다.
- **확장 Swin 블록(Dilated Swin Block, DSB)**은 시프트 윈도우 자기 주의(shifted-window self-attention) 브랜치와 확장 컨볼루션 브랜치( $d=2$ )의 출력을 합산하여, 장면 수준의 일관성과 국부적 전이를 모두 보존합니다.
- 병목(bottleneck) 지점의 **다중 스케일 동적 제어 모듈(Multi-Scale Dynamic Control Module, DCM)**은 입력 의존적 컨볼루션 커널을 사용하여 관찰된 안개 분포에 맞춰 특징 추출을 적응시킵냐.
적응형 특징 변조(Adaptive Feature Modulation, AFM) 프레임워크:
AFM은 특징 할당을 정교화하기 위해 세 가지 상호 보완적인 메커니즘을 조정합니다.
- 좌표 주의(Coordinate Attention, CA): 디코더에 삽입되는 이 모듈은 가로 및 세로 방향을 따라 정보를 각각 집계합니다. 이는 신장된 구조와 윤곽선에 대한 위치 단서를 보존하여, 업샘플링 과정 중 공간적으로 조직된 세부 사항의 국지화를 개선합니다.
- 엣지 컨볼루션(Edge Conv): 포인트 클라우드 학습에서 채택된 이 모듈은 점과 그 이웃 사이의 엣지 특징을 나타내는 국부 그래프를 구축합니다. 핵심적인 구현 특징은 동적 그래프 업데이트로, 이웃 관계가 초기 이미지 그리드에 영구적으로 묶이는 것이 아니라 각 레이어에서 현재 특징 공간으로부터 재계산된다는 점입니다. 이를 통해 두 위치 간의 관계가 공간적 근접성뿐만 아니라 특징 유사성을 반영하도록 하여, 안개에 의해 약화된 경계가 재구성 경로에서 명확하게 유지되도록 합니다.
- 동적 컨볼루션(Dynamic Conv): 이 모듈은 학습 가능한 후보군으로부터 입력 조건부 커널을 생성합니다 질감(texture)이 풍부한 영역을 위한 좁은 수용 영역과 밀도가 높은 안개를 위한 넓은 수용 영역 사이를 전환할 수 있게 하여, 고정된 응답 전략을 피하고 입력 콘텐츠에 따라 적응합니다.

손실 함수(Loss Function): 네트워크는 픽셀 단위 재구성 손실( $L_{rec}$ ), 지각 손실( $L_{per}$ ), 그리고 대기 산란 모델과의 호환성을 장려하는 항( $L_{phy}$ )을 결합한 하이브리드 목적 함수로 훈련됩니다. 이러한 공식은 정확한 픽셀 복구, 신뢰할 수 있는 외관, 그리고 물리적 제약 조건 준수를 보장합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다.

지속적인 물리적 가이드: 투과 관련 정보를 입력 단계에서 다중 스케일 특징 업데이트까지 전달하여, 물리적 사전 지식을 정적인 보조 신호에서 지속적인 변조 단서로 전환하는 프레임워크를 제시했습니다.
통합된 특징 할당: 공간적(Coordinate Attention), 구조적(Edge Conv), 동적(Dynamic Conv) 응답을 공동으로 모델링하여 네트워크가 다양한 안개 패턴에 적응할 수 있게 하는 체계를 구축했습니다.
검증된 견고성: 물리적 가이드와 적응형 변조가 재구성 과정 전반에 걸쳐 상호작용하는 다중 스케일 트랜스포머 아키텍처를 통해, 구조적 일관성과 다양한 장면 유형(실내/실외) 및 안개 수준에 대한 견고성을 검증했습니다.

실험 결과

본 방법은 RESIDE(OTS 및 ITS 서브셋)와 SOTS(실내 및 실외) 벤치마크에서 평가되었습니다.

정량적 성능:
- RESIDE OTS: 24.57 dB PSNR / 0.907 SSIM.
- RESIDE ITS: 28.78 dB PSNR / 0.928 SSIM.
- SOTS-Indoor: 40.12 dB PSNR / 0.9823 SSIM.
- SOTS-Outdoor: 34.28 dB PSNR / 0.9746 SSIM.
  본 방법은 평가된 모든 비교 세트에서 가장 높은 SSIM 값을 달-성하였으며, 이는 DCP, AOD-Net, CycleGAN, DehazeFormer, Diff-Dehazer와 같은 방법들보다 우수한 구조 보존 능력을 나타냅니다.
절제 연구(Ablation Studies):
- 물리적 사전 지식 가이드(PPG)를 추가했을 때 PSNR과 SSIM 모두에서 초기 유의미한 상승이 나타났습니다.
- 좌표 주의(CA)는 주로 SSIM을 개선하여 공간적 정렬을 도왔습니다.
- 엣지 컨볼루션(Edge Conv)은 경계에서의 관계적 증거를 복원함으로써 SSIM을 크게 향상시켰습니다.
- 동적 컨볼루션(Dynamic Conv)은 고정된 특징 추출 규칙과 가변적인 안개 패턴 사이의 불일치를 해결하며 가장 큰 점진적 이득을 제공했습니다.
효율성:
- 모델은 7.30M 개의 파라미터와 20.10G FLOPs를 가집니다. 경량 CNN(예: AOD-Net)보다는 크지만, 경쟁력 있는 실행 시간(34.17 ms)을 유지하면서도 FFA-Net(287.8G FLOPs)보다는 훨씬 효율적입니다.
안개 밀도 분석:
- 안개 밀도가 증가함에 따라(Light to Heavy) SOTS-Indoor 데이터셋에서 제안된 방법은 성능 저하가 가장 완만하게 나타났으며, 다른 방법들이 상당한 구조적 손실을 겪는 심한 안개 상황에서도 높은 SSIM을 유지했습니다.

의의 및 주장

저자들은 제안된 방법이 전역적 문맥 모델링과 국부적 경계 보존 사이의 트레이드오프를 해결한다고 주장합니다. 투과 추정치를 일회성 입력이 아닌 연속적인 특징 변조 단서로 취급함으로써, 네트워크는 재구성 과정 전반에 걸쳐 "열화 인식" 상태를 유지합니다.

본 논문은 물리적 가이드와 적응형 특징 변조의 결합을 통해 모델이 다음을 수행할 수 있다고 단언합니다:

안개로 인한 감쇄와 실제 질감 또는 색상을 구별합니다.
안개를 제거하면서도 구조적 일관성(높은 SSIM)을 보존합니다.
과도한 평활화나 국부적 밝기 오류 없이 공간적으로 변화하는 안개 패턴에 적응합니다.

저자들은 모델이 경량 베이스라인보다 계산량이 더 많고 합성 훈련 데이터에 의존한다는 점을 언급하며 한계를 인정했습니다. 또한 센서 노이즈와 복잡한 대기 조건이 존재하는 제약 없는 실제 환경에 대한 일반화 가능성을 확인하기 위해 실제 환경에서의 검증이 여전히 필요하다고 밝혔습니다. 본 연구는 단일 이미지 안개 제거에서 물리적 사전 지식과 데이터 기반 재구성을 통합하여 안정성을 향상시키는 단계로 제시되었습니다.

문제 정의

방법론

주요 기여

실험 결과

의의 및 주장

유사한 논문