💻 computer science

The First Challenge on Remote Sensing Infrared Image Super-Resolution at NTIRE 2026: Benchmark Results and Method Overview

본 논문은 NTIRE 2026 에서 개최된 원거리 감지 적외선 이미지 초해상도 (x4) 챌린지의 대회 설계, 데이터셋, 평가 프로토콜, 주요 결과 및 각 팀의 대표적 방법론을 종합하여 적외선 이미지 초해상도 연구의 벤치마크를 제시하고 있습니다.

원저자: Kai Liu, Haoyang Yue, Zeli Lin, Zheng Chen, Jingkai Wang, Jue Gong, Jiatong Li, Xianglong Yan, Libo Zhu, Jianze Li, Ziqing Zhang, Zihan Zhou, Xiaoyang Liu, Radu Timofte, Yulun Zhang, Junye Chen, Zhenm

게시일 2026-04-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kai Liu, Haoyang Yue, Zeli Lin, Zheng Chen, Jingkai Wang, Jue Gong, Jiatong Li, Xianglong Yan, Libo Zhu, Jianze Li, Ziqing Zhang, Zihan Zhou, Xiaoyang Liu, Radu Timofte, Yulun Zhang, Junye Chen, Zhenming Yan, Yucong Hong, Ruize Han, Song Wang, Li Pang, Heng Zhao, Xinqiao Wu, Deyu Meng, Xiangyong Cao, Weijun Yuan, Zhan Li, Zhanglu Chen, Boyang Yao, Yihang Chen, Yifan Deng, Zengyuan Zuo, Junjun Jiang, Saiprasad Meesiyawar, Sulocha Yatageri, Nikhil Akalwadi, Ramesh Ashok Tabib, Uma Mudenagudi, Jiachen Tu, Yaokun Shi, Guoyi Xu, Yaoxin Jiang, Cici Liu, Tongyao Mu, Qiong Cao, Yifan Wang, Kosuke Shigematsu, Hiroto Shirono, Asuka Shin, Wei Zhou, Linfeng Li, Lingdong Kong, Ce Wang, Xingwei Zhong, Wanjie Sun, Dafeng Zhang, Hongxin Lan, Qisheng Xu, Mingyue He, Hui Geng, Tianjiao Wan, Kele Xu, Changjian Wang, Antoine Carreaud, Nicola Santacroce, Shanci Li, Jan Skaloud, Adrien Gressin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

NTIRE 2026 적외선 이미지 초해상도 챌린지: 안개 낀 밤을 맑게 만드는 마법

이 논문은 2026 년에 열린 **'NTIRE(이미지 복원 및 처리를 위한 국제 워크숍)'**의 한 부분으로, **'원격 탐사 적외선 이미지'**를 선명하게 만드는 대회에 대한 결과 보고서입니다.

쉽게 비유하자면, 이 대회는 **"안개 낀 밤에 찍은 흐릿한 열화상 사진을, 마치 맑은 날에 찍은 선명한 사진처럼 만들어주는 AI 기술을 겨루는 대회"**였습니다.

1. 왜 이런 대회가 필요할까요? (문제 상황)

상황: 위성이나 드론이 밤이나 안개 낀 날에 지구를 찍을 때, 적외선 카메라를 사용합니다. 하지만 이 카메라는 해상도가 낮아, 작은 건물이나 사람, 차량 같은 '작은 목표물'이 흐릿하게 보입니다. 마치 안개 낀 밤에 멀리 있는 전등을 보듯, 빛의 덩어리만 보일 뿐 세부적인 모양은 알 수 없습니다.
목표: 이 흐릿한 (저해상도) 이미지를 AI 를 통해 원래의 선명한 (고해상도) 이미지로 되돌리는 것입니다. 이를 **'초해상도 (Super-Resolution)'**라고 합니다.
특이점: 일반 사진 (가시광선) 과 달리 적외선 사진은 '온도'와 '열'의 차이를 보여줍니다. 그래서 단순히 선명하게 만드는 게 아니라, 열의 흐름과 구조를 왜곡하지 않고 복원해야 하는 난이도가 높습니다.

2. 대회는 어떻게 진행되었나요?

참가자: 전 세계 115 명의 참가자가 등록했고, 그중 13 개의 팀이 최종적으로 좋은 결과를 냈습니다.
규칙: 참가자들은 흐릿한 이미지 (LR) 를 받아서 선명한 이미지 (HR) 를 만들어 제출해야 했습니다.
심사 기준: 단순히 "얼마나 선명한가?"만 보는 게 아니라, **"구조가 얼마나 잘 보존되었는가?"**를 함께 점수화했습니다.
- 비유: 그림을 그릴 때, "색이 선명한가 (PSNR)"와 "그림의 윤곽이 원래와 같은가 (SSIM)"를 모두 점수화하여 합산했습니다. 특히 구조 보존 점수에 20 배의 가중치를 두어, "형체는 잃지 말라"는 점을 강조했습니다.

3. 우승팀과 주요 기술 (해결책)

최종 1 위를 차지한 WHU-VIP 팀을 포함한 상위 팀들은 다음과 같은 창의적인 방법들을 사용했습니다.

🏆 1 위: WHU-VIP 팀 (품질 감지형 AI)

아이디어: "모든 흐릿한 사진이 같은 이유로 흐릿한 건 아니야!"
비유: 사진이 흐릿한 이유가 '안개' 때문일 수도 있고, '카메라 흔들림' 때문일 수도 있습니다. 이 팀은 AI 가 **"이 사진이 왜 흐릿한지 먼저 감지 (Quality Estimation)"**하게 만들었습니다.
기술: 이미지의 전역적인 품질 (전체적인 흐림) 과 국소적인 품질 (특정 부분의 노이즈) 을 따로 분석하여, 상황에 맞춰 AI 가 스스로 복원 방식을 조절하게 했습니다. 마치 현장 상황에 맞춰 치료법을 바꾸는 똑똑한 의사와 같습니다.

🥈 2 위: XJRes 팀 (두 명의 전문가 협업)

아이디어: "한 명보다 두 명이 더 낫다!"
비유: 복잡한 문제를 풀 때, 한 명의 천재보다 서로 다른 강점을 가진 두 명의 전문가가 협력하면 더 좋습니다. 이 팀은 **PFT(점진적 집중)**와 **HAT(하이브리드 주의)**라는 두 가지 다른 AI 모델을 동시에 작동시켰습니다.
기술: 두 모델이 각각 다른 방식으로 이미지를 복원한 뒤, 그 결과를 **가중 평균 (Weighted Average)**으로 섞어 최종 결과를 냈습니다. 서로의 실수를 보완하며 더 완벽한 그림을 완성한 것입니다.

🥉 3 위: FengFans 팀 (8 배의 시뮬레이션 + 팀워크)

아이디어: "여러 각도에서 보고, 여러 번 연습하자!"
비유: 시험을 볼 때, 문제를 여러 번 풀고, 거꾸로 뒤집어 보거나, 옆으로 돌려보며 다양한 각도에서 접근하면 더 잘 풀 수 있습니다.
기술:
1. TTA (테스트 시간 증강): 입력된 이미지를 회전시키거나 뒤집는 등 8 가지 변형을 만들어 각각 복원한 뒤, 다시 원래 모양으로 돌려놓아 평균을 냈습니다.
2. 엔semble: 서로 다른 학습 전략 (하나는 구조를 중시, 하나는 픽셀 정확도를 중시) 으로 훈련된 두 개의 AI 모델을 섞어 사용했습니다.

4. 이번 대회의 핵심 교훈 (인사이트)

이 대회를 통해 발견된 중요한 점들은 다음과 같습니다:

혼합 아키텍처의 승리: 거시적인 구조를 보는 'Transformer'와 미세한 디테일을 잡는 'CNN'을 섞은 모델이 가장 강력했습니다. (거시 + 미시의 조화)
효율적인 장기 기억: 적외선 이미지는 넓은 영역의 열 분포가 중요합니다. 'Mamba'라는 새로운 기술처럼, 적은 계산량으로 넓은 범위를 잘 기억하는 모델이 각광받았습니다.
학습 전략의 중요성: 처음엔 쉬운 데이터로, 점점 어려운 데이터로 학습시키는 '커리큘럼 학습' 방식이 AI 의 실력을 끌어올리는 데 결정적이었습니다.

5. 결론

이 논문은 단순히 "누가 이겼나"를 보여주는 것을 넘어, 어떻게 하면 흐릿한 적외선 이미지를 현실적으로 선명하게 만들 수 있는지에 대한 최신 기술의 지도를 제시합니다.

이 기술이 발전하면, 재난 현장의 구조 활동, 군사 감시, 기후 변화 모니터링 등 우리 삶에 중요한 분야에서 안개 낀 밤에도 선명한 시야를 확보할 수 있게 될 것입니다. 마치 안개 낀 밤을 맑은 낮처럼 만들어주는 마법과 같은 기술이 현실이 된 셈입니다.

NTIRE 2026 원거리 감지 적외선 이미지 초해상도 (SR) 챌린지 기술 요약

1. 문제 정의 (Problem Definition)

배경: 적외선 (Infrared) 원격 감지 이미지는 센서 하드웨어 및 촬영 조건의 한계로 인해 공간 해상도가 낮아, 작은 목표물, 질감 세부 사항, 미세한 열적 변화와 같은 중요한 장면 정보가 손실됩니다. 이는 목표 탐지, 환경 모니터링 등 하류 작업의 신뢰성을 저해합니다.
목표: 4 배 (×4) 스케일링 인자로 바이큐빅 (bicubic) 다운샘플링된 저해상도 (LR) 적외선 입력으로부터 고품질의 고해상도 (HR) 이미지를 복원하는 것입니다.
도전 과제:
- 적외선 데이터의 고유한 특성 (노이즈, 비선형 열 복사 관계, 의미 있는 열 대비 유지 필요성) 을 고려해야 함.
- 대기 조건 및 센서 특성 변화로 인한 모델의 일반화 (Generalization) 어려움.
- 가시광선 이미지와 달리 고주파 성분이 약하여 디테일 복원이 어려움.

2. 챌린지 설정 및 평가 프로토콜 (Challenge Setup & Evaluation)

데이터셋: Spark Transmission (Beijing) Co., Ltd. 에서 제공한 'InfraredSR' 데이터셋 사용.
- 고품질 (HQ) 적외선 이미지를 바이큐빅 보간으로 4 배 다운샘플링하여 LR-HR 쌍 구성.
- 훈련, 검증, 테스트 세트로 분할됨 (다양한 해상도 포함).
평가 지표: 단일 트랙 (Single-track) 방식.
- 공식 점수: $Score = PSNR + 20 \times SSIM$
- 이 지표는 구조적 유사성 (SSIM) 을 PSNR 보다 20 배 가중치하여 부여함으로써, 단순 픽셀 정확도뿐만 아니라 구조적 일관성을 중요하게 평가합니다.
- 모든 계산은 적외선 데이터의 특성상 **단일 채널 (Single-channel)**로 수행됩니다.
참가 현황: 115 명 등록, 13 개 팀이 유효한 결과를 제출.

3. 주요 방법론 및 기술적 통찰 (Methodology & Key Technical Insights)

성공적인 상위 팀들의 접근 방식을 분석한 결과, 다음과 같은 핵심 설계 패러다임이 도출되었습니다.

A. 상위 팀별 주요 방법론:

WHU-VIP (1 위):
- QAHAT (Quality-Aware Hybrid Attention Transformer): HAT 아키텍처를 기반으로 함.
- 핵심 아이디어: 훈련 데이터 내 HR 이미지의 품질 편차 (센서 노이즈, JPEG 아티팩트 등) 를 명시적으로 모델링.
- 구조: 전역 품질 분기 (Global Quality Branch) 와 국소 품질 분기 (Local Quality Branch) 를 도입하여 입력 이미지의 열화 정도를 추정하고, 이를 통해 백본 네트워크의 특징 처리를 동적으로 조정 (Source Quality Adapter, Local Quality-Aware Module).
- 데이터: SatVideoIRSDT 비디오 데이터셋의 프레임을 추가로 활용.
XJRes (2 위):
- 모델 융합 (Ensemble): Progressive Focused Transformer (PFT) 와 Hybrid Attention Transformer (HAT) 의 4 개 병렬 브랜치 조합.
- 전략: PFT 브랜치 2 개와 HAT 브랜치 2 개를 서로 다른 목적 함수로 독립적으로 학습 후, 가중 평균 (Weighted Averaging) 을 통해 최종 결과 도출.
- 효과: PFT 의 점진적 어텐션 집중 능력과 HAT 의 하이브리드 어텐션 표현 능력을 동시에 활용.
FengFans (3 위):
- HAT-L 기반 앙상블: 두 개의 HAT-L 모델을 서로 다른 학습 전략으로 학습 후 가중치 앙상블.
- 학습 전략:
  - 모델 1: SSIM 인식 손실 (L1 + SSIM) 사용, 낮은 학습률, 짧은 학습.
  - 모델 2: 순수 L1 손실 사용, 높은 학습률, 긴 학습 (100k iteration).
- TTA (Test-Time Augmentation): 8 배 기하학적 변환 (회전, 반전) 을 적용하여 예측 평균화. 이는 테스트 시 점수 향상에 가장 큰 기여를 함 (+2.54 점).
- 특이점: 단채널 적외선 이미지를 3 채널 RGB 로 복제하여 사전 학습된 HAT-L 가중치를 직접 활용.

B. 공통된 기술적 트렌드:

하이브리드 아키텍처: Transformer(전역 구조/장거리 의존성) 와 CNN(국소 디테일/노이즈 억제) 의 결합이 주류.
상태 공간 모델 (Mamba): 계산 효율성을 높이면서 전역 컨텍스트를 모델링하기 위해 Transformer 와 결합하여 사용.
주파수 인식 학습: 적외선 이미지의 약한 고주파 신호를 강화하기 위해 주파수 도메인 감독 (Frequency-domain supervision) 도입.
점진적 학습 전략: 데이터 다양성 부족을 보완하기 위해 패치 크기 조정 등 커리큘럼 학습 (Curriculum Learning) 적용.

4. 주요 결과 (Results)

성능: 1 위 팀 (WHU-VIP) 은 테스트 세트에서 PSNR 35.96 dB, SSIM 0.9236, 총점 54.4361을 기록.
경쟁 구도: 상위 5 개 팀 간의 점수 차이는 0.15 dB 이내로 매우 치열하며, 구조적 충실도 (SSIM) 가 높은 수준으로 유지됨.
통계: 전체 점수 추세가 PSNR 추세를 따르며, 복원 품질이 랭킹의 주된 결정 요인임을 확인.

5. 기여 및 의의 (Contributions & Significance)

첫 번째 벤치마크: 원격 감지 적외선 이미지 초해상도 (×4) 를 위한 최초의 표준화된 벤치마크와 평가 프로토콜을 제시함.
실용적 가치: 실제 원격 감지 응용 (목표 탐지, 환경 분석 등) 에 필요한 고품질 적외선 이미지 복원 솔루션 개발을 촉진.
기술적 통찰: 적외선 데이터의 고유한 특성 (약한 고주파, 열적 편차, 노이즈) 을 해결하기 위한 Transformer, Mamba, 품질 인식 학습 등 최신 딥러닝 기법의 효과성을 입증.
오픈 소스: 코드, 사전 학습 모델, 평가 스크립트를 GitHub 를 통해 공개하여 후속 연구의 기반 마련.

6. 결론

NTIRE 2026 적외선 SR 챌린지는 하이브리드 아키텍처 (Transformer+CNN), 효율적인 장거리 모델링 (Mamba), 그리고 품질 인식 및 주파수 기반 학습 전략이 적외선 이미지 복원 성능을 극대화하는 핵심 요소임을 보여줌. 특히, 데이터의 이질적인 품질을 고려한 적응형 학습과 TTA 를 통한 앙상블 기법이 높은 성능을 이끌어냈으며, 이는 향후 실제 원격 감지 시스템에 적용될 수 있는 강력한 기반이 될 것입니다.