SQCAFusion: Multi-Scale Scene-Query Cross-Attention for Illumination-Adaptive Infrared and Visible Image Fusion

머신 비전의 세계에서 카메라는 종종 빛의 물리적 법칙에 의해 제한을 받습니다. 표준 카메라는 풍부한 색상과 미세한 질감을 포착하며 인간의 눈과 매우 유사하게 세상을 보지만, 해가 지거나 연기가 가득 차면 어려움을 겪습니다. 반면, 열화상 카메라는 빛 대신 열을 감지하여 완전한 어둠 속에서도 살아있는 생명체를 명확하게 볼 수 있게 해주지만, 일반 사진처럼 선명한 세부 사항이 부족한 흐릿하고 회색빛인 이미지를 생성하는 경우가 많습니다. 수십 년 동안 엔지니어들은 이 두 종류의 이미지를 결합하여 낮 사진의 명료함과 야간 투시 장치의 열 감지 능력을 모두 갖춘 하나의 완벽한 사진을 만들기 위해 노력해 왔습니다. 이미지 퓨전(image fusion)이라고 알려진 이 과정은 안개 낀 거리에서 주행하는 자율주행 자동차부터 적대적인 환경에서의 군사 감시까지 모든 분야에 필수적입니다. 그러나 이러한 시도에는 고질적인 문제가 존재해 왔습니다. 대부분의 이미지 병합용 컴퓨터 프로그램은 '장면에 맹목적(scene-blind)'이라는 점입니다. 이들은 밝고 화창한 낮과 칠흑 같은 밤을 똑같이 취급하며, 이미지 결합 규칙이 조명 조건에 따라 달라져야 한다는 사실을 인지하지 못합니다. 이러한 맹목성은 결과적으로 밤하늘의 어둠이 정적(static)과 노이즈를 증폭시키거나, 화창한 날의 밝은 색상이 씻겨 내려가 최종 이미지를 탁하고 혼란스럽게 만드는 결과를 초래하곤 합니다.

상하이 공학대학교(Shanghai University of Engineering Science)의 연구팀은 이 특정 문제를 해결하기 위해 새로운 접근 방식인 SQCAFusion이라 불리는 시스템을 개발했습니다. 이들의 방법은 프로세스의 마지막 단계에서 조명 조건을 조정하기를 기다리는 대신, 컴퓨터가 아주 초기 단계부터 환경을 이해하도록 요구합니다. 마치 번역가가 책을 읽기 전에 먼저 시간대를 확인하여 격식 있는 언어를 사용할지 아니면 일상적인 언어를 사용할지 결정하는 것과 같습니다. 이와 유사하게, 이 새로운 시스템은 먼저 장면을 분석하여 낮인지 밤인지 판단합니다. 그런 다음 이 지식을 활용하여 단순히 마지막에 수정 사항을 적용하는 것이 아니라, 시작부터 병합 과정을 능동적으로 안내합니다. 연구진은 이러한 '장면 인식(scene awareness)'을 특징 추출(feature extraction)의 초기 단계에 직접 주입함으로써, 컴퓨터가 가시광선 이미지와 열화상 이미지에 각각 얼마만큼의 가중치를 부여할지 동적으로 결정할 수 있다는 것을 발견했습니다. 가시광선 이미지가 어둡고 노이즈가 많으면 시스템은 가시적인 세계의 날카로운 가장자리를 보존하면서 열 데이터에 더 많이 의존하도록 학습합니다. 반대로 장면이 밝으면 표준 카메라의 풍부한 질감과 색상을 우선시합니다.

이 혁신의 핵심은 동적 필터 역할을 하는 메커니로리즘입니다. 시스템은 장면의 조명 조건을 나타내는 일련의 디지털 토큰을 생성합니다. 이 토큰들은 쿼리(query)로서 작용하여, 컴퓨터에게 이미지 특징을 살펴보고 어떤 부분이 중요한 부분이고 어떤 부분이 단순한 노이즈인지 결정하도록 요청합니다. 이 과정은 여러 척도(multiple scales)에 걸쳐 발생하는데, 즉 시스템은 물체의 넓은 형태와 질감의 미세한 세부 사항을 동시에 확인합니다. 이를 통해 컴퓨터는 보행자나 차량과 같은 중요한 대상을 흐리게 만들지 않으면서도 저조도 사진에서 흔히 발생하는 거친 노이즈를 억제할 수 있습니다. 또한 연구진은 나쁜 데이터로부터 학습하는 어려움을 다루기 위해 영리한 훈련 전략을 도입했습니다. 컴퓨터가 매우 어두운 이미지로 훈련될 때, 노이즈가 때때로 실제 가장자리나 물체인 것처럼 착각하게 만들어 학습 과정을 방해할 수 있습니다. 이를 방지하기 위해 시스템은 어두운 장면을 감지했을 때 가시광선 이미지의 품질에 대한 기대치를 자동으로 낮추도록 학습되었습니다. 이를 통해 모델은 노이즈를 무시하면서도 장면의 진정한 구조를 충실하게 포착할 수 있습니다.

이 새로운 프레임워크의 결과는 도시 거리 장면, 군사 위장 시나리오, 복잡한 도로 환경을 포함한 다양한 데이터셋을 사용하여 기존의 광범위한 방법들과 테스트되었습니다. 천 개 이상의 이미지 쌍이 포함된 데이터셋에 대한 표준 테스트에서, 이 새로운 방법은 정보 보유량과 시각적 명료도의 핵심 척도에서 이전의 모든 최첨단 알고리즘들을 능가했습니다. 이 시스템은 경쟁 모델들보다 더 많은 세부 사항을 보존하고 더 높은 대비를 가진 이미지를 성공적으로 생성했습니다. 더욱 인상적인 것은 이 시스템이 놀라운 일반화 능력을 보여주었다는 점입니다. 연구진이 고해상도 도로 교통 장면부터 단일 채널 군사용 열화상 이미지에 이르기까지 한 번도 본 적 없는 완전히 새로운 데이터셋으로 테스트했을 때, 모델은 재학습이나 조정 없이도 높은 성능을 유지했습니다. 모델은 열 타겟을 뚜렷하게 유지하면서 배경의 자연스러운 모습을 보존하며 명확하고 선명한 이미지를 만들어냈습니다. 다른 방법들이 흐릿한 헤일로(halo) 현상을 만들거나 세부 사항을 완전히 놓쳤던 저조도 환경에서도, 이 새로운 접근 방식은 물체의 가장자리를 선명하게 유지하고 배경을 깨끗하게 유지했습니다.

이 연구는 더 나은 이미지 퓨전의 핵심이 단순히 강력한 하드웨어를 갖추는 것이 아니라, 소프트웨어에 자신이 작업 중인 맥락을 이해할 수 있는 능력을 부여하는 데 있음을 확인시켜 줍니다. 경직된 '일률적인(one-size-fits-all)' 방식에서 벗어나 조명 조건에 실시간으로 적응하는 동적 시스템으로 나아감으로써, 연구진은 현실 세계의 응용 분야에서 훨씬 더 견고한 도구를 만들어냈습니다. 이 연구는 미래의 비전 시스템이 예측 불가능한 물리적 세계를 다루기 위해 반드시 맥락 인식(context-aware) 능력을 갖추어야 함을 시사합니다. 현재 모델은 장면의 전역적 이해에 의존하고 있지만, 연구진은 향후 반복 연구를 통해 더욱 미세한 세부 사항에 집중하여 더욱 복잡한 환경에서도 실시간 적응이 가능하도록 할 수 있다고 언급했습니다. 현재로서는 이 방법은 머신 비전을 어둠 속에서도 신뢰할 수 있게 만들어, 중요한 세부 사항이 그림자 속으로 사라지지 않도록 하는 데 있어 중대한 진전을 의미합니다.