LDMFNet: A Lightweight Dual-Modal Fusion Network for Accurate Multispectral Object Detection

안개가 자욱한 밤, 공원에서 친구를 찾는 상황을 상상해 보세요. 만약 일반적인 손전등(표준 카메라와 같은)만 있다면, 그 사람의 형체는 볼 수 있겠지만 안개 때문에 빨간색 재킷을 입었는지 파란색 재킷을 입었는지는 구분하기 어려울 것입니다. 반대로 열 감지 야간 투시경(적외선 카메라와 같은)만 있다면, 차가운 배경 속에서 따뜻한 체온을 가진 그 사람의 몸은 선명하게 볼 수 있지만, 얼굴이 어떻게 생겼는지 혹은 무엇을 들고 있는지는 알 수 없습니다. 이것이 바로 "단일 모달리티(single-modality)" 시각의 전형적인 문제입니다. 즉, 한 가지 종류의 감각에만 의존하면 까다로운 조건에서 추측에 의존할 수밖에 없다는 것입니다.

이 문제를 해결하기 위해, 컴퓨터 비전 분야의 과학자들은 로봇과 자율주행 자동차를 위한 "이중 모달(dual-modal)" 눈을 만들기 시작했습니다. 이 시스템은 일반 사진의 풍부한 색상과 질감을 적외선 이미지의 열 감지 능력과 결합하려고 시도합니다. 이는 마치 탐정에게 고화질 사진과 열 스캔 데이터를 동시에 제공하는 것과 같습니다. 목표는 암흑 속에서도, 눈부시게 밝은 태양 아래에서도, 혹은 짙은 안개 속에서도 명확하게 볼 수 있는 기계를 만드는 것입니다. 하지만 여기에는 문제가 있습니다. 이 두 가지 강력한 정보 스트림을 결합하려면 대개 모든 것을 처리하기 위한 거대하고 무거운 컴퓨터 두뇌가 필요하며, 이는 속도를 늦추고 소형 드론이나 자동차에 탑재하기 어렵게 만듭니다. 큰 질문은 이것입니다. "최고의 정확도를 가진 시각을 얻으면서도, 무겁고 느린 컴퓨터 없이도 가능할까?"

이것이 바로 LDMFNet을 개발한 연구자들이 해결하고자 했던 과제입니다. 그들은 이 두 종류의 시각을 융합하는 새로운 "경량화된(lightweight)" 방식을 제안합니다. 거대하고 투박한 두뇌로 데이터를 처리하는 대신, 그들은 매우 효율적인 전문가 팀처럼 작동하는 더 똑똑하고 날렵한 시스템을 설계했습니다.

"무거운" 접근 방식의 문제점

과거에는 가시광선(RGB)과 적외선(IR) 이미지를 병합하려 할 때, 종종 두 개의 별개인 무거운 신경망을 나란히 실행하는 방식을 사용했습니다. 이는 마치 두 명의 전문가를 고용하여 동일한 장면을 보게 한 뒤, 결정을 내리기 전에 모든 세부 사항에 대해 서로 논쟁하게 만드는 것과 같았습니다. 이 과정은 많은 "특징 혼란(feature confusion)"을 야기했고 엄청난 양의 컴퓨팅 파워를 요구하여 실시간 실행을 느리고 비싸게 만들었습니다. 저자들은 단순히 더 많은 컴퓨팅 파워를 쏟아붓는 것이 정답이 아니라고 주장합니다. 대신, 두 종류의 이미지가 벅차지 않게 서로 소통할 수 있는 더 스마트한 방법이 필요합니다.

해결책: 경량화된 전문가 팀

저자들은 Lightweight-Dual-CSPDarknet이라 불리는 영리한 구조를 기반으로 한 LDMFNet(경량 이중 모달 융합 네트워크)을 소개합니다. 이것을 능률적인 공정 라인이라고 생각해보세요. 모든 세부 사항을 무거운 망치로 처리하는 대신, 그들은 시작 단계에서 바로 채널을 "가지치기(pruning)" 합니다(마치 회로에서 불필요한 전선을 잘라내는 것처럼). 이는 시스템의 시각 능력을 유지하면서도 계산량을 즉각적으로 줄여 훨씬 빠르게 만듭니다.

이미지가 시스템에 들어오면, 두 사진을 즉시 섞어버리지 않습니다. 그것은 마치 기름과 물을 섞고 나서 완벽하게 섞이기를 바라는 것과 같습니다. 대신, 시스템은 DOIM(Detail-Contour Feature Interaction Aggregation Module, 세부-윤곽 특징 상호작용 집계 모듈)이라는 특별한 모듈을 사용합니다. 이 모듈은 발명의 핵심이며, 두 가지 뚜렷하고 유희적인 단계로 작동합니다.

1. "스킵 연결 채널 어텐션(Skip-Connected Channel Attention, SCCA)": 아주 작은 디테일(예: 주근깨)을 포착하는 데 뛰어난 친구와 큰 윤곽(예: 자동차의 형태)을 보는 데 뛰어난 친구가 있다고 상상해 보세요. SCCA 모듈은 이들이 혼란을 겪지 않도록 먼저 독립적으로 작업하게 합니다. 그런 다음, "스킵 연결(skip connection)"이라는 일종의 급행 엘리베이터를 사용하여 그들의 최고의 통찰력을 서로 전달합니다. 이를 통해 시스템은 복잡한 전체 융합을 바로 수행하는 무거운 작업 없이도 다양한 특징의 중요도를 측정할 수 있습니다. 이는 마치 디테일 관리자의 말을 들어야 할 때와 윤곽 관리자의 말을 들어야 할 때를 정확히 아는 스마트한 매니저가 있어 중요한 단서가 놓치지 않도록 하는 것과 같습니다.

2. "다중 스케일 공간 어텐션(Multi-Scale Spatial Attention, MSSA)": 두 스트림이 통찰력을 공유한 후, MSSA 모듈이 개입합니다. 이 부분은 다양한 렌즈를 사용하는 돋보기 세트와 같습니다. 시스템은 다양한 커널 크기(7x1, 11x1, 21x1)를 사용하여 다양한 렌즈를 통해 결합된 이미지를 관찰함으로써, 작은 새부터 거대한 트럭까지 모든 크기의 물체를 포착합니다. "깊이별 분리 합성곱(depthwise separable convolutions)"을 사용하여 에너지를 절약하면서도 매우 효율적으로 스캐닝하며, 아무것도 놓치지 않도록 합니다.

연구 결과

연구진은 세 가지 실제 데이터셋인 LLVIP(보행자), DroneVehicle(하늘에서 본 차량), FLIR(열화상 이미지)를 통해 새로운 시스템을 테스트했습니다. 결과는 매우 유망했습니다.

항공 뷰에서 차량을 탐지하는 것에 특화된 DroneVehicle 데이터셋에서, 그들의 방식은 81.1의 mAP(정확도를 나타내는 점수)를 달in 성과를 거두었습니다. 이는 다른 방식들과 비교했을 때 엄청난 도약입니다. 단일 카메라(RGB 전용) 방식보다 15.4 퍼센트 포인트 높았으며, 기존의 최상급 이중 카메라 방식보다도 9.7 퍼센트 포인트 앞섰습니다.

사람을 탐지하는 LLVIP 데이터셋에서, 모델은 95.8의 mAP@50과 60.8의 mAP@50:90에 도달했습니다. 정말 인상적인 점은, 이 성과를 단 2.38 백만 개의 파라미터와 6.2 GFLOPs라는 매우 작은 모델 크기로 달성했다는 것입니다. 이를 비교해 보자면, 많은 고성능 모델들은 유사하거나 심지어 더 낮은 점수를 얻기 위해 훨씬 더 많은 "두뇌 능력"을 필요로 합니다.

왜 중요한가

이 논문은 두 종류의 이미지가 상호작용하는 방식을 정교하게 설계함으로써(혼란을 피하기 위해 충분히 분리하면서도 강점을 공유할 수 있도록 연결함으로써), 매우 정확하면서도 놀라울 정도로 빠른 시각 시스템을 구축할 수 있음을 시사합니다. 저자들은 상호작용 모듈을 특정 단계(P3, P4, P5 레이어)에 배치하는 것이 결정적이라는 것을 발견했습니다. 너무 일찍 혹은 너무 늦게 배치하는 것은 효과가 떨어졌습니다.

요약하자면, LDMFNet은 어둠이나 안개 속에서도 명확하게 보기 위해 거대하고 느린 컴퓨터가 필요하지 않다는 것을 보여줍니다. 약간의 영리한 엔지니어링을 더한다면, 경량화된 시스템이 시각과 열 감지의 장점을 결합하여 높은 정밀도로 물체를 포착하는 슈퍼 탐정 역할을 할 수 있으며, 이는 자율주행 자동차나 드론 점검과 같은 실제 활용 분야에서 강력한 후보가 될 수 있습니다.