DA-LightNet: Real-Time Rain and Haze Removal on Edge Devices

매일 카메라는 세상의 있는 그대로를 포착하지만, 세상은 좀처럼 선명하지 않습니다. 앞 유리를 가로지르는 빗줄기는 도로를 흐릿하게 만들고, 짙은 안개는 도시 위로 낮게 깔려 활기찬 건물들을 회색 실루รายละเอียด로 바꿉니다. 이러한 기상 조건은 단순히 사진을 망치는 데 그치지 않습니다. 그것은 기계가 사물을 인식하는 데 필요한 세부 정보를 빼앗아 갑니다. 시각 정보에 의존해 길을 찾는 스마트 카메라, 드론, 자율 주행 차량과 같은 네트워크가 늘어남에 따라, 흐릿한 이미지는 장애물을 놓치거나 잘못된 방향으로 회전하는 결과를 초래할 수 있습니다. 수십 년 동안 과학자들은 복잡한 수학적 모델을 사용하여 날씨가 개입하기 전의 장면이 어떠했을지 추측함으로써, 컴퓨터가 이러한 지저분한 이미지들을 정화하는 법을 가르치기 위해 노력해 왔습니다. 하지만 이 작업을 위한 가장 강력한 도구들은 전통적으로 무거웠으며, 엄청난 양의 메모리와 전력을 갖춘 거대한 컴퓨터를 필요로 했습니다. 이는 문제를 야기합니다. 비나 안개 속에서도 선명하게 볼 수 있어야 하는 바로 그 장치들—숲 위를 나는 드론이나 자동차에 장착된 카메라와 같은 것들—은 대개 크기가 작고 배터리로 작동하며, 이러한 거대한 컴퓨터 프로그램의 무게를 감당할 수 없기 때문입니다.

중국의 사천직업기술대학(Sichuan Vocational and Technical College) 연구팀은 이러한 소규모의 자원 제한적인 기계들을 위해 특별히 설계된 새로운 솔루션을 개발했습니다. 그들은 DA-LightNet이라는 시스템을 만들었는데, 이는 비와 안개를 모두 실시간으로 제거할 수 있는 경량 이미지 복원 네트워크입니다. 비와 안개를 처리하기 위해 별도의 무거운 프로그램을 각각 사용해야 했던 기존 방식과 달리, 이 새로운 시스템은 두 가지 문제를 동시에 처리할 수 있는 단일화된 통합 구조를 사용합니다. 연구진은 이 네트워크를 '열화 인지형(degradation-aware)'으로 구축했는데, 이는 네트워크가 흐릿한 이미지를 보고 그 흐림이 비에 의한 것인지 안개에 의한 것인지를 파악한 다음, 모델을 교체할 필요 없이 그에 맞춰 정화 전략을 조정할 수 있음을 의미합니다. 그들은 불필요한 계산을 제거하고 이미지 복원에 필수적인 특징에만 집중하도록 스트림라인화된 구조를 설계함으로써 이를 달성했습니다. 그 결과, 이 도구는 표준 에지 디바이스(데이터를 원격 클라우드 서버로 보내는 대신 로컬에서 직접 처리하는 소형 컴퓨터를 일컫는 용어)에 탑재될 만큼 작으면서도, 즉각적으로 선명한 이미지를 생성할 만큼 강력합니다.

연구진은 이들의 창작물을 두 가지 특정 실제 이미지 세트, 즉 수천 쌍의 비 오는 사진과 비가 오지 않는 사진의 쌍, 그리고 안개 낀 사진과 맑은 사진의 쌍을 포함하는 세트로 테스트했습니다. 그들은 시스템이 두 가지 유형의 날씨 손상을 구분하고 이를 되돌리는 법을 학습하도록 훈련시켰습니다. 연구진이 현장에서 인공지능용으로 흔히 쓰이는 소형 컴퓨터인 NVIDIA Jetson 플랫폼에서 시스템을 실행했을 때, 시스템은 초당 34.8 프레임의 속도로 이미지를 처리했습니다. 이는 시스템이 실시간 비디오 스트림을 처리할 수 있음을 의미하며, 눈에 띄는 지연 없이 라이브 카메라 피드의 속도를 따라갈 수 있다는 것을 뜻합니다. 내부적인 수학적 측면에서 보면, 전체 시스템은 단 460만 개의 파라미터(복잡도를 측정하는 척도)만을 사용하며, 단 하나의 이미지를 처리하는 데 215억 번의 부동 소수점 연산(floating-point operations)을 필요로 합니다. 이 수치들은 종종 10배 더 많은 계산 능력을 요구하는 다른 고성능 방법들에 비해 현저히 낮은 수준입니다.

이것이 어떻게 작동하는지 이해하려면, 시스템을 매우 효율적인 편집자라고 상상해 보십시오. 비가 오는 이미지가 도착하면, 시스템은 먼저 이미지를 스캔하여 비의 줄무늬 패턴을 식별합니다. 그런 다음 특수 모듈을 사용하여 내부 초점을 재조정하는데, 이는 비가 가리고 있는 고주파 세부 사항에 집중하고 안개로 인한 전역적 대비 문제(global contrast issues)는 무시하도록 스스로에게 명령하는 과정입니다. 만약 이미지가 안개 낀 상태라면, 동일한 모듈이 전체적인 밝기와 색상 균형을 회복하는 쪽으로 주의를 전환합니다. 이 적응형 프로세스는 단일하고 압축된 일련의 작업 체인 내에서 발생합니다. 연구진은 이러한 네트워크에서 흔히 발견되는 무겁고 표준적인 구성 요소들을 '효율적인 복원 블록(efficient restoration blocks)'으로 교체했습니다. 이 블록들은 뎁스와이즈 컨볼루션(depthwise convolution)이라는 기술을 사용하는데, 이는 모든 것을 한꺼번에 처리하는 대신 이미지의 각 색상 채널을 분리하여 처리한 후 다시 혼합하는 방식입니다. 이 접근법은 컴퓨터가 수행해야 할 작업량을 획기적으로 줄여줍니다. 마지막으로, 경량화된 재구성 헤드(reconstruction head)는 정화된 특징들을 가져와 전체 장면을 처음부터 다시 만드는 대신, 원래 이미지에 필요한 수정 사항만을 더하여 완전한 그림으로 조립합니다.

연구진은 거대한 트랜스포머 구조를 사용하거나 복잡한 어텐션 메커니즘에 의존하는 몇몇 선도적인 방법들을 포함하여 자신들의 새로운 시스템을 비교했습니다. 이러한 무거운 모델들은 종-종 서류상으로는 약간 더 선명한 이미지를 만들어내기도 했지만, 에지 디바이스에서 실시간 속도로 구동되는 데는 실패했습니다. 일부 경쟁 모델들은 초당 약 5~15 프레임 정도밖에 처리하지 못했는데, 이는 움직이는 차량이나 비행하는 드론이 즉각적인 의사결정을 내리기 위해 의존하기에는 너무 느린 속도입니다. 반면, DA-LightNet은 경쟁력 있는 수준의 이미지 품질을 유지하면서도 차세대 모델보다 두 배 이상 빠르게 실행되었습니다. 연구진은 더욱 엄격한 제약 조건 하에서도 시스템이 작업을 수행할 수 있는지 확인하기 위해 훨씬 더 작고 성능이 낮은 컴퓨터인 라즈베리 파이(Raspberry Pi)에서도 테스트를 진행했습니다. 시스템은 건재함을 보여주었으며, 매우 제한된 메모리와 프로세싱 능력을 가진 장치에서도 기능할 수 있음을 입증했습니다.

이 연구는 이 접근 방식이 현재의 대안들보다 시각적 품질과 실질적인 속도 사이에서 더 나은 균ل을 제공한다는 점을 시사합니다. 연구진은 비와 안개 제거 작업을 단일 모델로 통합함으로써 여러 개의 별도 프로그램을 저장하고 실행할 필요를 없애 메모리와 시간을 모두 절약할 수 있음을 발견했습니다. 또한, 시스템이 이미지 자체의 패턴을 분석함으로써 정확히 어떤 종류의 날씨를 보고 있는지 알려주지 않아도 다양한 유형의 날씨 손상을 구분하는 법을 배울 수 있음을 보여주었습니다. 이러한 유연성은 날씨가 급격하고 예측 불가능하게 변하는 실제 환경에서 매우 중요합니다. 결과는 고품질의 이미지 복원이 반드시 강력한 클라우드 기반 슈퍼컴퓨터만의 전유물일 필요는 없다는 것을 나타냅니다. 대신, 이를 카메라 렌즈로 직접 가져옴으로써 스마트 기기들이 최악의 조건에서도 선명하게 볼 수 있도록 할 수 있습니다.

앞으로 연구진은 이 작업을 확장하여 눈, 저조도, 모션 블러와 같은 다른 날씨 문제들을 포함시키고, 모든 유형의 시각적 열화를 처리할 수 있는 더욱 일반적인 시스템을 만드는 것을 목표로 하고 있습니다. 또한 양자화(quantization)와 같은 기술을 사용하여 모델을 더욱 작고 빠르게 만드는 등, 특정 하드웨어에 최적화하기 위한 추가적인 방법을 탐구할 계획입니다. 단순히 이미지를 더 좋게 만드는 것을 넘어, 그들은 복원된 이미지가 드론이 사람을 감지하거나 자동차가 번화한 거리를 항해하는 것과 같은 다운스트림 작업(downstream tasks)에 실제로 도움이 되는지 테스트할 예정입니다. 현재로서는, 이 연구는 세심한 설계를 통해 손바닥 안에 들어갈 만큼 작으면서도 실시간으로 세상의 시야를 맑게 해줄 만큼 똑똑한 강력한 비전 도구를 구축하는 것이 가능하다는 것을 보여주는 증거입니다.