Cgh-Dehazenet: A Lightweight Channel Grouping Half- Convolutional Network With Cross-Attention Refinement for Single Image Dehazing

컴퓨터 비전의 세계에는 기계가 인간의 눈처럼 세상을 선명하게 보도록 가르치기 위한 끊임없는 투쟁이 존재한다. 가장 지속적인 장애물 중 하나는 공중에 떠 있는 입자들이 빛을 산란시켜 색을 바래게 하고 세부 사항을 흐릿하게 만드는 현상인 안개(haze)이다. 이것은 단순히 미적인 문제가 아니라 기능적인 문제이다. 드론, 자동차 또는 보안 시스템의 카메라가 짙은 안개를 통해 사물을 볼 때, 결과물인 이미지는 소프트웨어가 사물을 식감하거나 안전하게 항행하기에는 너무 퇴화된 경우가 많다. 수십 년 동안 과학자들은 물리 기반 규칙을 사용하여 선명한 이미지가 어떠해야 하는지를 추측함으로써 이를 해결하려 노력해 왔지만, 이러한 방법들은 실제 세상이 너무 복로잡해지면 실패하는 경우가 많았다. 보다 최근에는 연구자들이 딥러닝 네트워크를 훈련시켜 안개가 낀 사진과 선명한 사진의 차이를 학습하게 함으로써 인공지능으로 눈을 돌렸다. 그러나 이 강력한 네트워크들은 종로 매우 크고 계산 집약적이어서, 정작 기술이 가장 필요한 작고 배터리로 구동되는 장치에서는 실행할 수 없는 경우가 많다.

한 연구팀은 매우 효과적이면서도 놀라울 정도로 가벼운 시스템을 구축함으로써 이 딜레마를 해결하고자 하는 새로운 접근 방식을 제안했다. 그들은 CGH-DehazeNet이라는 네트워크를 도입했는데, 이는 현재의 최첨단 방식들이 요구하는 계산량의 아주 적은 부분만을 사용하면서 단일 이미지에서 안개를 제거하도록 설계되었다. 핵심 아이디어는 컴퓨터가 불필요한 작업을 하지 않도록 하는 것이다. 이미지의 모든 정보를 동일하게 무거운 기계 장치로 처리하는 대신, 새로운 시스템은 데이터를 그룹으로 나누고 그중 절반에만 복잡한 계산을 적용하며 나머지 절반은 변경 없이 통과시킨다. 저자들이 채널 그룹화 하프 컨볼루션(channel grouping half-convolution)이라고 부르는 이 전략은 중요한 세부 사항을 놓치지 않으면서도 필요한 계산 횟수를 획기적으로 줄여준다.

이미지가 단순히 선명해지는 것을 넘어 날카롭고 아티팩트(artifact)가 없도록 하기 위해, 연구진은 두 번째 지능 계층을 추가했다. 많은 이미지 복원 시스템에서는 처리 초기 단계의 정보가 후기 단계에 단순히 붙여넣어지는데, 이는 때때로 노이즈나 오류를 전이시킬 수 있다. 새로운 시스템은 크로스 어텐션(cross-attention) 메커니즘을 사용하여 이를 방지한다. 이는 마치 스마트한 필터처럼 작동하여, 초기 단계에서 오는 세부 사항을 후기 단계에서 발달된 광범위한 이해와 지속적으로 대조한다. 이 메커니즘은 이미지의 어느 부분이 강조되어야 하고 안개로 인한 노이즈 중 어느 부분이 억제되어야 하는지를 동적으로 결정한다. 또한, 이 시스템은 안개 조건에서 가장 먼저 사라지기 쉬운 나무 울타리의 결이나 나뭇잎과 같은 미세한 질감을 복구하는 데 특화된 모듈을 포함하고 있다.

이 접근 방식의 결과는 기존 기술과 비교했을 때 매우 놀랍다. 안개 제거 능력을 평가하기 위해 설계된 표준 테스트에서, 이 새로운 네트워크는 현재 사용 가능한 최고 수준의 방법들과 견줄 만한 명료함인 40데시벨 이상의 점수를 달em했다. 이 성과를 특히 주목할 만하게 만드는 것은 비용이다. 다른 고성능 네트워크들은 기능을 수행하기 위해 수억 개의 파라미터를 필요로 할 수 있는 반면, 이 새로운 모델은 약 190만 개의 파라미터만으로 작동한다. 시스템을 실행하는 데 필요한 순수 계산 능력 측면에서, 이 모델은 가장 가까운 경쟁 모델들의 절반 미만의 자원을 필요로 한다. 연구진은 실내 및 실외 장면, 그리고 대규모의 합성 안개 이미지 데이터셋에 대해 시스템을 테스트했으며, 기존 방식들보다 속도와 품질 모두에서 일관되게 우수한 성능을 보였다.

이 프로젝트의 성공은 인공지능의 전통적인 "클수록 좋다"는 사고방식을 거부하는 몇 가지 구체적인 설계 선택에 달려 있다. 저자들은 단순히 더 많은 층을 쌓거나 네트워크를 크게 만드는 것이 안개 문제를 해결하는 비효식적인 방법이라고 주장한다. 대신, 그들은 에너지를 어디에 써야 할지를 이해하는 네트워크를 설계함으로써 효율성에 집중했다. 시스템이 음수 값을 더 매끄럽게 처리할 수 있도록 특화된 활성화 함수를 사용함으로써, 네트워크는 학습 과정에서 정체되지 않고 효과적으로 훈련되어 더 안정적인 결과를 낼 수 있었다. 연구진은 또한 네트워크 중간에 세부 사항을 강화하는 블록을 추가하는 것이 성능 향상에 가장 큰 도움을 준다는 것을 발견했는데, 이는 이미지 중심부의 고주파 질감을 정교하게 재구성하는 것이 가장 중요한 과정임을 시사한다.

궁극적으로, 이 연구는 고품질의 이미지 복원이 거대하고 에너지를 많이 소비하는 컴퓨터를 필요로 하지 않는다는 것을 보여준다. 새로운 네트워크는 전문적인 수준의 결과를 전달하면서도 모바일 기기나 임베디드 시스템에서 실행될 수 있을 만큼 작게 구축하는 것이 가능하다는 것을 증명한다. 연구진은 채널을 그룹화하고, 어텐션을 통해 특징을 정제하며, 질감 복구에 집중하는 방식으로 정보를 처리함으로써, 이전에는 훨씬 더 무거운 기계 장치가 필요하다고 여겨졌던 수준의 명료함을 달성할 수 있음을 보여주었다. 이는 안개 속을 항행하는 자율주행 자동차부터 원격 지역을 감시하는 드론에 이르기까지, 전력과 공간이 제한된 실제 시나리오에서 고급 비전 시스템을 배치할 수 있는 길을 열어준다. 이 연구 결과는 이미지 복원의 미래가 더 큰 모델을 만드는 것이 아니라, 더 효율적인 모델을 설계하는 데 있음을 시사한다.