Enhancing Visual Perception in Foggy Conditions via Multiclass Fog Density Modeling

자신이 스스로 생각하는 자동차를 운전하고 있다고 상상해 보세요. 이 "자율주행" 자동차에는 운전석에 앉은 사람이 없습니다. 대신 카메라와 컴퓨터로 이루어진 뇌가 도로를 끊임없이 스캔하며 다른 차량, 보행자, 표지판을 찾아냅니다. 이 분야를 자율주행이라고 하며, 가장 큰 과제는 "인지(perception)", 즉 명확하게 보는 능력입니다. 날씨가 완벽할 때 이 카메라들은 인간의 눈처럼 작동합니다. 하지만 날씨가 험악해져서 짙은 안개가 밀려오면, 자동차의 시야는 마치 우리처럼 흐릿해지고 혼란에 빠집니다. 안개는 본질적으로 빛을 산란시키는 아주 작은 물방방울의 벽이며, 이로 인해 먼 곳의 물체는 희미해지고 회색빛으로 변합니다. 자동차가 명확하게 볼 수 없다면 안전하게 주행할 수 없습니다. 과학자들은 이 컴퓨터 뇌가 안개를 뚫고 볼 수 있도록 가르치기 위해 노력해 왔지만, 대부분은 가벼운 안개부터 눈앞을 가로막는 짙은 구름까지 모든 종류의 안개를 한꺼번에 처리할 수 있는 단 하나의 방식을 배우도록 가르치려 합니다.

"다중 클래스 안개 밀도 모델링을 통한 안개 조건에서의 시각적 인지 향상(Enhancing Visual Perception in Foggy Conditions via Multiclass Fog Density Modeling)"이라는 제목의 이 논문은 다음과 같은 간단한 질문을 던짐으로써 그 문제를 다룹니다. 만약 우리가 자동차에게 모든 종류의 안개를 처리하는 단 하나의 일반적인 규칙을 가르치는 대신, 모든 안개의 두께에 맞는 서로 다른 "안경"을 준다면 어떻게 될까요? Waymo 자율주행 데이터셋의 데이터를 활용하여 연구를 진행한 연구진은 다섯 가지 서로 다른 안개 단계, 즉 맑음, 가벼운 안개, 중간 안개, 짙은 안개, 매우 짙은 안개를 시뮬레이션하기로 했습니다. 하나의 거대한 모델이 모든 것을 처리하도록 훈련시키는 대신, 그들은 다섯 개의 별도 전문 모델을 훈련시켰습니다. 그들은 "매우 짙은 안개" 조건에 특화되어 훈련된 모델이 해당 조건에서 사물을 포착하는 능력이 훨씬 뛰어나다는 것을 발견했습니다. 실제로 가장 짙은 안개 상황에서 물체를 찾아내는 능력(재현율, recall)은 매우 낮은 0.076에서 훨씬 나은 0.232로 급증했습니다. 이는 15.6 퍼센트 포인트라는 엄청난 향상입니다. 그러나 이 논문은 또한 흥미로운 점을 시사합니다. 모델을 오직 최악의 안개 상황에만 맞춰 훈련시키면 너무 지나치게 전문화되어 유연성이 떨어질 수도 있다는 것입니다. 저자들은 스마트한 시스템이라면 거의 모든 상황, 즉 아주 짙은 안개까지도 처리하기 위해 모든 회색의 농도마다 별도의 뇌를 가질 필요 없이, 세 개의 특화된 모델(맑은 날씨용, 가벼운 안개용, 중간 안개용)만 있으면 될 수도 있다고 제안합니다.

안개 낀 도로의 이야기

안개 속에서 운전하는 것을 거대한 보이지 않는 미로를 헤쳐 나가는 것이라고 생각해 보세요. 현실 세계에서 자율주행 자동차는 카메라를 사용하여 도로를 "봅니다". 하지만 안개가 끼면, 마치 누군가 TV의 대비를 낮추고 화면 위에 흰 천을 덮어버린 것과 같습니다. 자동차의 컴퓨터는 빨간 정지 표지판이나 길을 건너는 사람처럼 자신이 봐야 할 물체들이 회색 얼룩처럼 보이기 시작하면서 혼란에 빠집니다.

오랫동안 과학자들은 하나의 초지능적인 컴퓨터 뇌를 만들어 모든 유형의 안개를 한꺼번에 처리하도록 만드는 방식으로 이를 해결하려 했습니다. 그들은 "약한 안개와 짙은 안개를 모두 함께 학습시킨다면, 이 뇌가 날씨의 달인이 될 것이다!"라고 생각했습니다. 하지만 이 논문의 저자들은 이러한 "원사이즈(one-size-fits-all)" 방식이 햇빛이 내리쬐는 해변에서 쓰던 선글라스를 어두운 동굴 속에서도 똑같이 쓰려는 것과 같다고 의심했습니다. 그것은 어느 쪽에서도 완벽하게 작동하지 않습니다.

실험: 다섯 가지 날씨를 위한 다섯 가지 안경

그들의 아이디어를 테스트하기 위해 연구진은 많은 안개 낀 사진이 필요했습니다. 현실 세계의 안개 낀 주행 데이터를 찾는 것은 어렵기 때문에(데이터셋을 찍으려고 눈앞이 안 보이는 폭풍 속을 운전하고 싶어 하는 사람은 없으니까요), 그들은 직접 만들었습니다. 그들은 맑은 날의 사진들을 가져와서(Waymo 데이터셋의 방대한 실제 주행 영상들), 특별한 컴퓨터 기술을 사용하여 안개를 추가했습니다.

그들은 단순히 "안개"를 넣은 것이 아니라, 특정한 양의 안개를 넣었습니다. 그들은 안개가 얼마나 두꺼운지를 정확히 제어하기 위해 수학적 공식(Koschmieder 모델의 확장형)을 사용했습니다. 그들은 다섯 가지 뚜렷한 단계를 만들었습니다:

1. 맑음 (안개 없음)
2. 가벼운 안개 (약간의 안개)
3. 중간 안개 (앞에 있는 몇 대의 차가 보임)
4. 짙은 안개 (시야가 낮아짐)
5. 매우 짙은 안개 (아무것도 보기 어려움)

여기서 영리한 점은, 이 다섯 가지를 모두 처리하는 하나의 큰 모델을 훈련시키는 대신, 다섯 개의 별도 모델을 훈련시켰다는 것입니다. 어떤 모델은 맑은 사진만 보고, 다른 모델은 가벼운 안개만 보고, 또 다른 모델은 짙은 안개만 보는 식입니다. 이것은 세상의 모든 범죄를 해결하려는 한 명의 형사가 아니라, 각기 다른 유형의 미스터리를 풀도록 훈련된 다섯 명의 전문 형사를 두는 것과 같습니다.

결과: 전문화가 승리한다 (하지만 반전이 있다)

이 모델들을 테스트했을 때 결과는 흥미로웠습니다. 특화된 모델들은 각자의 업무에서 훨씬 더 뛰어났습니다.

• 큰 도약: "매우 짙은 안개" 카테고리의 경우, 해당 조건에 특화되어 훈련된 모델은 존재해야 할 물체의 0.232를 찾아냈습니다. 맑은 날씨용으로 훈련된 모델을 짙은 안개에서 테스트했을 때의 기준값인 0.076과 비교해 보십시오. 이는 15.6 퍼센트 포인트의 향상입니다. 이는 탐정이 단서 100개 중 7개를 찾는 것과 23개를 찾는 것의 차이와 같습니다. 이 추가적인 가시성은 안전한 정지와 충돌 사이의 차이를 만들 수 있습니다.
• "골디락스(Goldilocks)"의 발견: 하지만 연구진은 놀라운 사실을 발견했습니다. "매 매우 짙은 안개" 결과를 살펴보았을 때, "매우 짙은 안개"에 특화되어 훈련된 모델이 객체 탐지 정확도(mAP) 측면에서 항상 절대적으로 최고는 아니었습니다. 때때로 "중간 안개"를 위해 훈련된 모델이 mAP 측면에서 경쟁력이 있거나 심지어 약간 더 나은 성능을 보이기도 했습니다.

왜 그럴까요? 저자들은 안개가 너무 짙으면 이미지가 너무 흐릿해져서 컴퓨터 뇌가 훈련 중에 혼란을 겪게 된다고 설명합니다. 이는 마치 눈을 가리고 저글링을 배우려는 것과 같습니다. 뇌가 극단적인 난이도에 갇혀 게임의 일반적인 규칙을 배우는 데 실패할 수 있기 때문입니다. 이는 어쩌면 우리에게 "매우 짙은 안개"를 위한 별도의 탐정은 필요 없을지도 모른다는 점을 시사합니다. "중간 안개" 탐정이라면 짙은 안개 상황도 충분히 감당할 수 있을 만큼 똑똑할 수 있기 때문입니다.

이것이 미래에 갖는 의미

이 논문은 우리가 안개를 단순한 "예/아니오"(안개가 끼었는가, 안 끼었는가)의 문제로 취급하는 것을 멈춰야 한다고 결론짓습니다. 대신 안개를 하나의 스펙트럼으로 취급해야 합니다. 안개가 얼마나 두꺼운지에 따라 몇 개의 특화된 모델 사이를 전환하는 "모듈형" 접근 방식을 사용함으로써, 우리는 자율주행 자동차를 훨씬 더 안전하게 만들 수 있습니다.

저자들은 단 세 개의 모델(맑음, 가벼운 안개, 중간 안개)만 갖춘 시스템이 가장 적절한 지점(sweet spot)일 것이라고 제안합니다. 이 시스템은 너무 복잡하거나 비용이 많이 들지 않으면서도 최악의 날씨를 견뎌낼 수 있을 만큼 견고할 것입니다. 이 연구는 카메라(RGB 이미지)에 초점을 맞추었지만, 저자들은 이와 동일한 아이디어가 향후 LiDAR(레이저)나 레이더와 같은 다른 센서에도 적용되어, 안개가 아무리 짙더라도 우리의 도로를 더 안전하게 만들 수 있다고 암시합니다.

요약하자면, 이 논문은 안개 속에서 명확하게 보기 위해서는 하나의 거대한 뇌가 필요한 것이 아니라, 각자의 업무에 맞는 안경을 쓴 전문가 팀이 필요하다는 것을 시사합니다.