ROI-Gated SAHI: Content-Adaptive Slicing-Based Inference for Efficient Object Detection

컴퓨터 비전의 세계에서, 기계에게 보는 법을 가르치는 것은 명확성과 속도 사이의 끊임없는 균형 잡기이다. 카메라가 고해도 이미지를 포착할 때, 그것은 방대한 양의 세부 정보를 기록하며, 이는 먼 나무에 있는 새나 고속도로 저 멀리 있는 자동차와 같은 아주 작은 물체를 찾아내는 데 필수적이다. 그러나 이러한 높은 수준의 세부 정보에는 무거운 대가가 따른다. 이미지 전체를 한 번에 처리하려면 엄청난 컴퓨팅 파워가 필요하며, 이는 종종 시스템을 느리게 만들거나 휴대용 기기에서 실행하기에 너무 비싸게 만든다. 이를 해결하기 위해 연구자들은 "슬라이싱(slicing)"이라고 불리는 기술을 개발했는데, 이는 컴퓨터가 큰 이미지를 작고 중첩되는 조각들로 나누고, 각 조각을 개별적으로 분석한 다음, 그 결과들을 다시 하나로 합치는 방식이다. 이 방법은 작은 물체를 찾기 쉽게 만들어 주지만, 빈 하늘이나 빈 벽과 같은 이미지의 빈 부분에 대해서도 컴퓨터가 막대한 양의 작업을 수행하게 만든다.

한 연구팀은 이제 이 과정을 다루는 더 똑똑한 방법, 즉 컴퓨터의 주의력을 제어하는 문지기 역할을 하는 방법을 도입했다. 그들의 새로운 시스템인 ROI-Gated SAHI는 이미지를 맹목적으로 조각내지 않는다. 대신, 이 시스템은 먼저 빠르고 비용이 적게 드는 관찰을 통해 실제로 흥미로운 물체가 어디에 있는지 식파한다. 그런 다음, 무거운 분석 작업을 오직 해당 특정 영역에만 집중시키고, 빈 배경은 통째로 건너뛴다. 연구자들은 이 접근 방식이 장면 속에 물체들이 드문드문 흩어져 있을 때 매우 효과적이라는 것을 발견했지만, 장면이 붐빌 때 속도가 느려지는 것을 방지하기 위한 세심한 안전망이 필요하다는 점도 확인했다.

이 연구의 핵심 아이디어는 컴퓨터가 아무것도 없는 것에 에너지를 낭비하는 것을 막는 것이다. 전통적인 방식에서 시스템은 고해상도 사진의 모든 평방 인치를 똑같이 중요하게 취급하여, 전체를 타일 격자로 자르고 각 타일에 복잡한 탐지 알고리즘을 실행한다. 이것은 단 하나의 잘못 놓인 상자를 찾기 위해 거대하고 텅 빈 창고의 모든 방을 일일이 점검하러 전문 조사관 팀을 보내는 것과 같다. 새로운 프레임워크는 사전 단계를 추가함으로써 작업 흐름을 변경한다. 가볍고 빠른 모델이 이미지를 먼저 스캔하여 물체가 있을 법한 위치의 대략적인 지도를 생성한다. 만약 이미지가 대부분 빈 공간이라면, 시스템은 이 지도를 사용하여 탐지된 영역 주변에만 더 작고 집중된 타일 격자를 생성하고 나머지 이미지는 손대지 않는다.

연구진은 다양한 물체가 포함된 128개의 표준 이미지 세트를 사용하여 이 방법을 테스트했다. 조정 없이 모든 이미지에 새로운 시스템을 적용했을 때, 결과는 엇갈렸다. 평균적으로 새로운 방법은 전통적인 방식(264밀리초)보다 약간 느린 약 298밀리초가 소요되었다. 또한 탐지 점수가 약 0.76에서 0.66으로 떨어지며 더 많은 물체를 놓치기도 했다. 이는 초기 빠른 스캔이 복잡한 장면에서 물체를 포착하는 데 실패하는 경우가 있었고, 어디를 볼지 결정하는 추가 단계가 배경을 건너뜀으로써 절약한 시간보다 더 많은 시간을 소모했기 때문이다.

그러나 연구진이 새로운 방법을 사용할지 결정하는 간단한 규칙을 도입했을 때 이야기는 바뀌었다. 그들은 임계값을 설정했다. 만약 이미지 내 물체의 추정 면적이 전체 사진의 40% 미만이면 시스템은 새로운 집중형 접근 방식을 사용한다. 만약 물체가 그보다 많이 차지하면, 전체 이미지를 확인하는 전통적인 방식으로 돌아간다. 이 적응형 규칙을 적용하자 시스템은 평균적으로 더 빨라졌으며, 표준 방식 대비 약 1.02배의 속도 향상을 달ino했다. 이 작지만 유의미한 이득은, 많은 이미지에서 빈 배경을 확인하는 추가 작업이 그 비용을 들일 가치가 없다는 것을 시스템이 정확히 식별해 낸 데서 왔다.

시스템의 진정한 위력은 연구진이 밀도가 매우 다른 이미지 사례들을 살펴보았을 때 분명해졌다. 물체가 이미지의 2.7%만을 차지하는 장면에서 새로운 방법은 기존 방식보다 거의 7배 빨랐으며, 처리 시간을 500밀리초 이상에서 단 76밀리초로 줄였다. 물체가 약 26%를 차지하는 중간 정도의 밀도를 가진 장면에서도 시스템은 여전히 2배 이상 빨랐다. 하지만 물체가 시야의 거의 70%를 채우는 매우 밀집된 장면에서는 새로운 방법이 거의 속도 이점을 제공하지 못하고 오히려 약간 더 느렸는데, 이는 이 기술이 이미지가 대부분 빈 공간일 때 가장 유익하다는 점을 확인시켜 주었다.

연구진은 또한 이 속도가 정확도를 희생하면서 얻어진 것인지 조사했다. 그들은 시스템이 찾아낸 물체들에 대해서는 위치와 크기가 전통적인 방식과 거의 동일하다는 것을 발견했다. 시스템은 전체 스캔이 잡아냈을 법한 일부 물체들을 놓쳤는데, 특히 초기 빠른 스캔이 모든 것을 보기 어려워했던 밀집된 장면에서 그러했다. 이러한 트레이드오프는 이 방법이 속도가 매우 중요하고 장면이 전반적으로 희소한 경우, 예를 들어 드론을 통해 넓은 들판이나 고속도로를 모니터링하는 상황에 가장 적합하다는 것을 시사한다. 붐비는 환경의 경우, 전체 스캔으로 다시 전환하는 시스템의 능력이 신뢰성을 잃지 않도록 보장한다.

궁극적으로, 이 연구는 컴퓨터 비전에서의 효율성이 단순히 탐지 알고리즘을 더 빠르게 만드는 것이 아니라, 언제 그것을 사용할지에 대해 똑똑해지는 것임을 보여준다. 무엇을 처리할지에 대한 결정을 고정된 규칙이 아닌 콘텐츠 인식형 선택으로 다룸으로써, 연구진은 중요한 것을 찾는 능력을 희생하지 않으면서도 계산 부하를 크게 줄일 수 있음을 보여주었다. 이 시스템은 기존의 탐지 모델을 재학습시키거나 구조를 변경할 필요가 없으므로, 기존 도구 위에 계층적으로 얹을 수 있는 실용적인 추가 요소가 된다. 이 결과는 자원이 제한된 기기들에게 있어, 객체 탐지의 미래는 더 많은 일을 하는 것이 아니라 불필요한 종류의 일을 덜 하는 것에 있다는 점을 시사한다.