💻 컴퓨터 과학

Lightweight Real-Time RGB-IR Pedestrian Detection Based on DoG Detail Enhancement and Region-Guided Attention

본 논문은 복잡한 환경에서 높은 추론 속도를 유지하면서도 정확도와 강건성을 향상시키기 위해 DoG 세부 사항 강화 및 영역 가이드 공간 주의 메커니즘이 통합된 DualBranchStem을 결합한 경량 실시간 RGB-IR 보행자 탐지 방법인 DRGF-YOLOv10n을 제안한다.

원저자: LinXi Zhong, Zhaohui Xiao

게시일 2026-10-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: LinXi Zhong, Zhaohui Xiao

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 비전의 세계에서 기계는 끊임없이 보는 법을 배우고 있지만, 열악한 조건에서 인간의 눈이 겪는 것과 동일한 한계로 인해 종종 어려움을 겪습니다. 우리가 일상적으로 사용하는 가시광선에만 의존하는 카메라는 어둠, 폭우 또는 눈부신 눈부심에 쉽게 혼란을 느껴 그림자 속에 서 있는 사람을 놓칠 수 있습니다. 반대로, 적외선 센서로 알려진 열을 감지하는 카메라는 칠흑 같은 어둠 속에서도 따뜻한 신체를 포착할 수 있지만, 그 신체가 어떻게 생겼는지 보여주는 데는 자주 실패하여 형체를 흐릿하고 질감이 없는 덩어리로 나타내곤 합니다. 이를 해결하기 위해 연구자들은 표준 사진의 선명한 세부 정보와 열화상 카메라의 열 감지 능력을 결합하기를 희망하며, 이 두 가지 유형의 시각을 결합하려는 시도를 오랫동안 지속해 왔습니다. 과제는 두 가지 매우 다른 정보 스트림을 어느 한 쪽의 특정한 강점도 잃지 않으면서 어떻게 하나로 합칠 것인가이며, 동시에 이 시스템이 노트북이나 보안 카메라에서 실시간으로 실행될 수 있을 만큼 충분히 빠르게 작동하도록 만드는 것입니다.

충칭 공과대학교의 연구진은 이 문제에 대한 새로운 접근 방식을 개발하여, 복잡하고 무질서한 환경에서도 보행자를 높은 신뢰도로 포착하도록 설계된 시스템을 만들었습니다. 경량 탐지 프레임워크를 기반으로 구축된 그들의 방법은 가시광선 이미지와 열 이미지를 즉시 하나로 뭉쳐버리는 대신, 처음부터 두 개의 별개 정보 스트림으로 취급합니다. 연구진은 이 두 가지 뷰를 초기 처리 단계에서 분리된 상태로 유지함으로써, 컴퓨터가 가시광선을 통해 사람의 질감과 가장자리를 더 잘 이해하는 동시에 열 신호를 추적할 수 있다는 것을 발견했습니다. 이러한 이중 스트림 전략은 시스템이 두 유형의 이미지 간의 차이점으로 인해 혼란을 겪는 것을 방지하여, 장면 속에 누가 있는지에 대해 훨씬 더 명확한 그림을 그릴 수 있게 해줍니다.

가시광선 이미지를 더욱 유용하게 만들기 위해, 연구진은 컴퓨터가 주요 분석을 시작하기도 전에 특정 단계를 추가했습니다. 그들은 물체의 윤곽과 가장자리를 강조하기 위해 특별히 설계된 샤프닝 필터와 같은 기술을 적용했습니다. 이 과정은 사람의 옷의 미세한 디테일이나 어깨의 곡선이 번잡한 배경 속에서 더 뚜렷하게 드러나도록 만들어, 열 카메라가 흔-히 부족한 미세한 세부 사항을 보완합니다. 이 강화되고 더 날카로워진 이미지를 가공되지 않은 열 데이터와 함께 시스템에 입력함으로써, 컴퓨터는 더 풍부한 단서들을 얻게 되며, 이는 실제 사람과 혼란스러운 배경 소음을 구별하는 것을 더 쉽게 만듭니다.

또한 이 시스템은 컴퓨터가 이미지를 일정 깊이까지 처리한 후에 작동하는 스마트 포커싱 메커니즘을 포함하고 있습니다. 이미지의 모든 부분에 똑같이 주의를 기울여 컴퓨팅 자원을 낭비하는 대신, 이 메커니즘은 나무, 울타리, 그림자와 같은 무관한 배경 세부 사항을 무시하는 법을 학습합니다. 이는 사람일 가능성이 높은 영역에 에너지를 집중시켜, 보행자의 볼륨은 높이고 나머지 세상의 볼륨은 낮추는 것과 같습니다. 이러한 선택적 주의 집중은 시스템이 오경보를 피하도록 도와, 탐지 신호를 보낼 때 실제로 사람이 거기에 있다는 것에 대해 높은 확신을 갖게 합니다.

보행자의 가시광선 및 적외선 쌍 이미지를 포함하는 표준 데이터셋에서 테스트했을 때, 이 새로운 시스템은 이전 방법들에 비해 정밀도 면에서 상당한 개선을 보여주었습니다. 이 시스템은 0.9204의 정밀도 점수를 달ach성했는데, 이는 시스템이 사람을 보았다고 말했을 때 92% 이상의 확률로 정확했다는 것을 의미합니다. 시스템이 일부 멀리 있거나 매우 작은 목표를 놓치는 경우가 있어 모든 사람을 잡아내는 비율은 낮았지만, 오경보를 피하는 능력은 이 시스템의 가장 강력한 장점이었습니다. 연구진은 이 시스템이 표준 노트북 그래픽 카드에서 초당 약 31프레임의 속도로 실행되며, 이는 실시간 비디오 모니터링에 충분히 빠른 속도라고 언급했습니다.

저자들은 이 도구가 반드시 보안 시스템의 첫 번째 방어선이 되기보다는, 매우 신뢰할 수 있는 '두 번째 의견'이 될 것이라고 제唆합니다. 전형적인 감시 설정에서, 첫 번째 탐지기는 놓치는 것이 없도록 하기 위해 설령 무해한 물체를 실수로 표시하더라도 많은 잠재적 타겟을 표시하며 비디오 피드를 스캔할 수 있습니다. 그러면 이 새로운 시스템이 해당 표시된 영역을 다시 검토하여, 그들의 날카로운 가장자리 강화 기능과 집중된 주의력을 통해 그것들이 정말 사람인지 확인하는 검증 단계로서 역할을 하게 됩니다. 이러한 2단계 접근 방식은 보안 시스템이 끊임 없는 잘못된 알림에 압도당하지 않으면서도 높은 안전 표준을 유지할 수 있게 하며, 특히 야간 모니터링이나 오경보가 비용이 많이 들고 방해가 되는 구역에서 매우 가치 있는 역할을 합니다.

기술 요약: DoG 디테일 강화 및 영역 가이드 어텐션을 기반으로 한 경량 실시간 RGB-IR 보행자 탐지

문제 정의
보행자 탐지는 지능형 감시 및 자율 주행에 있어 매우 중요하지만, 복잡한 환경에서 상당한 어려움에 직면해 있습니다. 단일 모드 RGB 탐지는 저조도, 역광, 복잡한 배경 문제로 인해 어려움을 겪으며, 단일 모드 적외선(IR) 탐지는 열적 돌출(thermal-saliency)의 장점에도 불구하고 질감이나 의미론적 경계 세부 정보가 부족합니다. 기존의 다중 모드 융합 접근 방식은 무거운 아키텍처에 의존하거나 단순한 채널 결합(concatenation)을 사용하는 경우가 많으며, 이는 모달리티별 특징을 보존하지 못하거나 실시간 추론 요구 사항을 충족하지 못할 수 있습니다. 또한, 표준 어텐션 메커니즘은 계산 비용이 많이 들거나 네트워크의 너무 초기 단계에 적용될 경우 유용한 국소적 디테일을 의도치 않게 억제할 수 있습니다.

방법론
본 논문은 YOLOv10n 아키텍처를 기반으로 한 경량 실시간 보행자 탐지 프레임워크인 DRGF-YOLOv10n을 제안합니다. 이 방법은 단일 모드 탐지의 한계와 복잡한 융합 전략을 해결하기 위해 세 가지 핵심 구성 요소를 통합합니다.

DualBranchStem 입력 구조:
RGB와 IR 채널을 표준 컨볼루션을 위한 단일 6채널 입력으로 결합하는 대신, 저자들은 DualBranchStem을 도입했습니다. 이 모듈은 초기 단계에서 RGB와 IR 이미지를 별도의 병렬 브랜치를 통해 처리합니다. RGB 브랜치는 질감, 에지, 윤곽 특징을 추출하고, IR 브랜치는 열적 돌출 정보를 추출합니다. 이러한 특징들은 초기 추출 후에만 융합되어, 백본 네트워크로 결합되기 전 각 모달리티의 고유한 특성을 보존합니다.
DoG 디테일 강화 (전처리):
IR 이미지의 제한된 질감 및 경계 디테일을 보완하고 RGB 브랜치의 약한 타겟 인지 능력을 강화하기 위해, RGB 데이터 전처리 단계에서 가우시안 차분(Difference of Gaussian, DoG) 연산을 적용합니다.

이 연산은 잔차 강화(residual enhancement)로 공식화됩니다: $I_{rgb\_dog} = I_{rgb} + \alpha \cdot (G_{\sigma1}(I_{rgb}) - G_{\sigma2}(I_{rgb}))$ , 여기서 $\alpha = 0.025$ 입니다.
이 단계는 IR 입력의 열적 돌출 특성을 변화시키지 않으면서 고주파 에지와 국소 구조 변동을 강조합니다. 이는 네트워크 내의 학습 가능한 레이어가 아닌 고정된 전처리 단계로 적용됩니다.

영역 가이드 공간 어텐션 (RG-SA):
경량화된 영역 가이드 공간 어텐션(Region-Guided Spatial Attention, RG-SA) 모듈이 YOLOv10n 백본의 여덟 번째 레이어(깊은 의미론적 단계)에 삽입됩니다.

메커니즘: 이 모듈은 입력 특징을 저해상도 영역 특징( $X_r$ )으로 압축하는 영역 가이드 모듈(RGM)을 활용합니다. 그 후, 원래의 고해상도 특징으로부터 쿼리( $Q$ )를 생성하고, 영역 특징으로부터 키/값( $K, V$ )을 생성합니다.
근거: $K$ 와 $V$ 를 위해 저해상도 영역 특징을 사용함으로써, 글로벌 셀프 어텐션(global self-attention)에 비해 계산 복잡도를 줄입니다. 이 메커니즘을 깊은 레이어에 배치함으로써 어텐션이 얕은 질감 노이즈가 아닌 풍부한 의미론적 정보 위에서 작동하도록 하여, 보행자 관련 영역을 강화하고 배경 간섭을 효과적으로 억제합니다.

주요 기여
저자들은 다음과 같이 기여를 요약합니다:

DualBranchStem: RGB의 질감-에지와 IR의 열적 돌출 특징을 분리하여 추출하는 이중 브랜치 입력 구조로, 단일 모드 탐지의 한계를 완화하고 초기 얕은 특징 혼합의 문제점을 방지합니다.
RG-SA 통합: 보행자 영역 응답을 강화하고 배경 간섭을 억제하기 위해 깊은 RGB 브랜치에 경량 영역 가이드 어텐션 메커니즘을 임베딩했습니다.
DoG 디테일 강화: 복잡한 배경으로 인한 디테일 저하 문제를 해결하기 위해 RGB 브랜치를 위한 DoG 기반 전처리 전략을 도입하여 국소 에지와 윤곽 디테일을 강화했습니다.

실험 결과
실험은 NVIDIA RTX 5060 Laptop GPU를 사용하여 CVC-14 RGB-IR 보행자 데이터셋에서 수행되었습니다.

성능: 제안된 DRGF-YOLOv10n은 정밀도(Precision) 0.9204, 재현율(Recall) 0.1912, mAP50 0.5231, mAP50-95 0.2361을 달성했습니다.
비교: 제안된 모델은 단일 모드 베이스라인(RGB 전용 및 IR 전용)과 단순 6채널 결합 베이스라인보다 우수한 성능을 보였습니다. 또한 더 작은 모델 크기(32.01 MB)에도 불구하고 CBAM-6ch 및 SE-6ch Fusion과 같은 다른 융합 전략보다 우수한 정밀도와 mAP를 입증했습니다.
효율성: 모델은 2.894M 파라미터, 1.908 GFLOPs, 그리고 31.47 ms(약 31.78 FPS)의 추론 지연 시간을 유지하며, 25~30 FPS 요구 사항을 충족합니다.
절제 실험(Ablation): 강력한 데이터 증강(예: Mosaic, MixUp)을 제거하는 것이 매우 중요하다는 것이 밝혀졌는데, 이는 이러한 증강이 국소 배경 질감을 증폭시켜 DoG 강화의 이점을 상쇄할 수 있기 때문입니다.

의의 및 포지셔닝
본 논문은 DRGF-YOLOv10n을 전체 탐지 파이프라인을 위한 독립적인 고재현율(high-recall) 탐지기가 아니라, 오탐지에 민감한 감시 시스템을 위한 후속 단계 고신뢰도 검증 모듈로 명시적으로 포지셔닝합니다.

높은 정밀도, 낮은 재현율: 모델은 높은 정밀도와 낮은 재현율을 보이는데, 이는 매우 확신이 있는 타겟만을 출력하는 경향이 있음을 나타냅니다. 이러한 특성은 높은 재현율을 보장하기 위해 낮은 임계값을 사용하는 전단계(front-stage) 탐지기에서 발생하는 오탐지를 필터링하는 데 활용됩니다.
응용 시나리오: 저자들은 후보 영역을 식별하는 전단계 탐지기와 DRGF-YOLOv10n이 오탐지를 필터링하는 역할을 하는 계층적 배포를 제안합니다. 이 방식은 그림자, 열원 또는 비인간 객체로 인한 오탐지를 걸러내는 데 적합합니다. 이는 산업 단지 침입 탐지, 야간 창고 모니터링, 외곽 보안과 같이 오탐의 비용이 큰 시나리오에 특히 적합합니다.
향 향후 전망: 저자들은 현재 모델이 멀리 있는 작은 규모의 타겟이나 심하게 가려진 타겟을 탐지하는 데 여전히 어려움이 있음을 인정합니다. 향후 연구는 더 나은 교차 모달 정렬(cross-modal alignment) 및 동적 융합 전략을 통해 재현율을 개선하는 데 집중할 수 있으나, 현재의 기여는 복잡한 실시간 환경에서 탐지 신뢰성을 높이는 견고한 솔루션으로 프레임화되어 있습니다.

유사한 논문