Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

도시의 감시 네트워크가 내는 조용한 웅성거림 속에서, 카메라들은 낮과 밤을 가리지 않고 사람들의 흐름을 포착하며 끊임없이 지켜보고 있습니다. 수십 년 동안 보안 시스템은 사람의 옷차림과 특징을 식별하기 위해 색상 사진을 찍는 것과 같은 종류의 가시광선 카메라에 의존해 왔습니다. 하지만 해가 지고 빛이 사라지면, 이 카메라들은 어려움을 겪습니다. 색상은 바래지고 질감은 구별할 수 없는 그림자 속으로 흐릿해집니다. 이를 해결하기 위해 보안 팀들은 가시광선 카메라와 적외선 센서를 점점 더 많이 결합하고 있는데, 적외선 센서는 옷에서 반사되는 빛이 아니라 사람의 몸에서 방출되는 열을 감지합니다. 여기서 새로운 과제가 발생합니다. 어떻게 하면 컴퓨터가 흐릿한 열 기반 적al 적외선 영상에서 보이는 사람과 다른 카메라에서 찍힌 선명한 컬러 영상 속의 사람이 동일 인물임을 인식할 수 있을까요? 가시-적외선 개인 재식별(visible-infrared person re-identification)이라고 알려진 이 작업은, 시스템이 두 카메라가 세상을 보는 방식의 거대한 차이를 무시하고 대신 프레임을 통과하는 사람의 고유한 정체성에 집중하도록 요구합니다.

대상자가 움직일 때 난이도는 더욱 깊어집니다. 사람은 결코 정지된 이미지가 아닙니다. 사람은 매 걸음마다 변화하는 보행 패턴을 가진 일련의 움직임입니다. 기존의 컴퓨터 시스템은 종종 사람을 한꺼번에 보거나, 이미지를 빵을 써는 것처럼 딱딱하고 고정된 띠 형태로 자르는 방식으로 이 문제를 해결하려 합니다. 하지만 사람들은 직선으로 걷지 않습니다. 그들은 몸을 틀고, 회전하며, 기울어집니다. 경직된 절단 방식은 다음 프레임에서 사람의 머리를 포착했다가 그다음 프레임에서는 어깨를 포착하는 식으로 정체성의 연속성을 깨뜨릴 수 있습니다. 게다가 사람이 어둠 속에서 보이는 모습은 밝은 곳에서 보이는 모습과 근본적으로 다르기 때문에, 컴퓨터가 이 두 가지 서로 다른 뷰 사이에서 동일한 신체 부위를 매칭하는 것을 어렵게 만듭니다. 창주 대학교(Changzhou University)의 연구진은 이 문제에 대해 새로운 접근 방식을 제안했는데, 이는 경직된 슬라이싱을 버리고 사람이 움직이고 변화함에 따라 특정 신체 영역을 추적하는 법을 배우는 더 유동적이고 적응적인 방법을 채택한 것입니다.

연구진은 VM-SPMamba라고 부르는 시스템을 개발했는데, 이 시스템은 먼저 전체 장면을 이해한 다음 사람의 특정적이고 유연한 부분에 집중하는 방식으로 작동합니다. 이미지의 고정된 수평 띠를 강요하는 대신, 이 시스템은 '소프트 파트(soft parts)'를 식별하는 법을 배웁니다. 컴퓨터가 사람이 기울어지거나 카메라 각도가 변하더라도 각 프레임에서 사람의 머리, 몸통, 다리가 어디에 위치하는지 스스로 결정할 수 있다고 상상해 보십시오. 시스템은 사람에 대한 전역적인 뷰를 사용하여 주의를 집중함으로써 이를 수행하며, 이를 통해 포즈에 따라 적응하는 의미 있는 영역으로 픽셀을 그룹화할 수 있습니다. 즉, 만약 어떤 사람이 팔을 들어 올린다면, 시스템은 팔을 반으로 잘라버릴 수도 있는 미리 설정된 상자에 머무는 대신, '팔' 영역의 경계를 움직임에 따라 조정합니다.

이러한 유연한 영역들이 식별되면, 시스템은 각 영역을 하나의 독립적인 이야기로 취급합니다. 시스템은 모든 비디오 프레임에 걸쳐 '머리' 영역을 추적하고, 그다음에는 동일한 프레임들에 걸쳐 '몸통' 영역을 추적하는 식입니다. 영상을 이러한 별개의 움직임 스트림으로 분리함으로써, 시스템은 각 특정 신체 부위가 시간이 지남에 따라 어떻게 진화하는지 학습할 수 있습니다. 이는 머리의 움직임 방식이 다리의 움직임 방식과 다르기 때문이며, 이러한 차이는 사람을 식별하는 데 핵심적인 요소가 됩니다. 연구진은 이러한 부위들을 개별적으로 모델링하고 그 이야기들을 결합함으로써, 시스템이 적외선과 가시광선 카메라 사이의 혼란스러운 차이점을 훨씬 더 잘 무시하게 된다는 것을 발견했습니다. 시스템은 적외선 뷰에서의 특정 움직임 패턴이 가시광선 뷰에서의 동일한 패턴과 대응된다는 것을, 비록 색상과 질감이 완전히 다를지라도 학습하게 됩니다.

이 기술을 가르치기 위해 연구진은 '언어' 구성 요소를 포함하는 강력한 훈련 방법을 사용했습니다. 그들은 시스템에 단순히 이미지만을 넣은 것이 아니라, 정체성에 대한 텍스트 설명도 함께 입력하여 컴퓨터가 사람의 움직임이라는 시각적 패턴을 '누구인가'라는 의미론적 개념과 연결할 수 있도록 했습니다. 이는 가교 역할을 하여, 사람이 걷는 열 신호가 비록 외형은 전혀 다를지라도 동일한 정체성임을 시스템이 이해하도록 돕습니다. 시스템은 실제 감시 시나리오에서 추출한 수십만 개의 이미지를 포함하는 두 개의 대규모 데이터셋을 통해 테스트되었습니다. 가시광선에서 적외선으로 가는 테스트(색상 영상에서 열 기반 영상을 본 후 사람을 찾는 경우)에서, 이 새로운 방법은 72.3%의 성공률을 달ol 달성했습니다. 역방향의 경우 72.4%에 도달했습니다. 이 수치들은 이전의 최고 결과들을 일부 측정 항목에서 10퍼센트 포인트 이상 뛰어넘는 상당한 도약을 의미합니다.

연구진은 또한 3,000명이 넘는 서로 다른 사람들과 더 긴 비디오 시퀀스를 포함하는 훨씬 더 크고 복잡한 데이터셋으로 시스템을 테스트했습니다. 이 더 어려운 테스트에서 시스템이 모든 단일 지표에서 절대적으로 가장 높은 점수를 기록하지는 못했지만, 적외선-가시광선 사례의 약 70%, 가시광선-적외선 사례의 약 70%에서 올바른 사람을 최적의 매치로 정확히 식별해 내며 매우 경쟁력 있는 모습을 보였습니다. 이는 이 방법이 사람들이 군중 속을 걷고, 방향을 바꾸고, 다양한 조명 조건 아래 나타나는 실제 감시 환경의 무질서하고 예측 불가능한 특성을 처리할 만큼 견고하다는 것을 시사합니다. 이 연구는 이미지의 고정되고 변하지 않는 슬라이스에 의존하는 기존 방식들이 사람들이 움직이거나 카메라 각도가 변할 때 성능이 저하된다는 것을 명시적으로 보여주었습니다. 유연하고 적응적인 부위가 경직된 부위보다 우월하다는 것을 증명함으로써, 이 연구는 밤낮으로 안정적으로 작동하는 보안 시스템을 구축하기 위한 더 명확한 경로를 제시합니다.

이 접근 방식의 성공은 사람이 직관적으로 사람을 추적하는 방식, 즉 정적인 스냅샷보다는 신체 부위의 흐름에 집중하는 방식을 모방하는 능력에 있습니다. 시스템은 머리나 다리가 어디에 있는지 알려줄 필요가 없습니다. 픽셀들이 어떻게 함께 움직이는지를 관찰함으로써 그것들을 찾아내는 법을 배웁니다. 이러한 적응성은 걷기, 회전 및 카메라가 세상을 포착하는 다양한 방식에 의해 발생하는 왜곡을 처리할 수 있게 해줍니다. 현재의 시스템은 여로 패턴을 배우기 위해 레이블이 지정된 데이터를 사용하고 고정된 수의 신체 부위를 사용하지만, 결과는 경직된 구조에서 벗어나 유동적이고 콘텐츠 인지적인 표현으로 나아가는 것이 강력한 전략임을 입증합니다. 감시 네트워크가 계속 확장되고 야간 보안을 위해 적외선 기술에 점점 더 의존함에 따라, 이러한 방식은 시간대나 카메라에 관계없이 올바른 사람을 식별할 수 있는 필수적인 도구를 제공합니다.