CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

당신이 북적이는 도시에서 특정 친구를 찾으려고 한다고 상상해 보십시오. 그런데 당신에게는 매우 다른 두 개의 지도가 있습니다. 한 지도는 낮 시간의 선명한 고해상도 컬러 사진으로, 친구의 밝은 빨간색 재킷과 파란색 운동화를 보여줍니다. 다른 지도는 밤에 촬영된 입자가 거친 흑백 열화상 이미지로, 친구가 어두운 배경 속에서 빛나는 흰색 덩어리처럼 보입니다. 이것이 바로 보안 카메라와 컴퓨터 비전 시스템이 매일 마주하는 도전 과제입니다: 낮에 본 사람(가시광선)과 밤에 본 사람(적외선)을 일치시키는 일입니다. 인간은 컬러풀한 얼굴과 열 신호를 쉽게 연결할 수 있지만, 컴퓨터는 이 두 유형의 이미지 사이의 "간극"이 너무 커서 어려움을 겪습니다. 두 이미지는 서로 전혀 닮지 않았기 때문에, 표준 AI가 그것들이 동일 인물임을 인식하기 어렵게 만듭니다. 이를 해결하기 위해 연구자들은 종로히 'CLIP'이라 불리는 "만능 번역기"를 사용하는 영리한 트릭을 사용합니다. CLIP을 수백만 권의 책을 읽고 수백만 장의 사진을 본 매우 똑똑한 사서라고 생각해보십시오. 이 사서는 사진이 흐릿하거나 어둡게 찍혔더라도 "운동화"라는 단어가 신발 그림과 연결된다는 것을 알고 있습니다. 단어를 가교로 사용함으로써, 컴퓨터는 공유된 설명을 통해 낮 사진과 밤 사진을 매칭하려고 시도할 수 있습니다.

하지만 함정이 있습니다. 이 "사서"(CLIP)는 주로 화창하고 다채로운 사진들로 학습되었습니다. 만약 당신이 밤 카메라로 찍은 빛나는 열 덩어리를 묘의해 달라고 요청하면, 이 사서는 종종 혼란을 느껴 "모호한 사람"과 같이 모호하거나 노이즈가 섞인 설명을 내놓으며, "배낭을 멘 사람"과 같은 유용한 정보를 제공하지 못합니다. 이러한 혼란은 컴퓨터의 매칭 과정을 더 쉽게 만들기보다 오히려 방해합니다. 이 논문에서 저자들은 이 문제를 해결하기 위해 CLIP4VI-ReID라고 불리는 새로운 방법을 제안합니다. 혼란에 빠진 사서에게 밤 사진을 직접 묘사하라고 요구하는 대신, 먼저 명확한 낮 사진을 묘사하도록 요청합니다. 그런 다음 그 정확한 설명을 가이드로 사용하여 컴퓨터가 밤 사진을 올바르게 보는 법을 "가르칩니다". 이들은 세 단계로 이 작업을 수행합니다: 첫째, 낮 사진으로부터 완벽한 텍text 설명을 생성합니다. 둘째, 그 단어들을 사용하여 컴퓨터가 밤 사진을 올바르게 이해하도록 교정합니다. 마지막으로, 낮 사진, 밤 사진, 그리고 텍스트 설명이 모두 완벽하게 일치하도록 전체 시스템을 미세 조정(fine-tuning)합니다. 결과는 이 단계별 접근 방식이 이전 방법들보다 적절한 사람을 찾는 데 훨씬 더 뛰어나다는 것을 보여주며, 적절한 종류의 "단어"를 가교로 사용하는 것이 컴퓨터가 어둠 속에서도 명확하게 볼 수 있도록 도울 수 있음을 증명합니다.

문제점: 거대한 모달리티 간극 (The Great Modality Gap)

용의자의 신분증(선명한 컬러 사진)과 어두운 골목의 보안 카메라 영상(열화상 흑백 이미지)을 매칭하려고 노력한다고 상상해 보십시오. 컴퓨터 비전의 세계에서는 이를 **가시광선-적외선 개인 재식별(Visible-Infrared Person Re-identification, VI-ReID)**이라고 부릅니다. 목표는 단순합니다: 이 두 가지 매우 다른 유형의 이미지에서 동일한 사람을 찾는 것입니다. 하지만 이는 매우 어렵습니다. 컬러 사진은 빨간 셔츠나 파란 청바지와 같은 디테일이 가득한 반면, 열화상 이미지는 체온에 기반한 빛나는 형태에 불과하기 때문입니다.

오랫동안 컴퓨터는 열화상 이미지를 컬러 이미지로 변환하려고 시도하거나(이는 종종 가짜처럼 보이거나 노이즈가 심함), 두 이미지 사이의 공통 특징을 직접 찾으려고 노력하며 이 문제를 해결하려 했습니다. 하지만 이 논문의 저자들은 최신 AI 모델(CLIP이라 불리는 기술 기반)이 이 문제를 처리하는 방식에서 결함을 발견했습니다. 이 모델들은 컬러 사진과 열화상 사진 모두에 대해 텍스트 설명을 생성하려고 시도했습니다. 문제는 무엇이었을까요? AI는 수백만 장의 화창하고 다채로운 사진들로 학습되었다는 점입니다. 열화상 이미지를 볼 때, AI는 무엇을 말해야 할지 몰랐습니다. AI는 "보기 힘든 사람"과 같은 약하고 부정확한 설명을 생성할 뿐, "모로를 쓴 사람"과 같은 유용한 세부 사항을 만들어내지 못했습니다. 이러한 나쁜 설명은 컴퓨터가 사람을 매칭하는 것을 돕기는커녕 오히려 더 어렵게 만들었습니다.

해결책: 3단계 브리지 (A Three-Stage Bridge)

이를 해결하기 위해 저자들은 CLIP4VI-ReID라는 새로운 시스템을 구축했습니다. AI에게 열화상 이미지가 어떻게 보이는지 단어로 추측하게 하는 대신, 두 세계 사이에 다리를 놓는 건설 현장처럼 작동하는 영리한 3단계 프로세스를 설계했습니다.

1단계: 텍스트 시맨틱 생성 (Text Semantic Generation, TSG)
먼저, 팀은 AI에게 열화상 이미지를 묘사하라고 요구하는 것을 중단하기로 했습니다. 대신, 오직 명확한 컬러 사진만을 묘사하도록 요청했습니다. 이들은 "A photo of a [] person( []인 사람의 사진)"과 같은 "프롬프트 학습(prompt learning)" 기법을 사용했습니다. 이는 마치 AI에게 빈칸 채우기 문장을 주는 것과 같습니다. AI는 컬러 사진만을 바탕으로 특정 디테일(예: "운동화를 신은" 또는 "배낭을 메고 있는")을 채워 넣는 법을 배웁니다. 컬러 사진은 명확하기 때문에, AI는 완벽하고 상세한 텍스트 설명을 생성합니다. 이 설명들이 "골드 스탠다드(표준)"이자 다리가 됩니다.

2단계: 적외선 특징 임베딩 (Infrared Feature Embedding, IFE)
이제 컬러 사진으로부터 얻은 완벽한 텍스트 설명이 준비되었으므로, 이들을 사용하여 AI가 열화상 이미지를 보는 법을 가르칩니다. 이들은 AI에게 열화상 이미지를 위한 새로운 단어를 생성하라고 하지 않습니다. 대신, AI에게 이렇게 말합니다: "이 열화상 이미지를 보고, 우리가 컬러 사진을 위해 이미 작성한 텍스트와 그 특징이 일치하도록 만들어라." 이는 마치 학생에게 명확한 지도를 보여준 뒤, 그 지도를 가이드 삼아 안개 낀 길을 항해하도록 요청하는 것과 같습니다. AI는 열화상 이미지에 대한 이해를 조정하여 이미 작성된 정확한 텍스트 설명과 일치하도록 학습합니다. 이 단계는 열화상 이미지의 특징을 "교정(rectify)"하여, 올로바른 신원 정보를 주입합니다.

3단계: 고수준 시맨틱 정렬 (High-level Semantic Alignment, HSA)
마지막으로, 팀은 전체 시스템을 미세 조정합니다. 이들은 텍s트 설명이 컬러 사진에만 있고 열화상 사진에는 없는 디테일(예: 특정 색상)을 실수로 포함하지 않도록 합니다. 이들이 원하는 것은 텍스트가 두 이미지 모두에 진실인 것(예: "배낭을 멘 사람")만을 설명하는 것입니다. 또한, 컬러와 열화상을 각각 살펴보는 AI의 구성 요소들을 미세 조정하여 최상의 디테일을 포착하도록 합니다. 이 최종 단계는 컬러 사진, 열화상 사진, 그리고 텍스트 설명이 모두 동일한 인물을 높은 정밀도로 가리키도록 보장합니다.

연구 결과

저자들은 새로운 시스템을 두 가지 유명한 데이터셋인 SYSU-MM01과 RegDB에서 테스트했습니다. 이들은 자신들의 방법을 기존의 최고 기술들과 비교했습니다.

• SYSU-MM01 데이터셋에서: 그들의 방법인 CLIP4VI-ReID는 "All-Search" 설정(시스템이 많은 가능성 중에서 사람을 찾아야 하는 상황)에서 75.54%의 Rank-1 정확도를 달enc했습니다. 이는 이전의 최고 방법인 75.2%보다 높았습니다. "Indoor-Search" 설정에서는 83.98%의 Rank-1 정확도를 달성하여, 차순위 방법보다 상당한 격차로 앞섰습니다.
• RegDB 데이터셋에서: 결과는 더욱 인상적이었습니다. "Infrared-to-Visible" 테스트(열량 쿼리를 통해 컬러 사진을 찾는 경우)에서 92.28%의 Rank-1 정확도를 기록하며 테스트된 모든 방법 중 가장 높았습니다. "Visible-to-Infrared" 테스트에서는 94.51%의 Rank-1 정확도를 달성했습니다.

논문에는 시각적 증거도 포함되었습니다. 저자들은 기존 방식에서 컬러와 열화상 이미지의 "정신적 지도(mental map)"가 완전히 다른 곳에 있었음을 보여주었습니다. 하지만 이 3단계 프로세스를 거친 후에는, 동일한 사람의 이미지(컬러든 열화상이든)는 서로 밀접하게 클러스터링된 반-면, 서로 다른 사람의 이미지는 멀리 떨어져 있었습니다.

왜 중요한가

핵심적인 교훈은 컴퓨터에게 열화상 이미지를 직접 설명하도록 강요하는 것이 종종 혼란과 오류를 초래한다는 것입니다. 컬러 이미지를 사용하여 먼저 설명을 생성하고, 그 설명을 통해 열화상 이미지를 가이드함으로써, 시스템은 "노이즈"를 피하고 훨씬 더 나은 결과를 얻을 수 있습니다. 저자들은 이 "조대(coarse)-에서 미세(fine)로" 이어지는 접근 방식—즉, 거친 정렬에서 시작하여 정교하게 다듬는 방식—이 컴퓨터가 서로 다른 종류의 빛을 가로질러 볼 수 있도록 돕는 강력한 방법임을 시사합니다. 이 방법은 더 단순한 모델보다 더 많은 학습 시간을 필요로 하지만, 정확도의 향상은 24시간 내내 작동해야 하는 보안 시스템을 위해 충분히 가치 있는 트레이드오프임을 보여줍니다.