기술 요약: 비디오 기반 가시광선-적외선 개인 재식별을 위한 언어 주도 시퀀스 레벨 모달 불변 표현 학습

1. 문제 정의

비디오 기반 가시광선-적외선 개인 재식별(VVI-ReID)은 다양한 조명 조건에서도 가시광선(RGB) 및 적외선(IR) 비디오 시퀀스 간의 보행자 신원을 매칭하는 것을 목표로 합니다. 24시간 감시 체계에 효과적이지만, 이 작업은 두 가지 주요 과제에 직면해 있습니다:

1. 모달리티 격차(The Modality Gap): 서로 다른 이미징 메커니즘(반사율 vs 열 복사)으로 인해 RGB와 IR 데이터 사이에 상당한 의미론적 차이가 존재하며, 이는 교차 모달 특징 정렬을 저해합니다.
2. 시공간 모델링(Spatial-Temporal Modeling): 기존 방법들은 충분한 교차 모달 상호작용을 유지하면서 비디오 시퀀스의 동적인 시간적 의존성을 효율적으로 모델링하는 데 어려움을 겪습니다.

CLIP(Contrastive Language-Image Pre-training) 모델을 활용하는 최신 기술(SOTA)들은 다음과 같은 구체적인 한계점을 가집니다:

• 비효율적 모델링: VLD와 같은 방법들은 비전 인코더에 추가적인 토큰(시공간 허브)을 도입하여 계산 복잡도를 이차 함수적으로 증가시킵니다.
• 불충분한 상호작용: 공유 네트워크 아키텍처는 명시적인 교차 모달 특징 상호작용의 결정적인 역할을 간과하여, 강건성이 부족한 모달 불변 특징을 생성합니다.
• 명시적 가이드 부재: ID 레벨 손실에만 의존하면 교차 모달 일관성을 명시적으로 강제하지 못해 불충분한 모달 정렬로 이어집니다.

2. 방법론: LSMRL

저자들은 최소한의 수정으로 CLIP 모델을 기반으로 구축된 프레임워크인 LSMRL(Language-Driven Sequence-Level Modal-Invariant Representation Learning)을 제안합니다. 이 아키텍처는 세 가지 상호 보완적인 모듈과 다중 손실 시스템으로 구성됩니다.

A. 시공간 특징 학습(STFL) 모듈

과도한 계산 오버헤드 없이 비디오 시퀀스를 효율적으로 모델링하도록 설계된 STFL 모듈은 사전 학습된 CLIP 비전 인코더를 세 가지 서브 모듈로 분해합니다:

1. 기본 비전 인코더(Basic Vision Encoder): 사전 학습된 CLIP의 첫 8개 트랜스포머 블록을 재사용하여 개별 프레임으로부터 미세한 공간적 의미(예: 윤곽선, 질감)를 추출합니다.
2. 시공간 그룹화(STG) 인코더: 마지막 4개 트랜스포머 블록을 사용하지만 멀티 헤드 셀프 어텐션(MHSA) 메커니즘을 수정합니다. 어텐션 헤드를 두 그룹으로 나눕니다:
   • 시간적 헤드(Temporal Heads): 프레임 $t$와 인접 프레임 $t + \Delta t$ 사이의 어텐션을 계산하여 프레임 간 상호작용을 가능하게 하고, 동적인 움직임 패턴을 포착합니다.
   • 공간적 헤드(Spatial Heads): 프레임 내 어텐션을 유지하여 공간적 관계(예: 신체 부위 위치)를 정교화합니다.
   • 효율성: 이 설계는 사전 학습된 파라미터를 재사용하고 새로운 토큰을 도입하지 않아 계산 복잡도를 변화시키지 않습니다.
3. 시간적 패치 시프트(TPS) 인코더: 시간적 패치 시프트 메커니즘이 포함된 트랜스포머 블록을 추가합니다. 이는 셀프 어텐션을 적용하기 전에 시간 차원에 따라 프레임 토큰을 순환적으로 시프트합니다. 이를 통해 표준 공간 전용 어텐션 메커니즘이 파라미터 수를 늘리지 않고도 장거리 시간 의존성과 희소한 상호작용을 자연스럽게 포착할 수 있게 합니다.

B. 의미론적 확산(SD) 모듈

RGB와 IR 모달리티 사이의 의미론적 격차를 메우기 위해, SD 모듈은 모달리티 공유 텍스트 의미를 시각적 특징에 주입합니다:

• 텍스트 추출: 학습 가능한 프롬프트("낮과 밤 조건 모두에서 관찰되는 [X]1...[X]m 명의 사람")가 프리즈(frozen)된 CLIP 텍스트 인코더에 의해 인코딩되어 공유 텍스트 의미 임베딩($T_e$)을 생성합니다.
• 확산 메커니즘: $T_e$는 RGB 및 IR 시퀀스 특징에서 유도된 키(key) 및 값(value) 행렬에 대한 교차 모달 어텐션 메커니즘의 쿼리 벡터 역할을 합니다. 이는 공유된 의미 정보를 양쪽 모달리티에 확산시켜, 예비 모달 불변 표현을 생성하고 거친 수준의 일관성을 구축합니다.

C. 교차 모달 상호작용(CMI) 모듈

표현을 정교화하고 잔여 모달리티 격차를 제거하기 위해, CMI 모듈은 양방향 교차 모달 셀프 어텐션을 사용합니다:

• 양방향 상호작용: RGB 특징이 IR 특징에 대한 쿼리 역할을 하고 그 반대도 마찬가지로 작동하여, 각 모달리티가 상대방으로부터 신원 식별 패턴을 흡수하는 동시에 모달리티 특유의 노이즈를 억제하도록 합니다.
• 시퀀스 레벨 집계: 상호작용된 특징들의 [cls] 토큰에 시간 평균 풀링(TAP)을 적용하여 최종 시퀀스 레벨 모달 불변 표현($f^R$ 및 $f^I$)을 생성합니다.

D. 다중 손실 시스템

학습 목표는 서로 다른 단계에서 학습을 가이드하기 위해 여러 손실 함수를 결래합니다:

• STFL 손실: ID 손실과 가중 정규화 트리플렛(WRT) 손실이 STG 및 TPS 출력에 적용되어 모달리티 내 식별력을 보장합니다. 비디오-텍스트(V2T) 대비 학습 손실은 비디오 특징을 공유 텍스트 의미와 정렬합니다.
• 모달리티 레벨 손실:
  • 모달리티 식별(MD) 손실: 동일 신원 내에서는 응집력을 높이는 동시에 서로 다른 신원 간에는 분리되도록 강제합니다.
  • 모달리티 공유 강화(MSEL) 손실: 동일 샘플의 교차 모달 표현 간 거리를 명시적으로 최소화하여 학습된 특징이 진정으로 모달 불변임을 보장합니다.

3. 주요 기여

1. 새로운 프레임워크: CLIP의 의미론적 정렬을 활용하여 시퀀스 레벨 모달 불변 학습을 가이드함으로써 효율성, 상호작용 및 손실 가이드의 한계를 해결하는 LSMRL을 제안했습니다.
2. 효율적인 STFL 모듈: CLIP 블록을 재사용하고 STG 및 TPS 메커니즘을 도입하여 계산 오버헤드나 토큰 수의 증가 없이 시공간 역동성을 포착하는 파라미터 효율적인 설계를 제시했습니다.
3. 2단계 상호작용 메커니즘: SD(거친 수준의 의미 확산)와 CMI(미세한 수준의 양방향 어텐션)를 통합하여 RGB/IR 모달리티 격차를 단계적으로 줄입니다.
4. 명시적 손실 가이드: MD 및 MSEL 손실을 포함하는 다중 손실 시스템을 구축하여 교차 모달 일관성과 특징 일반화 능력을 명시적으로 강화했습니다.

4. 실험 결과

두 개의 대규모 데이터셋인 HITSZ-VCM과 BUPTCampus에서 광범위한 실험이 수행되었습니다.

• HITSZ-VCM 성능: LSMRL은 Rank-1 정확도에서 I2V 75.1%, V2I **75.2%**를 달성하여, 이전 SOTA 방식인 VLD보다 Rank-1에서 각각 0.8%, 0.6% 앞섰으며 가장 높은 mAP 점수(60.9% 및 58.2%)를 기록했습니다.
• BUPTCampus 성능: 이 방법은 뛰어난 우월성을 입증하며 I2V 71.1%, V2I **67.0%**의 Rank-1을 달성했습니다. 이는 VLD 대비 I2V Rank-1에서 5.8% 개선된 수치이며, 최고의 비-CLIP 방식인 UCT보다 14.6% 향상된 결과입니다.
• 효회성: 성능 향상에도 불구하고, 추론 단계에서 LSMRL은 SD 모듈과 텍스트 인코더를 제거함으로써 TF-CLIP이나 VLD와 같은 다른 CLIP 기반 방법들보다 적은 파라미터(88.53M)와 낮은 FLOPs를 요구합니다.
• 절제 연구(Ablation Studies):
  • STFL 모듈 단독으로 베이스라인 대비 Rank-1을 약 7~8% 향상시켰습니다.
  • SD 모듈을 추가했을 때 가장 큰 단일 상승폭(+13.8% Rank-1)을 보여 의미 확산의 중요성을 확인했습니다.
  • CMI 모듈과 모달리티 레벨 손실은 성능을 더욱 정교하게 다듬었으며, 이는 양방향 상호작용과 명시적 일관성 제약의 필요성을 입증합니다.
• 시각화: T-SNE 및 CAM 시각화는 LSMRL이 베이스라인에 비해 더 조밀한 클래스 내 클러스터를 형성하고, 더 나은 교차 모달 정렬(중첩된 RGB/IR 포인트)을 보이며, 식별력 있는 신체 부위에 더 집중된 어텐션을 생성함을 확인시켜 줍니다.

5. 의의 및 한계점

의의:
본 논문은 LSMRL이 시퀀스 레벨 모달 불변 학습을 강화하는 데 있어 사전 학습된 시각-언어 모델의 큰 잠재력을 보여준다고 주장합니다. 언어 주도 의미 가이드와 효율적인 시공간 모델링을 통합함으로써, 이 방법은 계산 효율성을 유지하면서도 탁월한 정확도와 강건성을 달 achieves 합니다. 이는 명시적인 모달리티 레벨 손실 가이드와 충분한 교차 모달 상호작용이 강건한 모달 불변 표현을 학습하는 데 결정적임을 강조합니다.

한계점:
저자들은 두 가지 주요 한계를 인정합니다:

1. 거친 수준의 정렬: 이 방법은 CLIP의 거친 수준의 백본에 의존하므로, 국소적이고 미세한 의미를 효과적으로 정렬하는 데 어려움을 겪을 수 있습니다.
2. 잔여 모달리티 정보: 학습된 모달 불변 특징에는 여전히 일부 모달리티 특유의 정보가 포함되어 있을 수 있으며, 이는 식별 능력에 방해가 될 수 있습니다.

향러 연구:
저자들은 더 정교한 식별 능력과 ReID 성능을 향상시키기 위해 향후 연구에서 미세한 수준의 정렬 기술을 도입하고 특징 디커플링 네트워크를 설계할 것을 제 제안합니다.