ICPR 2026 Competition on Privacy-Preserving Person Re-Identification from Top-View RGB-Depth Camera (TVRID)

기술 요약: ICPR 2026 TVRID 경진대회

문제 정의
사람 재식별 (Re-ID) 은 전통적으로 의복 색상과 질감에서 신원을 추론하는 RGB 영상에 의존합니다. 그러나 이 접근법은 시점 변화와 가림과 같은 실제 환경 요인에 취약하다는 점과, 개인 식별 가능 외형 정보 노출로 인한 공공 감시에서의 심각한 프라이버시 우려라는 두 가지 치명적인 한계에 직면해 있습니다. 깊이 감지 (depth sensing) 는 3 차원 구조를 포착하고 색상 기반 단서를 억제함으로써 프라이버시를 보호하는 대안을 제공하지만, 기존 탑뷰 (top-view) 데이터셋은 지각된 신체 비율을 크게 변화시키는 제어된 기하학적 변형 (예: 상승 및 하강) 을 지원하지 못합니다. ICPR 2026 TVRID (탑뷰 RGB-Depth 사람 재식별) 경진대회는 프라이버시 인식, 모달리티 제약, 그리고 교차 모달 조건 하에서의 Re-ID 성능을 평가함으로써 이러한 격차를 해소합니다.

데이터셋 및 경진대회 구성
본 경진대회는 네 개의 동기화된 오버헤드 인텔 리얼센스 D455 카메라로 촬영된 86 명의 신원을 포함하는 TVRID 데이터셋을 기반으로 구축되었습니다. 획득 설정은 네 가지 뚜렷한 시점에 걸친 구조화된 기하학적 변형을 포함합니다:

1. 평면 (Flat): 표준 수평 지면 통과.
2. 상승 (Ascent): 사다리를 이용한 상승 운동.
3. 하강 (Descent): 사다리를 이용한 하강 운동.
4. 사선 (Oblique): 고도화된 사선 지붕 뷰.

각 피험자는 카메라당 두 번 (IN/OUT 방향) 기록되어 15 FPS 의 쌍을 이룬 동기화된 RGB 및 깊이 스트림이 생성되었습니다. 데이터셋에는 엔드 투 엔드 파이프라인을 용이하게 하기 위해 사전 계산된 사람 컷 (person crops) 이 포함되어 있습니다.

경진대회는 세 가지 별도의 트랙을 평가했습니다:

• 트랙 1 (RGB Re-ID): RGB 이미지를 사용한 표준 Re-ID 로, 상한선 기준 (upper-bound baseline) 역할을 합니다.
• 트랙 2 (Depth Re-ID): 색상 단서 없이 기하학적 이동에 대한 강건성을 테스트하는 깊이 맵만 사용한 프라이버시 보호형 Re-ID 입니다.
• 트랙 3 (RGB↔Depth 교차 모달 Re-ID): 쿼리와 갤러리가 서로 다른 모달리티에 속하는 검색 (예: RGB 쿼리 대 Depth 갤러리) 으로, 모달리티 불변 표현 학습을 테스트합니다.

평가는 세 가지 카메라 기반 시나리오 (카메라 내 IN/OUT, 상승 대 하강, 평면 대 사선) 에 걸쳐 CMC@1(Rank-1 누적 일치 특성) 과 mAP(평균 정밀도) 를 사용하여 수행되었습니다.

최상위 입상자들의 방법론적 접근
본 경진대회에는 147 명의 참가자가 지원하여 숨겨진 테스트 세트에 대해 33 개의 최종 제출작이 있었습니다. 각 트랙에서 최상위 성능을 보인 방법들은 고급 딥러닝 아키텍처와 특정 학습 전략을 활용했습니다:

• RGB 트랙:

  • Hien Pham Duy 등은 신원 인식 PK 샘플링과 인간 중심 증강 (예: 배경 지우기, 신체 부위 지우기) 을 갖춘 ViT-Base 백본을 사용하여 100% CMC@1 을 달성했습니다. 시퀀스 집계에는 평균 풀링을, k-상호 재순위화 (k-reciprocal re-ranking) 를 적용했습니다.
  • Carlo Metta는 ArcFace 및 배치 하드 트립렛 손실을 갖춘 ConvNeXt-Base 백본을 활용하여 5 폴드 교차 검증과 앙상블을 적용했습니다.
  • Oron Nir 등은 EVA-CLIP DIFFER를 기반으로 구축된 대조 학습 프레임워크인 MINER(개인 간 및 개인 내 변동성 모델링) 를 적용하여, 뷰 불변 표현을 학습하기 위해 하드 네거티브/포지티브 마이닝에 집중했습니다.

• Depth 트랙:

  • Jin-Hui Jiang 등(98.86% CMC@1) 은 ViT-Base/16 백본을 갖춘 VSLA-CLIP을 적응시켰습니다. 학습 가능한 시간 적응 모듈과 교차 모달 손실 (지도 대조, MSE 증류, InfoNCE) 을 포함하는 2 단계 순환 최적화를 사용하여 RGB 감독을 통해 깊이 임베딩을 간접적으로 형성했습니다.
  • Oron Nir 등은 MINER 프레임워크를 적응시켜 깊이 맵을 역깊이로 변환하고 정규화한 후, 비전 트랜스포머 백본과 호환되는 의사 RGB 입력을 생성하기 위해 스펙트럼 컬러맵을 적용했습니다.
  • Md Rashidunnabi 등은 쌍을 이룬 RGB-Depth 데이터에서 신원 분류, 트립렛 손실, 센터 손실을 결합하여 학습한 ResNet-50을 사용한 시간적 어텐션 풀링 기반 파이프라인을 제안했습니다.

• 교차 모달 트랙:

  • Md Rashidunnabi 등(99.84% CMC@1) 은 공유 임베딩 공간 내에서 비전 - 언어 정렬 문제로 RGB-Depth Re-ID 를 처리하고 신원 조건부 텍스트 프롬프트에 의해 안내되는 XM-VSLA(VSLA-CLIP 의 적응형) 를 활용했습니다.
  • Jin-Hui Jiang 등과 Oron Nir 등은 각각 VSLA-CLIP 과 MINER 프레임워크를 활용하여 명시적인 교차 모달 대조 정렬과 듀얼 인코더 아키텍처를 사용하여 RGB 와 깊이 표현 간의 불일치를 최소화했습니다.

주요 결과
최종 결과는 RGB > Depth > Cross-Modal이라는 명확한 난이도 계층을 확립했습니다.

• RGB 트랙: 최상위 시스템은 거의 완벽한 성능 (100% CMC@1, 100% mAP) 을 달성했습니다.
• Depth 트랙: RGB 에 비해 성능이 크게 저하되어 최상위 시스템은 98.86% CMC@1 및 99.38% mAP 를 달성했습니다. 해당 트랙의 집계 중앙값 mAP 는 49.82% 로, 깊이 전용 시스템에 상당한 도전이 있음을 나타냅니다.
• 교차 모달 트랙: 이는 가장 어려운 작업이었습니다. 최상위 시스템은 99.84% CMC@1 및 99.92% mAP 를 달성했으나, 집계 중앙값 mAP 는 23.30% 에 불과했습니다. Depth 와 Cross-Modal 간의 성능 격차는 mAP 기준으로 약 16.44 포인트였습니다.

정성적 분석에 따르면, 평면 뷰 샘플을 사선 카메라와 매칭하는 것이 가장 어려운 구성이었습니다.

의의 및 주장
이 논문은 TVRID 를 탑뷰, 깊이 기반, 그리고 교차 모달 사람 Re-ID 를 위한 재현 가능한 벤치마크로 위치시킵니다. 주요 기여점은 다음과 같습니다:

1. 데이터셋: 실제 환경 배포에서 흔하지만 기존 벤치마크에서는 과소 대표된 구조화된 기하학적 변형 (평면, 상승, 하강, 사선) 을 갖춘 동기화된 RGB-Depth 데이터셋을 제공합니다.
2. 프로토콜: 인식 성능, 모달리티 강건성, 그리고 프라이버시 - 성능 트레이드오프를 동시에 평가하는 통합 평가 프레임워크를 확립합니다.
3. 통찰:
   • 결과는 깊이 감지가 RGB 에 비해 평균 검색 정확도를 낮추지만, 강력한 모달리티 불변 표현을 달성할 수 있음을 확인시켜 줍니다.
   • 교차 모달 검색 (RGB 쿼리 $\to$ Depth 갤러리) 의 성공은 깊이가 본질적으로 프라이버시를 보호한다는 가정에 도전합니다. 저자들은 깊이가 RGB 신원 시그니처와 신뢰성 있게 연결될 수 있다면, 프라이버시 보호는 위협 모델과 접근 제어에 의존하는 조건부 속성이 되며 자동적인 보장이 아니라고 주장합니다.
   • 카메라 기하학 (특히 고도 변화) 은 Re-ID 시스템에 대한 주요 스트레스 요인으로 남아 있습니다.

이 논문은 TVRID 가 단순한 평가 벤치마크를 넘어 현대 Re-ID 시스템의 운영적 프라이버시 위험을 논의하기 위한 프레임워크로서 기능하며, 교차 모달 연결의 맥락에서 프라이버시에 대한 세밀한 해석의 필요성을 강조한다고 결론지었습니다.