UniPAR: A Unified Framework for Pedestrian Attribute Recognition

이 논문은 다양한 모달리티와 도메인 간 차이를 극복하고 단일 모델로 보행자 속성 인식 작업을 통합적으로 수행할 수 있는 Transformer 기반의 UniPAR 프레임워크를 제안하며, 실험을 통해 기존 최첨단 방법과 유사한 성능과 향상된 일반화 능력을 입증합니다.

핵심

🚶‍♂️ 문제: "하나의 열쇠로 모든 자물쇠를 열 수 없다"

지금까지 보행자 속성 인식 기술은 **'하나의 모델, 하나의 데이터셋'**이라는 방식에 갇혀 있었습니다.

• 비유: 마치 자물쇠가 달린 문이 여러 개 있다고 상상해 보세요.
  • A 문 (맑은 날의 거리) 을 열려면 A 열쇠가 필요합니다.
  • B 문 (어두운 밤길) 을 열려면 B 열쇠가 필요합니다.
  • C 문 (카메라가 깜빡거리는 곳) 을 열려면 C 열쇠가 필요합니다.

기존 기술은 각 문마다 별도의 열쇠 (모델) 를 만들어야 했습니다. 만약 새로운 문 (새로운 환경이나 카메라) 이 생기면, 또다시 새로운 열쇠를 만들어야 했죠. 이는 비효율적이고, 환경이 바뀌면 (예: 밤이 되거나 비가 오면) 열쇠가 잘 맞지 않아 문을 열지 못하는 문제가 있었습니다.

💡 해결책: "만능 열쇠" UniPAR

저자들은 이 문제를 해결하기 위해 UniPAR라는 **'만능 열쇠'**를 개발했습니다. 이 시스템은 하나의 모델로 다양한 문 (데이터) 을 모두 열 수 있습니다.

1. 다양한 문을 여는 능력 (다양한 데이터 처리)

UniPAR 는 RGB 이미지 (일반 사진), 비디오, 그리고 이벤트 스트림 (빛의 변화를 감지하는 특수 카메라 데이터) 등 서로 다른 형태의 데이터를 모두 이해할 수 있습니다.

• 비유: UniPAR 는 변신 로봇처럼 생겼습니다.
  • 맑은 날에는 일반 카메라로 보는 '사람' 형태가 됩니다.
  • 어둡거나 깜빡거리는 곳에서는 빛의 흐름을 감지하는 '이벤트 카메라' 형태로 변신해 똑똑하게 상황을 파악합니다.
  • 기존 모델들은 특정 환경에서만 작동했지만, UniPAR 는 어떤 환경에서도 적응합니다.

2. 핵심 기술: "먼저 보고, 그다음 질문하기" (Phased Fusion Encoder)

이 시스템의 가장 혁신적인 부분은 '지연된 깊은 융합 (Late Deep Fusion)' 전략입니다.

• 기존 방식: "저 사람, 안경 썼나요?"라고 질문하면서 동시에 사진을 보며 답을 찾으려 했습니다. (질문과 관찰이 섞여 있어 혼란스러울 수 있음)
• UniPAR 의 방식:
  1. 1 단계 (순수 관찰): 먼저 사진을 깊이 있게 관찰합니다. "저기 사람이 있네, 옷은 빨간색이야, 손에는 가방이 있네"라고 시각적 사실을 먼저 완벽하게 이해합니다.
  2. 2 단계 (질문과 연결): 그다음에 "안경 썼나요?"라는 **질문 (텍스트)**을 던집니다.
  3. 결과: 이미 사진을 완벽하게 이해한 상태에서 질문을 하므로, "아, 안경은 눈 위에 있구나"라고 정확하게 찾아냅니다.
• 비유: 요리사가 **재료 (시각 정보)**를 먼저 다 손질하고 준비해 둔 뒤, **레시피 (질문)**를 보고 요리를 완성하는 것과 같습니다. 레시피를 보며 재료를 찾느라 시간을 낭비하지 않고, 재료가 준비된 상태에서 레시피대로 바로 요리하는 것이죠.

3. 유연한 열쇠 구멍 (동적 분류 헤드)

각 문 (데이터셋) 마다 자물쇠의 구멍 모양 (속성의 종류와 개수) 이 다릅니다.

• 비유: UniPAR 는 변형 가능한 열쇠를 가지고 있습니다.
  • A 문은 10 개의 구멍이 필요하면 10 개로, B 문은 50 개가 필요하면 50 개로 열쇠 끝을 유연하게 맞춰줍니다. 하나의 열쇠로 모든 구멍 크기에 맞춰질 수 있게 설계된 것입니다.

🌟 결과: 왜 이것이 중요한가요?

이 논문은 UniPAR 가 여러 실험에서 전문가들 (기존의 특수 모델들) 과 맞먹거나 더 좋은 성능을 냈음을 증명했습니다.

• 극한 환경 강함: 어둡거나, 사람이 빠르게 움직여 흐릿한 영상에서도 잘 작동합니다. (이벤트 카메라 데이터를 잘 활용하기 때문)
• 범용성: 하나의 모델로 여러 데이터를 함께 학습했기 때문에, 새로운 환경에 가서도 잘 적응합니다. (교차 도메인 일반화 능력 향상)

📝 한 줄 요약

UniPAR는 "하나의 모델로 모든 상황 (날씨, 카메라 종류, 환경) 을 이해하고, 사진을 먼저 꼼꼼히 본 뒤 질문을 통해 정확한 답을 찾아내는 똑똑한 만능 열쇠"입니다.

이 기술이 상용화되면, CCTV 나 보안 시스템이 밤낮, 비, 눈, 흐릿한 영상에서도 사람을 더 정확하게 인식하고 분석할 수 있게 되어, 더 안전하고 지능적인 도시가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 보행자 속성 인식 (Pedestrian Attribute Recognition, PAR) 연구는 다음과 같은 근본적인 한계에 직면해 있습니다.

• 단일 모델 - 단일 데이터셋 패러다임 ("One-model-per-dataset"): 현재 대부분의 최첨단 (SOTA) 모델은 특정 데이터셋 (예: PA-100K, PETA 등) 에만 최적화되어 있습니다. 이는 새로운 도메인이나 데이터셋에 적용할 때마다 모델을 재학습하거나 새로운 모델을 개발해야 하므로 비효율적이고 확장성이 떨어집니다.
• 도메인 간 불일치: 서로 다른 데이터셋은 모달리티 (RGB 이미지, 비디오, 이벤트 스트림 등), 속성 정의, 환경적 조건 (조명, 모션 블러 등) 에서 큰 차이를 보입니다. 이러한 도메인 시프트 (Domain Shift) 로 인해 기존 모델은 훈련되지 않은 시나리오에서 성능이 급격히 저하됩니다.
• 과도한 복잡성: 특정 벤치마크 점수 향상을 위해 모델이 지나치게 복잡해지고 특수화되어, 새로운 도메인에 적응하는 유연성과 유지보수성이 떨어집니다.

2. 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 UniPAR라는 단일 Transformer 기반 통합 프레임워크를 제안합니다. 이 프레임워크는 이질적인 데이터셋과 모달리티를 하나의 모델로 처리할 수 있도록 설계되었습니다.

핵심 아키텍처 및 구성 요소

1. 다중 모달 시각 임베딩 (Multi-modal Visual Embedding):

   • RGB 이미지, 비디오 시퀀스, 이벤트 스트림 등 다양한 입력을 처리하기 위해 모달리티별 전용 "stem"(2D 합성곱 레이어) 을 사용합니다.
   • 토큰 시퀀스에 공간 위치 임베딩, 시간적 위치 임베딩 (비디오/이벤트용), 모달리티 타입 임베딩을 추가하여 통합 특징 공간 내에서 모달리티를 구분합니다.
   • 다중 프레임 입력을 효율적으로 처리하기 위해 Time Adapter(MLP 기반) 를 도입하여 특징을 압축하고 융합합니다.

2. 단계별 융합 인코더 (Phased Fusion Encoder) - 핵심 혁신:

   • 기존 Transformer 와 달리, 사전 학습된 ViT 백본을 두 단계로 나누어 "Late Deep Fusion(늦은 단계의 심층 융합)" 전략을 채택합니다.
   • 1 단계 (시각 이해): 시각 토큰만 먼저 $L-1$개의 Transformer 레이어를 통과시켜 이미지/비디오의 깊은 시각적 문맥과 글로벌/로컬 관계를 포착합니다.
   • 2 단계 (심층 융합): 시각 특징이 정제된 후, 마지막 레이어에서 텍스트 속성 쿼리 (Attribute Queries) 를 주입합니다. 텍스트 토큰이 시각 토큰 시퀀스를 "쿼리"하여 각 속성에 해당하는 시각적 증거를 동적으로 위치시킵니다.
   • 효과: 모델이 먼저 "무엇이 보이는지"를 완전히 이해한 후, 텍스트 지시를 통해 "무엇을 찾아야 하는지"를 결정하도록 하여 시각 - 의미 정렬을 강화합니다.

3. 통합 데이터 스케줄링 전략 (Unified Data Scheduling Strategy):

   • 이질적인 데이터셋의 혼합 학습 불안정성을 해결하기 위해 "Divert-Cache-Train-on-Demand" 메커니즘을 도입합니다.
   • 샘플을 소스 데이터셋 ID 에 따라 FIFO 큐에 분리하여 캐싱한 후, 각 큐가 완전한 배치 (Single-source batch) 를 형성할 때만 모델에 공급합니다. 이를 통해 그래디언트가 순수한 데이터 분포에서 오도록 하여 학습 안정성을 확보합니다.

4. 동적 분류 헤드 (Dynamic Classification Head):

   • 데이터셋마다 속성 수와 종류가 다르므로, 각 데이터셋에 맞는 독립적인 선형 분류 레이어를 사전 정의합니다.
   • 입력된 텍스트 쿼리 토큰의 차원 (속성 수) 에 따라 동적으로 해당 분류 레이어로 라우팅하여, 단일 모델이 다양한 속성 집합을 유연하게 처리하도록 합니다.

5. 목적 함수 (Objective Function):

   • 클래스 불균형 문제를 해결하기 위해 데이터셋별 가중치를 가진 이진 교차 엔트로피 손실 (Weighted BCE Loss) 을 사용합니다. 각 속성의 발생 빈도에 반비례하는 가중치를 적용하여 희소 속성에도 적절한 최적화 집중을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 Transformer 기반 PAR 모델: RGB, 비디오, 이벤트 스트림 등 이질적인 모달리티와 여러 도메인의 데이터셋을 단일 모델로 종단 간 (End-to-End) 동시 학습할 수 있는 프레임워크를 제안했습니다.
2. 혁신적인 아키텍처 설계: 시각적 이해를 먼저 수행한 후 텍스트 쿼리를 융합하는 Phased Fusion Encoder와 Late Deep Fusion 전략을 통해 시각 - 의미 정렬을 극대화했습니다.
3. 확장 가능한 학습 메커니즘: Unified Data Scheduling과 Dynamic Classification Head를 통해 다양한 데이터셋과 속성 정의 간의 호환성을 보장하고, 모델의 확장성을 높였습니다.
4. 강력한 일반화 성능: 단일 데이터셋 전용 SOTA 모델과 비교할 때 동등하거나 더 나은 성능을 보이면서도, 교차 도메인 일반화 (Cross-Domain Generalization) 와 극한 환경 (저조도, 모션 블러) 에서의 강건성을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MSP60K, DukeMTMC-Attribute, EventPAR 등 세 가지 주요 벤치마크에서 실험을 수행했습니다.

• 성능 비교:
  • MSP60K: 단일 학습 대비 결합 학습 (Joint Training) 시 평균 정확도 (mA) 가 75.12% 에서 **79.55%**로 상승했습니다. 기존 CNN 기반 (DeepMAR) 및 최신 Transformer 기반 (PARFormer, SequencePAR) 모델들과 비교하여 경쟁력 있는 성능을 보였습니다.
  • EventPAR: 이벤트 카메라 데이터에 대한 강건성을 입증했습니다. UniPAR 는 **86.90% (mA)**의 성능을 기록하여, 이벤트 데이터 처리에 어려움을 겪던 기존 모델 (MambaPAR 등) 보다 월등히 우수했습니다.
• 교차 도메인 일반화:
  • 여러 데이터셋을 함께 학습한 모델은 개별 학습 모델보다 도메인 간 전이 학습 능력이 뛰어나며, 저조도 및 모션 블러와 같은 극한 환경에서도 높은 인식 정확도를 유지했습니다.
• Ablation Study:
  • 데이터 통합 전략과 텍스트 인코더의 중요성을 검증했습니다. 특히 데이터셋 특성에 최적화된 인코딩 전략 (Full Model) 이 BERT 나 CLIP 기반의 일반적 임베딩보다 더 나은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

UniPAR 는 보행자 속성 인식 분야에서 **"단일 모델 - 단일 데이터셋"**의 비효율적인 패러다임을 탈피하고, **범용적인 기반 모델 (Unified Foundation Model)**로의 전환을 제시합니다.

• 실용성: 다양한 센서 (RGB, 이벤트 카메라 등) 와 환경에서 작동할 수 있는 단일 모델을 제공함으로써, 실제 감시 및 지능형 소매 분석과 같은 다운스트림 애플리케이션의 배포 비용을 크게 절감합니다.
• 기술적 진보: 시각적 특징과 텍스트 의미 간의 "늦은 단계의 심층 융합" 전략은 시각 - 언어 모델 (VLM) 과의 정렬 문제를 해결하는 새로운 접근법을 제시하며, 향후 범용 인공지능 (AGI) 지향적인 인간 중심 인식 시스템 구축의 중요한 발걸음이 됩니다.
• 오픈소스: 연구의 재현성을 위해 코드와 모델을 공개하여 (GitHub: Event-AHU/OpenPAR) 커뮤니티의 발전을 촉진합니다.

결론적으로, UniPAR 는 이질적인 데이터와 모달리티를 통합하여 학습 효율성과 일반화 능력을 동시에 극대화한 획기적인 프레임워크로, 보행자 속성 인식 기술의 새로운 표준을 제시합니다.