PoseDriver: A Unified Approach to Multi-Category Skeleton Detection for Autonomous Driving

1. 문제 정의 (Problem Statement)

자율주행 환경에서는 보행자, 차량, 동물 등 동적 객체뿐만 아니라 차선과 같은 정적 요소까지 정밀하게 인식하고 이해하는 것이 필수적입니다. 기존 연구들은 주로 바운딩 박스 (Bounding Box) 나 세그멘테이션 마스크를 사용하여 객체를 인식했으나, 이러한 표현 방식은 객체의 자세 (posture), 방향, 구조적 세부 사항 (예: 보행자의 머리 방향, 차량의 구조) 을 포착하는 데 한계가 있습니다.

특히 다음과 같은 문제점들이 존재했습니다:

• 정보의 부족: 바운딩 박스만으로는 객체의 미세한 의도나 미래 궤적을 예측하기 어렵습니다.
• 통합架构의 부재: 기존에는 객체별 (보행자, 동물, 차량 등) 로 별도의 모델을 사용하거나, 텍스트/이미지 프롬프트를 기반으로 한 범용 키포인트 검출 모델이 존재했으나, 이는 단일 인스턴스만 감지하거나 추가적인 인코더가 필요하여 복잡도가 높았습니다.
• 새로운 카테고리 처리의 어려움: 차선 (Lane) 과 같은 구조적 요소나 자전거 (Bicycle) 와 같은 새로운 카테고리에 대한 스키넷 (Skeleton) 기반 검출은 잘 연구되지 않았으며, 기존 모델들은 이러한 새로운 카테고리에 대한 전이 학습 (Transfer Learning) 이 어렵거나 재학습 비용이 높았습니다.

2. 제안 방법론 (Methodology)

저자들은 PoseDriver라는 통합된 하향식 (Bottom-up) 프레임워크를 제안하여 자율주행 시나리오의 5 가지 주요 카테고리 (차량, 보행자, 자전거, 동물, 차선) 의 스키넷을 단일 입력 이미지에서 동시에 감지합니다.

핵심 기술적 요소:

1. 통합 하향식 아키텍처 (Unified Bottom-up Architecture):

   • OpenPifPaf 를 기반으로 하여, Composite Intensity Fields (CIF) 를 통해 키포인트를 감지하고 Composite Association Fields (CAF) 를 통해 부분 (parts) 을 연결하는 방식을 사용합니다.
   • 단일 모델로 여러 카테고리를 동시에 처리하며, 추가적인 객체 탐지기나 프롬프트 인코더 없이 작동합니다.

2. 스키넷 기반 차선 감지 (Skeleton-Based Lane Detection):

   • 기존에 키포인트가 명확히 정의되지 않았던 차선을 스키넷 문제로 재정의했습니다.
   • 차선을 고정된 개수의 정렬된 2D 픽좌표 (키포인트) 집합으로 표현하여, 전역 구조와 국소 연속성을 모두 포착합니다.
   • 학습 시 데이터셋의 불일치를 해결하기 위해, 시작점과 끝점을 유지한 채 나머지 점을 균일하게 보간 (Interpolation) 하여 고정된 개수 (예: 24 개) 의 키포인트로 변환하는 전처리 방식을 적용했습니다.

3. 백본 네트워크 및 정규화 전략 (Backbone & Normalization Strategy):

   • 배치 정규화 (Batch Normalization) 의 문제점: 기존 ShuffleNet/ResNet 의 배치 정규화는 도메인 간 편차 (Domain Shift) 를 심화시켜 멀티태스크 학습 성능을 저하시켰습니다.
   • 해결책: 배치 정규화를 제거하거나 레이어 정규화 (Layer Normalization) 가 내장된 아키텍처 (ConvNeXt, Swin Transformer, ClipConvNeXt) 를 사용하여 도메인 간 일반화 성능을 향상시켰습니다.

4. 태스크 특화 변환기 블록 (Task-Specific Transformer Blocks):

   • 각 카테고리 (객체 종류) 에 따라 특징 추출을 최적화하기 위해 각 네트워크 헤드 앞에 Swin Transformer 블록을 도입했습니다. 이를 통해 전역 컨텍스트 정보를 활용하면서도 특정 태스크에 필요한 특징을 정제합니다.

5. 데이터 증강 및 스케일 처리:

   • 다양한 크기의 객체를 처리하기 위해 Feature Pyramid Network (FPN) 를 백본에 통합했습니다.
   • Mosaic 증강을 사용하여 다양한 스케일의 객체가 포함된 이미지를 학습에 포함시켰습니다.

3. 주요 기여 (Key Contributions)

1. 하향식 다중 카테고리 스키넷 감지 프레임워크: 자율주행의 5 가지 핵심 카테고리 (차량, 보행자, 자전거, 동물, 차선) 를 단일 프레임워크로 통합하여 감지하는 최초의 접근법 중 하나입니다.
2. 스키넷 기반 차선 감지: 차선을 고정된 키포인트 집합으로 모델링하여, 기존 방법론보다 전역 구조와 국소 연속성을 더 잘 보존하며 실시간 성능을 달성했습니다.
3. 자전거 스키넷 데이터셋 및 전이 학습: MS COCO 데이터셋의 하위 집합을 기반으로 자전거 스키넷에 대한 새로운 주석 (Annotation) 을 생성하고 공개했습니다. 또한, 멀티태스크 사전 학습이 새로운 카테고리 (자전거) 에 대한 성능을 단일 태스크 학습보다 향상시킨다는 것을 입증했습니다.
4. 도메인 적응성 향상: 배치 정규화의 한계를 극복하기 위해 레이어 정규화 기반 백본 (ConvNeXt, Swin 등) 을 적용하여 멀티도메인 학습에서의 성능 저하를 방지했습니다.

4. 실험 결과 (Results)

• 차선 감지 (OpenLane 및 CULane):
  • OpenLane 데이터셋: 제안된 모델 (Swin-L + FPN 백본) 은 기존 최첨단 모델 (CondLSTR-L) 보다 F1 점수 8.1 포인트 이상 향상된 71.5% 의 성능을 기록했습니다. 특히 극한 날씨, 야간, 교차로 등 어려운 조건에서도 가장 우수한 성능을 보였습니다.
  • CULane 데이터셋: 기존 키포인트 기반 방법론 중 가장 높은 성능을 기록하며, 특히 혼잡한 환경 (Crowded) 에서 부분 가려짐 (Occlusion) 문제를 효과적으로 해결했습니다.
• 멀티태스크 성능:
  • 다양한 백본 (ConvNeXt, Swin-L 등) 에서 단일 태스크 학습 대비 멀티태스크 학습 시 성능이 크게 향상되었습니다. 특히 동물 감지 (Animal Detection) 와 같은 데이터 불균형이 심한 태스크에서 전이 학습의 효과가 두드러졌습니다.
• 새로운 카테고리 일반화 (자전거):
  • 보행자, 동물, 차량, 차선으로 사전 학습된 모델을 자전거 감지 태스크에 적용했을 때, 단일 태스크로 학습된 모델보다 평균 정밀도 (AP) 가 5.9~8.6 포인트 향상되었습니다. 이는 제안된 프레임워크가 새로운 카테고리에 대한 강력한 전이 학습 능력을 가짐을 시사합니다.

5. 의의 및 결론 (Significance)

PoseDriver 는 자율주행 시스템의 환경 인식을 위해 구조적이고 간결한 스키넷 표현을 통합적으로 적용한 획기적인 접근법입니다.

• 효율성: 추가적인 인코더나 복잡한 프롬프트 없이 단일 이미지만으로 다양한 객체와 정적 구조를 동시에 인식할 수 있어 계산 비용이 효율적입니다.
• 확장성: 새로운 카테고리 (예: 자전거) 에 대한 데이터가 부족하더라도, 기존 태스크에서 학습된 공유 표현을 통해 높은 성능을 달성할 수 있어 데이터 효율성이 뛰어납니다.
• 실용성: 특히 차선 감지 분야에서 스키넷 표현이 기존 방법론보다 우월함을 입증함으로써, 자율주행의 안전성과 의사결정 정확도를 높이는 데 기여할 것으로 기대됩니다.

이 연구는 자율주행 환경 인식의 패러다임을 '객체 감지'에서 '구조적 스키넷 이해'로 전환하는 중요한 이정표가 될 것입니다.