Phys-3D: Physics-Constrained Real-Time Crowd Tracking and Counting on Railway Platforms

이 논문은 기차에 장착된 단일 카메라를 통해 플랫폼의 혼잡한 군중을 실시간으로 추적하고 계수하기 위해, 물리 법칙을 기반으로 한 3D 운동 추론과 검출 및 외관 정보를 통합한 'Phys-3D' 프레임워크를 제안하여 기존 방법의 한계를 극복하고 높은 정확도를 달성함을 보여줍니다.

핵심

1. 문제 상황: "흔들리는 카메라와 꽉 찬 방"

기차가 역에 들어설 때, 플랫폼은 사람들로 꽉 차 있습니다. 문제는 기차가 움직인다는 점입니다.

• 기존 방식의 한계: 일반적인 CCTV 는 고정되어 있어 사람을 잘 세지만, 기차에 달린 카메라는 흔들리고, 빠르게 다가오며, 시야가 왜곡됩니다.
• 비유: 마치 흔들리는 배 위에서 꽉 찬 수영장 사람들을 세려고 하는 상황입니다. 물결 (기차의 흔들림) 때문에 사람들이 겹쳐 보이고, 멀리 있던 사람이 갑자기 커 보이다가 사라지기도 합니다. 기존 기술은 이 흔들림을 '사람이 움직인 것'으로 착각해서 사람을 잘못 세거나, 같은 사람을 두 번 세는 실수를 저지릅니다.

2. 해결책 1: "머리만 보는 눈 (Head Detection)"

사람 전체를 다 보려고 하면 옷차림이나 몸짓 때문에 헷갈리기 쉽습니다. 하지만 머리는 어떤 상황에서도 가장 잘 보입니다.

• 기술: 연구팀은 **YOLO(요로)**라는 AI 모델을 훈련시켜, 사람 전체가 아닌 '머리'만 집중해서 찾게 했습니다.
• 비유: 꽉 찬 파티장에서 얼굴 전체를 보려고 애쓰지 말고, 사람들의 머리 꼭대기만 쫓아보는 것입니다. 머리는 겹쳐도 잘 보이고, 기차가 움직여도 상대적으로 안정적이기 때문에 '누구인지'를 파악하기 훨씬 수월합니다.

3. 해결책 2: "물리 법칙을 아는 추적기 (Phys-3D)"

이게 이 논문의 가장 큰 핵심입니다. 기존 추적기는 "사람이 일정 속도로 움직인다"고 가정하지만, 기차 안 카메라는 기차 자체의 움직임 때문에 시야가 변합니다.

• 기술: 연구팀은 **물리 법칙 (기하학)**을 AI 에 심어주었습니다. 기차가 정지할 때의 가속도, 카메라의 렌즈 원리 등을 계산에 넣어서, **"이건 사람이 움직인 게 아니라 기차가 다가온 거야!"**라고 구분하게 만든 것입니다.
• 비유:
  • 기존 추적기: "저 사람이 저쪽으로 빠르게 날아가는구나!"라고 착각합니다. (기차의 움직임 때문인데)
  • Phys-3D 추적기: "아, 저 사람은 제자리에 서 있는데, 내가 (기차가) 다가가고 있어서 저 사람이 커 보이고 움직이는 것처럼 보이는구나!"라고 3 차원 공간에서 물리적으로 계산합니다.
  • 마치 비행기 창문 밖을 볼 때, 구름이 움직이는 게 아니라 비행기가 날아가는 것임을 아는 것과 같습니다. 이 '물리 상식' 덕분에 사람마다 고유한 번호 (ID) 를 붙여놓아도, 기차가 멈출 때까지 번호가 바뀌지 않습니다.

4. 해결책 3: "안전 지대 통과 확인 (Virtual Counting Band)"

사람을 세는 것도 까다롭습니다. 사람이 잠시 가려지거나 (가림), AI 가 깜빡이면 (오작동) 같은 사람을 두 번 세거나 빼먹을 수 있습니다.

• 기술: 단순히 선을 그어 넘으면 세는 게 아니라, 특정 구역 (밴드) 에 일정 시간 (예: 2 초) 이상 머무른 사람만 진짜로 세기로 했습니다.
• 비유: 역 입구에 안전 지대를 만들어두고, "저 지대에 오래 서 있는 사람만 입국한 것으로 인정하자"는 규칙입니다. 잠시 스쳐 지나가거나, 가려졌다가 다시 나온 사람은 '아직 입국 안 한 상태'로 처리해서 실수를 막습니다.

---

🏆 결과: 얼마나 잘할까요?

이 시스템을 실행해 보니, 오류율이 3% 미만으로 떨어졌습니다.

• 기존 방식은 사람 100 명을 세면 10~15 명을 잘못 세거나 놓쳤지만, 이 방법은 100 명 중 97 명 이상을 정확하게 세었습니다.
• 기차가 급격히 멈추거나, 사람이 서로 겹쳐도 정확한 ID 를 유지하며 실시간으로 카운팅이 가능합니다.

💡 왜 중요한가요?

이 기술은 기차에 탑승한 카메라만 있으면 되므로, 별도의 고정 카메라 설비가 필요 없습니다.

• 안전: 역이 너무 붐비면 기차 출발을 늦추거나 추가 열차를 보낼 수 있습니다.
• 편의: 승객들이 기다리는 시간을 줄이고, 역 관리가 훨씬 수월해집니다.

한 줄 요약:

"기차 창문 밖의 흔들리는 시야에서도 물리 법칙을 이용해 사람 머리를 정확히 쫓고, 안전 지대에서만 세는 똑똑한 AI를 만들어 역의 혼잡함을 실시간으로 해결합니다."

기술 요약

1. 문제 정의 (Problem Definition)

기차 플랫폼의 승객 밀도 및 이동 추정은 안전한 열차 운영과 효율적인 스케줄링을 위해 필수적입니다. 기존 시스템은 주로 플랫폼에 고정된 카메라를 사용하지만, 이는 시야 제한, 원근 왜곡, 그리고 밀집된 군집으로 인한 가림 (occlusion) 에 취약합니다.

이 논문은 이동하는 열차 (train-mounted camera) 에서 플랫폼을 스캔하며 실시간으로 승객을 계수하고 추적하는 것을 목표로 합니다. 그러나 이동하는 카메라 환경에서는 다음과 같은 고유한 어려움이 존재합니다:

• 강한 원근 왜곡 (Perspective Distortion): 열차가 접근함에 따라 먼 거리의 승객 머리가 급격하게 커지며, 크기 변화가 심합니다.
• 자세 운동 (Ego-motion) 오해: 카메라의 이동 (감속 포함) 으로 인한 영상 내 물체의 겉보기 운동이 실제 보행자의 운동으로 오인되어 궤적 불안정 및 신원 (ID) 전환 (Identity Switch) 이 빈번하게 발생합니다.
• 밀집된 가림 (Dense Occlusion): 승객들이 서로 겹치면서 전체 신체 검출이 어렵고, 일시적인 가림으로 인해 계수 오류가 발생합니다.

2. 제안된 방법론 (Methodology)

저자들은 Phys-3D라는 물리 제약 기반의 검출 - 추적 - 계수 파이프라인을 제안합니다. 이 시스템은 YOLOv11m 기반의 머신 검출, EfficientNet-B0 기반의 외형 특징 추출, 그리고 3D 공간 기반의 물리 제약 칼만 필터를 통합합니다.

가. 머신 검출 및 인코딩 (Head Detection & Encoding)

• YOLOv11m 기반 머신 검출: 전체 신체 검출은 가림과 원근 왜곡에 취약하므로, 상대적으로 안정적이고 가시성이 높은 머신 (Head) 검출 전략을 채택했습니다.
  • 이전 학습 (Transfer Learning): 대규모 'CrowdHuman' 데이터셋으로 사전 학습한 후, 저자들이 구축한 도메인 특화 데이터셋인 RailwayPlatformCrowdHead로 미세 조정 (Fine-tuning) 하여 검출 정확도를 극대화했습니다.
• EfficientNet-B0 기반 Re-ID: 검출된 머신에 대해 128 차원의 임베딩을 생성하여 프레임 간 및 일시적 가림 후에도 일관된 신원 (ID) 을 유지하도록 합니다.

나. Phys-3D: 물리 제약 3D 추적 (Physics-Constrained 3D Tracking)

기존 DeepSORT 와 같은 2D 칼만 필터 (일정 속도/가속도 모델) 는 카메라 이동 시 실패하므로, Phys-3D를 도입했습니다.

• 3D 상태 공간 모델링: 2D 이미지 평면이 아닌 3D 공간에서 칼만 필터의 상태 벡터를 정의합니다. 상태 벡터는 $[X, Y, H, Z, \dot{Z}, \ddot{Z}]^T$로 구성되며, 여기서 $Z$는 카메라와의 거리, $H$는 머신 높이를 의미합니다.
• 핀홀 카메라 모델 (Pinhole Geometry) 적용:
  • $Z(t) = f_y \cdot H / h(t)$ 관계를 활용하여, 2D 검출 박스 높이 ($h$) 와 3D 거리 ($Z$) 를 연결합니다.
  • 열차가 플랫폼에 접근할 때 $X, Y$ 좌표는 거의 일정하고, 거리 $Z$만 열차의 운동에 따라 변한다고 가정합니다.
• 물리 일관성: 열차의 감속 (Deceleration) 을 3D 운동 모델에 명시적으로 통합하여, 카메라 이동으로 인한 겉보기 운동을 실제 보행자 운동과 분리합니다. 이를 통해 궢적 드리프트를 줄이고 ID 전환을 방지합니다.

다. 가상 계수 밴드 (Virtual Counting Band)

• 지리적 고정 영역: 이미지 좌우 끝단 근처에 정의된 가상 영역 (예: 이미지 너비의 5%~20%) 을 설정합니다.
• 지속성 임계값 (Persistence Threshold): 대상이 밴드 내에서 연속적으로 $N$ 프레임 (예: 2 프레임) 이상 유지될 때만 계수합니다.
• 효과: 일시적인 가림, 검출抖动 (Jitter), 또는 ID 전환으로 인한 중복/누락 계수를 방지하여 안정적인 지역별 계수를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 실시간 온보드 감지 파이프라인: 열차 접근 시 전방 플랫폼을 실시간으로 인식할 수 있는 검출 - 추적 - 분석 통합 시스템을 설계했습니다.
2. Phys-3D 칼만 필터: 카메라의 자세 운동과 원근 왜곡을 고려한 물리 기반 3D 운동 모델을 개발하여, 기존 2D 모델의 불안정성을 해결했습니다.
3. 새로운 데이터셋 공개: 열차 관점의 머신 검출 및 군집 분석을 위한 도메인 특화 데이터셋 RailwayPlatformCrowdHead (MOT-RPCH) 를 구축하고 공개했습니다.
4. 물리 기반 접근법의 유효성 증명: 심층 비주얼 표현과 물리 법칙 (기하학, 운동 우선 지식) 의 결합이 교통 환경의 제약 조건 하에서 정확하고 안정적인 솔루션을 제공함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MOT-RailwayPlatformCrowdHead (MOT-RPCH) 데이터셋을 사용하여 실험을 수행했습니다.

• 검출 성능: CrowdHuman 사전 학습 후 도메인 특화 데이터로 미세 조정 시, mAP50 이 79.4% 에서 **98.0%**로 크게 향상되었습니다.
• 추적 성능 (Tracking Metrics):
  • MOTA: 67.19%
  • IDF1: 76.32%
  • ID 전환 (IDSW): 평균 24.5 회 (기존 모델 대비 현저히 감소).
• 계수 정확도 (Counting Accuracy):
  • MAPE (평균 절대 백분율 오차): 2.97% (Phys-3D).
  • 비교 대상인 기존 모델 (CV-8D: 14.59%, CA-12D: 6.99%) 보다 월등히 낮은 오차를 기록했습니다.
  • MAE(평균 절대 오차) 는 0.9, RMSE 는 1.36 으로 매우 높은 정확도를 보였습니다.
• Ablation Study:
  • 물리 제약이 없는 2D 모델 (CV-8D, CA-12D) 에 비해 Phys-3D 가 원근 왜곡과 감속을 정확히 모델링하여 계수 오류를 획기적으로 줄였습니다.
  • 가상 계수 밴드 (Virtual Counting Band) 는 단순 선형 교차 (Line-crossing) 방식보다 MAE 를 31.28 에서 3.13 으로 대폭 개선했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 이동하는 열차 내부에서 플랫폼 승객을 실시간으로 정확하게 계수할 수 있는 최초의 물리 제약 기반 프레임워크 중 하나입니다.

• 안전 및 운영 최적화: 실시간 승객 밀도 데이터는 열차 배차, 플랫폼 안전 관리, 인프라 계획에 중요한 기초 데이터를 제공합니다.
• 기술적 혁신: 단순히 모델 복잡도를 높이는 것이 아니라, **기하학적 제약과 물리 법칙 (First-principles)**을 추적 모델에 통합함으로써 동적이고 가림이 심한 환경에서도 강건한 성능을 달성했습니다.
• 향후 과제: 야간 또는 악천후 조건에서의 데이터 확장, LiDAR/레이더 등 멀티모달 센서 융합, 그리고 더 넓은 교통 시나리오로의 도메인 적응이 향후 연구 과제로 제시되었습니다.

요약하자면, Phys-3D 는 이동하는 카메라 환경의 고유한 물리적 제약을 해결함으로써, 기존 컴퓨터 비전 기반 군집 계수 기술의 한계를 극복하고 실용적인 철도 안전 관리 솔루션을 제시했습니다.