Physics-Informed Tracking (PIT)

1. 문제 정의 (Problem Definition)

비디오 내의 단일 입자 (예: 공) 를 추적하는 것은 컴퓨터 비전의 핵심 문제 중 하나입니다. 기존 딥러닝 기반 추적 방법 (예: Faster R-CNN, YOLO, CenterNet 등) 은 주로 데이터에 의존하여 객체의 위치 (히트맵의 피크) 를 예측합니다. 그러나 이러한 방법들은 다음과 같은 한계가 있습니다.

• 물리 법칙의 부재: 예측된 궤적이 중력이나 충돌과 같은 알려진 물리 법칙을 따르지 않을 수 있어 비현실적인 결과가 나올 수 있습니다.
• 레이블 의존성: 정밀한 추적을 위해서는 방대한 양의 정답 레이블 (Ground Truth) 이 필요하며, 레이블이 없는 환경 (Unsupervised) 에서는 성능이 급격히 저하됩니다.
• 상태 정보 부족: 기존 히트맵 기반 방법은 위치 (Position) 는 추정할 수 있지만, 속도 (Velocity) 나 탄성 충돌 (Bounce) 시점과 같은 물리 상태 정보를 직접적으로 제공하지 못합니다.

이 논문은 이러한 문제를 해결하기 위해 물리 법칙을 신경망 학습 과정에 직접 통합하여, 레이블이 없거나 노이즈가 심한 환경에서도 물리적으로 일관된 추적이 가능하도록 하는 프레임워크를 제안합니다.

2. 방법론 (Methodology)

2.1. 아키텍처: 분할 병목 구조 (Split Bottleneck Autoencoder)

PIT 는 인코더 - 디코더 (Autoencoder) 구조를 기반으로 하며, 핵심은 분할 병목 (Split Bottleneck) 설계입니다.

• 공유 인코더 (Shared Encoder): 입력 비디오 프레임 (3 프레임 슬라이딩 윈도우) 을 처리하여 잠재 공간 (Latent Space) 을 생성합니다.
• 분할된 잠재 표현:
  1. 추적 관련 구조 (A): 입자의 위치를 나타내는 **히트맵 (Landmark Heatmaps)**으로 분리됩니다. 이 피크가 입자의 위치가 됩니다.
  2. 배경/노이즈 (B): 이미지 재구성을 위한 잔여 특징 (Residual Features) 으로 분리됩니다.
• 멀티스케일 디코더: 56x56, 112x112, 224x224 의 세 가지 해상도에서 히트맵을 정제하며, 스킵 연결 (Skip Connections) 을 통해 저해상도 정보를 고해상도로 전달합니다.

2.2. 물리 정보 모듈 (Differentiable Physics Module)

추적된 랜드마크 (히트맵 피크) 는 미분 가능한 물리 모듈에 입력됩니다.

• Velocity-Verlet 통합: 중력 가속도 ($g$) 와 반발 계수 ($e$) 를 사용하여 입자의 운동 방정식을 풉니다.
• 충돌 처리: 이미지 경계와의 충돌 (탄성/비탄성) 을 torch.where 등을 통해 미분 가능하게 구현하여, 속도 벡터의 반전을 처리합니다.
• 출력: 이 모듈을 통해 **정제된 위치 ($\hat{p}$), 속도 ($\hat{v}$), 충돌 감지 ($\hat{b}$)**가 한 번의 순전파 (Forward Pass) 로 생성됩니다.

2.3. 손실 함수 및 학습 전략

학습은 6 가지 이진 팩터 (A~F) 를 가진 $2^6$ (64 가지) 구성의 반복 실험 설계 (Factorial Design) 를 통해 평가되었습니다.

1. PILL (Physics-Informed Landmark Loss, 비지도):
   • 히트맵에서 추출된 랜드마크와 물리 모듈이 예측한 궤적 간의 차이를 최소화합니다.
   • 특징: 정답 레이블이 없어도 물리 법칙 (중력, 포물선 운동) 만을 사용하여 학습 가능합니다.
2. PILLS (PILL Supervised, 지도):
   • 네트워크 예측값을 시뮬레이션의 정답 (위치, 속도, 충돌) 과 직접 비교합니다.
   • 특징: 엔드 - 투 - 엔드 (End-to-End) 역전파를 통해 물리 상태 전체를 학습합니다.
3. 기타 손실: 이미지 재구성 손실 (BCE), 히트맵 피크 손실 (Focal Loss) 등을 조합하여 사용합니다.

3. 주요 기여 (Key Contributions)

1. 분할 병목 아키텍처 제안: 추적 랜드마크 (히트맵) 와 배경 재구성을 분리하여, 추적이 이미지 재구성에 간섭받지 않도록 하거나 반대로 재구성이 추적을 돕도록 설계했습니다.
2. 물리 정보 랜드마크 손실 (PILL) 도입: 레이블 없이도 물리 법칙 (중력, 충돌) 을 제약 조건으로 사용하여 추적을 강화하는 새로운 비지도 학습 방식을 제시했습니다.
3. 지도 물리 학습 (PILLS) 및 엔드 - 투 - 엔드 학습: 물리 모듈을 미분 가능한 그래프에 통합하여, 위치뿐만 아니라 속도와 충돌 시점까지 정답 레이블과 함께 학습할 수 있는 체계를 구축했습니다.
4. 단일 순전파를 통한 물리 상태 예측: 기존 히트맵 기반 방법은 위치만 예측하지만, PIT 는 한 번의 추론으로 위치, 속도, 충돌 정보를 모두 제공합니다.

4. 실험 결과 (Results)

• 데이터셋: 중력과 비탄성 충돌을 따르는 인공적으로 생성된 공의 비디오 시퀀스 (Clean 및 Noise 조건, $\sigma=0, 1$).
• 실험 설계: 64 가지 구성 ($2^6$) 에 대해 4 번 반복 ($n=4$) 하여 통계적 유의성을 검증했습니다.
• 주요 성과:
  • 정밀도: 지도 학습 변형인 PILLS를 사용한 구성은 깨끗한 환경과 노이즈가 있는 환경 모두에서 서브픽셀 (Sub-pixel) 수준의 추적 정확도를 달성했습니다.
  • 노이즈 강인성: 노이즈 조건 ($\sigma=1$) 에서 기존 CenterNet 기반 베이스라인 (히트맵만 학습) 은 성능이 급격히 떨어지는 반면, 물리 정보 손실 (PILLS) 을 적용한 모델은 높은 정확도를 유지했습니다.
  • 물리 상태 예측: 위치뿐만 아니라 속도 예측 오차도 매우 낮았으며, 벽에 부딪히는 순간의 속도 방향 전환 (Velocity flip) 을 정확히 포착했습니다.
  • 팩터 분석: 지도 물리 손실 (Factor E) 과 디코더 구조 (Factor A) 가 추적 오차 감소에 가장 큰 영향을 미치는 것으로 나타났습니다.

5. 의의 및 결론 (Significance)

이 논문은 **물리 정보 신경망 (PINNs)**의 원리를 객체 추적 (Landmark Tracking) 에 성공적으로 적용한 사례입니다.

• 데이터 효율성: 레이블이 부족한 과학적 데이터나 노이즈가 심한 환경에서도 물리 법칙을 통해 추적을 안정화할 수 있음을 입증했습니다.
• 다기능성: 단순히 "어디에 있는가"를 넘어 "어떻게 움직이는가 (속도, 충돌)"를 동시에 예측할 수 있어, 과학적 시뮬레이션, 로봇 공학, 의료 영상 등 물리 법칙이 중요한 분야에서 유용하게 활용될 수 있습니다.
• 미래 전망: 현재는 단일 입자 추적에 국한되었으나, 이 프레임워크는 생성 모델 (Generative Models) 로 확장되어 물리적으로 일관된 미래 궤적을 생성하거나, 실제 실험 데이터에서의 적용 가능성 (실제 비디오로 확장) 을 열어두고 있습니다.

요약하자면, PIT는 딥러닝의 데이터 의존성을 물리 법칙으로 보완하여, 더 정확하고 해석 가능한 (Interpretable) 객체 추적 시스템을 구축하는 새로운 패러다임을 제시합니다.