기술 요약: TT4D – 단안 비디오에서 탁구 4D 재구성을 위한 파이프라인 및 데이터셋

1. 문제 정의

일반적인 시점의 단안 방송 비디오에서 4D 탁구 경기 (카메라 파라미터, 3D 공 위치, 공의 회전, 3D 인간 메쉬) 를 재구성하는 것은 상당한 어려움을 수반합니다. 이 스포츠는 높은 속도, 작은 물체 크기, 선수에 의한 빈번한 가림 (occlusion), 그리고 모션 블러가 특징입니다.

기존 재구성 파이프라인의 주요 병목 현상은 **시간 분할 (time segmentation)**입니다. 전통적인 방법들 (예: TT3D, LATTE-MV) 은 "전통적 파이프라인"에 의존합니다. 즉, 먼저 2D 공 궤적을 기반으로 연속된 비디오를 개별 샷 세그먼트로 분할한 후, 그 다음에 이러한 세그먼트를 3D 로 들어 올리는 (lift) 방식을 취합니다. 이 2D 우선 접근법은 취약합니다. 2D 공 궤적이 가림이나 오검출로 인해 자주 끊기면 분할 로직이 붕괴되기 때문입니다. 결과적으로 가림 상황에서는 신뢰할 수 있는 재구성이 실패하며, 수동 분할은 대규모 데이터셋에는 확장 불가능합니다. 더 나아가, 기존 방법들은 정밀한 3D 맥락 없이는 공의 회전과 라켓 상태를 추론하는 데 어려움을 겪습니다.

2. 방법론: Lift-First 파이프라인

저자들은 Lift-First 파이프라인이라는 패러다임 전환을 제안합니다. 2D 궤적을 먼저 분할하는 대신, 파이프라인은 분할되지 않은 전체 2D 공 궤적을 시간 분할 수행 전에 연속된 3D 궤적으로 들어 올립니다. 이 역전 (inversion) 은 분할을 모호함이 없는 3D 영역에서 수행하게 하여, 2D 검출이 누락되더라도 히트 (hit) 와 바운스 (bounce) 이벤트를 강력하게 식별할 수 있게 합니다.

파이프라인은 네 단계로 구성됩니다:

1 단계: 데이터 수집 및 전처리

• 클리핑 (Clipping): 스코어보드 감지 (YOLO + PaddleOCR) 와 2D 공 궤적 진동 분석을 통해 원본 방송 비디오를 개별 포인트로 클리핑합니다.
• 중복 제거: 구조적 유사성 지수 (SSIM) 를 사용하여 방송 인코딩에서 흔히 발생하는 중복 프레임을 감지하고 제거합니다. 이는 그렇지 않으면 궤적 추정을 손상시키기 때문입니다.
• 특징 추출: 시스템은 카메라 보정 (알 수 없는 초점 거리를 가진 Perspective-$n$-Point 해결), 2D 공 궤적 (TrackNetV3), 그리고 3D 인간 메쉬 (4DHumans) 를 추출합니다.

2 단계: 전체 시퀀스 리프팅 네트워크

핵심 기술적 기여는 **전체 시퀀스 리프팅 네트워크 (Full-Sequence Lifting Network)**입니다. 이는 300 만 개의 랠리로 구성된 대규모 합성 데이터셋으로 훈련된 트랜스포머 기반 모델입니다. 이전 모델들이 분리된 세그먼트를 처리하는 것과 달리, 이 네트워크는 임의 길이의 전체 분할되지 않은 포인트를 처리합니다.

• 아키텍처: 기본 리프팅 모델을 기반으로 하며, 타임스탬프 처리를 위해 회전 위치 임베딩 (Rotary Positional Embeddings, RoPE) 을 활용합니다.
• 밀집 회전 예측 (Dense Spin Prediction): 네트워크는 전체 시퀀스에 대한 프레임별 3D 회전 벡터를 밀집하게 예측하여, 세그먼트 기반 모델에서 사용되던 단일 "초기 회전" 토큰의 필요성을 제거합니다.
• 보간 토큰 (MTM): 가림을 처리하기 위해, 네트워크는 누락된 공 검출을 마스크된 토큰 모델링 (Masked Token Modeling) 작업으로 간주합니다. 공 벡터가 누락되더라도 카메라 컨텍스트 (테이블 키포인트) 를 유지하기 위해 **분리된 컨텍스트 임베딩 (Disentangled Context Embedding, DCE)**을 사용하고, 보간 토큰이 유효한 검출 특징을 희석하지 않도록 방지하는 지연 업샘플링 토큰 어텐션 (Deferred Upsampling Token Attention, DUTA) 메커니즘을 사용합니다.

3 단계: 3D 도메인 주석

연속된 3D 궤적이 재구성되면, 간단한 1D 신호 분석을 통해 시간 분할이 수행됩니다:

• 히트 포인트 (Hit Points): 3D $x$-좌표의 피크/트러프 (peak/trough) 로 식별됩니다.
• 바운스 (Bounces): $z$-좌표의 국소 최소값으로 식별됩니다.
• 라켓 추정: 최적 제어 문제 (Optimal Control Problem, OCP) 를 풀어 충돌 시 라켓의 포즈와 속도를 추론합니다. 마그누스 효과를 포함한 시뮬레이션된 충돌 후 궤적을 관측된 3D 경로와 일치시킴으로써, 공의 운동을 생성한 라켓 상태를 복원합니다.

4 단계: 필터링 및 큐레이션

파이프라인은 다음을 통해 품질을 보장합니다:

• 2D 재투영 확인: 3D 궤적이 엄격한 임계값 내에서 원래 2D 검출로 재투영되는지 확인합니다.
• 물리적 일관성: 물리 기반 상미분 방정식 (ODE) 을 3D 궤적에 적합시킵니다. 물리 법칙에서 크게 벗어난 포인트는 폐기됩니다.

3. 주요 기여

1. Lift-First 재구성 파이프라인: 3D 재구성을 취약한 2D 분할로부터 분리하여, 가림된 분할되지 않은 시퀀스를 강력하게 처리할 수 있게 하는 새로운 패러다임입니다.
2. 전체 시퀀스 리프팅 네트워크: 전체 랠리를 처리할 수 있는 최초의 방법으로, 밀집된 3D 궤적과 프레임별 회전 벡터를 출력합니다. 이는 새로운 "스티칭 (stitching)" 알고리즘을 통해 생성된 300 만 포인트 규모의 합성 데이터셋으로 훈련되었습니다.
3. TT4D 데이터셋: 211,534 개의 재구성된 포인트를 포함하는 140 시간 이상의 멀티모달 데이터셋입니다. 이는 고충실도 3D 공 궤적, 인간 메쉬를 특징으로 하며, 처음으로 이 규모에서 밀집된 3D 회전 벡터와 강력한 3D 기반 시간 분할을 제공합니다.
4. 하류 응용: 논문은 데이터셋의 유용성을 다음을 통해 입증합니다:
   • 라켓 스트로크 추정: 충돌 시 라켓 포즈와 속도를 고충실도로 복원합니다.
   • 생성 모델링: 물리적으로 타당하고 시간적으로 현실적인 경쟁 랠리를 생성하기 위해 조건부 흐름 매칭 (Conditional Flow Matching, CFM) 모델을 훈련합니다.

4. 결과 및 평가

• 재구성 정확도: TT4DBench (스티칭된 현실적 벤치마크) 에서 전체 시퀀스 접근법은 세그먼트 기반 방법의 평균 3D 궤적 오차 ($\Delta \vec{r}^{3D}$) 를 21.71cm 에서 18.95cm 로 감소시켰습니다.
• 강건성: 모델은 프레임률 50% 감소 및 10% 검출 누락과 같은 "현장 (in-the-wild)" 조건에서도 약간의 성능 저하만으로도 강력한 성능을 유지합니다.
• 물리적 타당성: 생성 및 재구성된 궤적은 물리 기반 ODE 적합과 높은 정렬도를 보입니다. 생성된 랠리의 평균 ODE 적합 오차 (8.72cm) 는 실제 데이터 (10.77cm) 와 비교 가능합니다.
• 효율성: 네트워크는 Titan X GPU 에서 초당 500 개 이상의 포인트를 처리하여, 수천 개의 게임을 몇 분 안에 재구성할 수 있게 하며, 이는 최적화 기반 방법 대비 큰 개선입니다.
• 라켓 재구성: 모션 캡처 정답 (ground truth) 에 대한 검증 결과, 평균 방향 오차는 $26.4 \pm 4.4^\circ$, 속도 오차는 $0.58 \pm 0.40$ m/s 였습니다.

5. 의의

이 논문은 TT4D 와 Lift-First 파이프라인이 스포츠 재구성의 확장성을 근본적으로 변화시킨다고 주장합니다. 2D 기반 시간 분할의 취약성을 우회함으로써, 이 방법은 이전에는 4D 분석에 사용 불가능했던 일반적인 시점의 방송 비디오를 처리할 수 있게 합니다. 이 데이터셋은 다음과 같은 분야를 위한 새로운 기반을 제공합니다:

• 가상 리플레이 및 선수 분석: 대규모에서 이전에 불가능했던 정밀한 3D 지표를 제공합니다.
• 로봇 학습: 휴머노이드 로봇을 위한 모방 학습 및 예측 정책 (anticipatory policies) 에 필요한 데이터를 제공합니다.
• 계산 스포츠 과학: 공의 역학, 회전, 그리고 선수 전략을 고충실도로 연구할 수 있게 합니다.

저자들은 탁구에 대해 입증되었지만, 일반 파이프라인은 테니스나 배드민턴과 같은 다른 빠른 스포츠로 확장 가능하다고 강조합니다. TT4D 데이터셋의 공개는 이러한 분야의 추가 연구를 촉발하기 위한 것입니다.