A Computer Vision Framework for Multi-Class Detection and Tracking in Soccer Broadcast Footage

이 논문은 고가의 하드웨어 없이도 표준 방송 영상을 기반으로 YOLO 와 ByteTrack 을 활용한 단일 카메라 컴퓨터 비전 프레임워크를 개발하여 축구 경기의 선수, 심판, 공을 실시간으로 탐지 및 추적함으로써 저예산 팀도 고급 데이터 분석을 가능하게 한다는 것을 보여줍니다.

핵심

🎥 1. 문제 상황: 부자 팀 vs 서민 팀

축구를 잘하는 프로 팀들은 선수들의 움직임을 정밀하게 추적하기 위해 수백만 원짜리 특수 카메라나 선수 몸에 붙이는 GPS를 씁니다. 하지만 대학 팀이나 아마추어 클럽은 이런 비싼 장비를 살 돈이 없습니다.

• 비유: 부자 팀은 '고해상도 드론'으로 경기장을 위에서 쫓아다니며 선수 위치를 파악하지만, 서민 팀은 그냥 'TV 중계'만 보고 눈으로 따라가야 해서 데이터가 부족하다는 거죠.

🤖 2. 이 연구의 해결책: "TV 중계로 AI 를 훈련시키자!"

저자 다니엘 Tshiani 는 "그럼 비싼 장비 대신, 우리가 매일 보는 TV 중계 영상을 AI 에게 가르쳐서 데이터를 뽑아내면 어떨까?"라고 생각했습니다.

• 핵심 아이디어: TV 화면 속의 선수, 심판, 골키퍼, 공을 AI 가 알아서 찾아내고, 누가 누구인지 계속 따라가게 만드는 것입니다.

🛠️ 3. 어떻게 작동할까? (AI 의 요리 과정)

이 연구는 두 가지 주요 기술을 섞어서 '요리'를 했습니다.

1. YOLO (눈을 뜨는 AI):
   • 영상 한 장 한 장을 보고 "저기 선수 10 명, 심판 1 명, 공 1 개 있네!"라고 사각형 박스로 표시해 줍니다.
   • 마치 초고속 스캐너처럼 화면을 훑어내며 물체를 찾아냅니다.
2. ByteTrack (기억력 좋은 추적자):
   • AI 가 찾은 선수들이 다음 장면에서도 같은 사람인지 기억하게 해줍니다.
   • 비유: 경기가 길어지면 선수들이 화면 밖으로 나갔다가 다시 들어옵니다. 이 추적기는 "아, 저 사람은 방금 나갔던 A 선수구나!"라고 이름표를 붙여주며 계속 따라갑니다.

📊 4. 결과는 어땠나요? (성공과 실패)

AI 가 경기를 분석한 결과는 다음과 같았습니다.

• 🌟 선수와 심판, 골키퍼: "완벽에 가까움!"
  • AI 가 선수들을 찾아내는 정확도가 99% 에 가까울 정도로 훌륭했습니다.
  • 비유: 마치 초능력자처럼 혼잡한 경기장 한가운데서도 "저기 저 사람, 저 사람, 저 사람!"이라고 손가락으로 가리키는 것처럼 정확했습니다.
• ⚽ 공 (볼): "아직은 서툴러요"
  • 공을 찾는 것은 가장 어려웠습니다. 공이 작고, 발에 가려지거나 빠르게 움직여서 자꾸 놓쳤습니다.
  • 비유: 공은 작은 파리처럼 빠르게 날아다니고, 선수들의 다리 사이로 숨어버리니까 AI 가 "어디 갔지?"라고 헤매는 상황이었습니다. (찾았을 때는 맞지만, 자꾸 놓치는 '실수'가 많았습니다.)

🚧 5. 아직 해결해야 할 문제들 (한계점)

이 기술이 완벽하지는 않습니다.

1. 공의 위치: 공이 너무 작고 빠르게 움직여서 정확한 위치를 잡기 어렵습니다.
2. 이름표 문제: AI 는 "A 선수"라고 번호를 매겨주지만, 그 번호가 경기 내내 일정하지 않을 수 있습니다. (화면 밖으로 나갔다가 들어오면 새로운 번호를 붙여버릴 수도 있음)
3. 팀 구별: 햇빛이 강하게 비칠 때나 유니폼 색이 비슷하면, 어느 팀 소속인지 헷갈릴 때가 있습니다.

💡 6. 결론: 왜 이 연구가 중요할까?

이 연구는 **"비싼 장비가 없어도, TV 중계 영상 하나로도 프로팀 수준의 데이터 분석이 가능해진다"**는 것을 증명했습니다.

• 의미: 이제 대학 팀이나 아마추어 클럽도 무료나 저렴한 비용으로 선수들의 움직임을 분석하고, 더 좋은 선수를 영입하거나 전술을 세울 수 있게 되었습니다.
• 마무리: 아직 공을 잡는 기술은 완벽하지 않지만, 선수들과 심판을 추적하는 능력은 이미 충분히 훌륭해졌습니다. 앞으로 기술이 발전하면 더 완벽한 'AI 코치'가 될 날이 올 것입니다.

---

한 줄 요약:

"비싼 카메라 없이 TV 중계 영상만으로도 AI 가 선수들을 쫓아다니며 데이터를 뽑아낼 수 있다! (공은 좀 어렵지만요)"

기술 요약

논문 요약: 축구 방송 영상 기반 다중 클래스 검출 및 추적 프레임워크

1. 문제 제기 (Problem Statement)

• 현황: 고가의 멀티카메라 시스템이나 GPS 추적 장비를 보유한 클럽은 상세한 데이터를 통해 경쟁 우위를 점하지만, 예산이 부족한 하위 리그 팀이나 아마추어 클럽은 이러한 데이터 수집이 불가능합니다.
• 핵심 질문: 전문 하드웨어 없이 단일 카메라의 표준 방송 영상만으로도 AI 를 통해 선수, 심판, 골키퍼, 공을 검출하고 추적할 수 있는가?
• 목표: 특수 장비에 대한 의존도를 줄이고, 대학, 아카데미, 아마추어 클럽도 접근 가능한 확장성 있는 데이터 기반 분석 방법론을 제시하는 것입니다.

2. 방법론 (Methodology)

이 연구는 방송 영상에서 객체를 검출하고 추적하는 엔드 - 투 - 엔드 (End-to-End) 컴퓨터 비전 파이프라인을 개발했습니다.

• 데이터셋:
  • Roboflow 의 독일 분데스리가 (Bundesliga) 방송 영상과 NCAA Division I, UPSL(반프로) 경기 영상을 결합하여 다양한 카메라 앵글, 조명, 경기 수준을 확보했습니다.
  • 전처리: 프레임 스트라이드 (Stride) 30(초당 약 1 프레임) 으로 샘플링하여 계산 비용을 절감하면서도 시간적 연속성을 유지했습니다. 입력 크기는 작은 객체인 공의 검출을 위해 1280x1280 픽셀로 고정했습니다.
• 검출 모델 (Detection):
  • YOLOv8s를 사용했습니다. (YOLOv8x 는 GPU 메모리 제약으로 인해 YOLOv8s 로 변경됨).
  • 학습 전략: 사전 학습된 가중치를 파인튜닝 (Fine-tuning) 하되, CLIP, UMAP, K-Means, ByteTrack 등 다른 구성 요소는 학습 없이 고정하여 과적합을 방지하고 안정성을 높였습니다.
  • 손실 함수: Box Loss, Classification Loss, Distribution Focal Loss (DFL) 를 모니터링하여 작은 객체 (공) 와 밀집된 상황에서의 검출 정확도를 최적화했습니다.
• 추적 및 분석 파이프라인:
  1. 검출: YOLOv8s 로 프레임별 객체 (선수, 골키퍼, 심판, 공) 의 바운딩 박스를 생성.
  2. 임베딩: 검출된 객체를 자르고 CLIP 이미지 인코더를 통해 512 차원의 외관 임베딩 (Appearance Embedding) 추출.
  3. 차원 축소 및 군집화: 고차원 임베딩을 UMAP으로 3 차원 공간에 투영한 후, K-Means를 사용하여 유니폼 색상 기반의 팀 분류 수행.
  4. 추적: ByteTrack 알고리즘을 사용하여 프레임 간 객체 식별자 (ID) 를 일관되게 유지하고 추적.

3. 주요 기여 (Key Contributions)

• 클래스별 세분화된 성능 평가: 기존 연구들이 객체를 통괄적으로 평가한 것과 달리, 선수, 골키퍼, 심판, 공이라는 각 클래스별로 성능 지표 (Precision, Recall, mAP) 를 분리하여 보고했습니다.
• YOLOv8 의 축구 특화 적용: 축구 방송 영상이라는 특정 도메인에서 YOLOv8 을 적용하고, 단일 카메라 환경에서의 실용성을 검증한 최초의 연구 중 하나입니다.
• 저비용 분석 프레임워크 제시: 고가의 하드웨어 없이도 AI 를 통해 의미 있는 공간 정보를 추출할 수 있음을 증명하여, 데이터 기반 분석의 민주화를 가능하게 했습니다.

4. 실험 결과 (Results)

모델은 49 개의 이미지 (총 1,174 개의 인스턴스) 에 대해 평가되었으며, 주요 수치는 다음과 같습니다.

클래스	정밀도 (Precision)	재현율 (Recall)	mAP50	mAP50-95
전체 (All)	0.884	0.828	0.871	0.583
공 (Ball)	0.914	0.511	0.616	0.296
골키퍼	0.801	0.897	0.931	0.659
선수 (Player)	0.957	0.978	0.993	0.767
심판	0.864	0.925	0.946	0.610

• 성공 요인: 선수, 골키퍼, 심판의 검출 및 추적은 매우 높은 성능을 보였습니다. 특히 선수의 경우 mAP50 이 0.993 으로 거의 포화 상태에 달해, 다양한 포즈와 밀집된 상황에서도 강건하게 작동함을 입증했습니다.
• 한계점 (공 검출): 공의 경우 정밀도는 높았으나 (0.914), 재현율이 0.511 로 낮았습니다. 이는 공이 작고, 빠르게 움직이며, 선수들의 발이나 몸에 의해 자주 가려지기 (Occlusion) 때문입니다. 또한, cleats(축구화) 나 대머리 등이 공으로 오인되는 오탐지 (False Positive) 가 발생하기도 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 타당성: 단일 카메라 방송 영상만으로도 선수, 심판, 골키퍼의 위치 정보를 신뢰할 수 있게 추출할 수 있음을 입증했습니다.
• 사회적/산업적 영향:
  • 접근성 향상: 고가의 멀티카메라 시스템이 없는 대학, 아카데미, 아마추어 클럽이 프로 수준의 데이터 기반 분석을 도입할 수 있는 길을 열었습니다.
  • 비용 효율성: 전문 하드웨어 의존도를 낮추고 확장 가능한 AI 분석 솔루션을 제시했습니다.
• 향후 과제:
  • 공 추적 개선: 다중 프레임 추론, 시간적 평활화 (Temporal smoothing), 공 전용 검출 모듈 도입 필요.
  • 지속적 식별 (Re-ID): 프레임 이탈 시 ID 가 리셋되는 문제 해결을 위한 외관 기반 재식별 (Re-ID) 네트워크 또는 시퀀스 모델링 도입.
  • 다양한 앵글 대응: 방송용 앵글 외의 전술적 앵글, 드론 영상 등에 대한 일반화 능력 향상.
  • 팀 분류 안정성: 조명 변화에 따른 팀 분류 오류를 해결하기 위한 시간적 제약 조건 도입.

결론적으로, 이 연구는 AI 기반 컴퓨터 비전이 전문 장비 없이도 축구 경기의 의미 있는 공간 데이터를 추출할 수 있음을 보여주었으며, 스포츠 분석의 민주화와 더 공평한 데이터 접근성을 위한 중요한 발걸음이 되었습니다.