💻 computer science

SoccerNet 2026 Challenges Results

이 논문은 427개의 팀과 1,129개의 제출물을 끌어모은 5가지 비전 기반 축구 비디오 이해 과제에 대한 평가 프로토콜, 리더보드, 그리고 최고 성능을 기록한 방법들을 상세히 기술하며 제6회 연례 SoccerNet 2026 챌린지의 결과를 제시한다.

원저자: Anthony Cioppa, Silvio Giancola, Håkan Ardö, Mohamad Dalal, Jan Held, Jérémie Ochin, Jiayuan Rao, Karen Sanchez, Renaud Vandeghen, Artur Xarles, Olivier Barnich, Albert Clapés, Mathieu Delvaux, Sergio

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anthony Cioppa, Silvio Giancola, Håkan Ardö, Mohamad Dalal, Jan Held, Jérémie Ochin, Jiayuan Rao, Karen Sanchez, Renaud Vandeghen, Artur Xarles, Olivier Barnich, Albert Clapés, Mathieu Delvaux, Sergio Escalera, Bernard Ghanem, Cédric Hons, Antoine Houet, Sotiris Manitsaris, Tom Michel, Pierre Miralles, Thomas B. Moeslund, Mikael Nilsson, Bogdan Stanciulescu, Marc Van Droogenbroeck, Yanfeng Wang, Weidi Xie, Faisal Altawijri, Mohamed Atef, Semen Budennyy, Vasiliy Chelpanov, Puhua Chen, Yixin Chen, Lechao Cheng, Jianling Chu, Ju-Seong Do, Oleg Durygin, Omar Fetouh, Mirco Fuchs, Youssef Ghallab, Falguni Ghosh, Wonjun Heo, Yufeng Hu, Weixuan Huang, Phuong-Linh Huynh-Ha, Matvey Isupov, Yangguang Ji, Siyuan Jiang, Zhenxiang Jiang, Wonyong Jo, Ho-Young Jung, SeongHeon Kang, MinJae Kim, Youngseon Kim, Jakub Komosa, Artem Konshin, Trung-Hoang Le, Jongmin Lee, Lingling Li, Litao Li, Vadim Linkov, Fang Liu, Haoxuan Ma, Shun Makino, Ismail Mathkour, Konstantin Mitin, Mikhail Moiseev, Takumi Nagaya, Yuki Nakamura, Thanh-Khoi Nguyen, Hoang-Phuc Nguyen, Trong-Thuan Nguyen, Christian Orduz, Kwanyong Park, Fabian Perez, Parthsarthi Rawat, SuHyun Rim, Hoover Rueda-Chacón, Atom Scott, Minori Sugimura, Yuyang Sun, Shengeng Tang, Minh-Triet Tran, Ikuma Uchida, Juan Vanegas, Thanh-Nhan Vo, Jiangtao Wang, Yaxiong Wang, Xiaogang Wang, Ruifeng Wang, Rio Watanabe, Jiali Wen, Yongliang Wu, Di Yang, Xu Yang, Zhuo Yang, Xinyu Ye, Yibo Yu, Zihan Zhai, Yu Zhang, Zhenyu Zhao, Zhun Zhong, Yixi Zhou, Xingyu Zhu, Wenbo Zhu, Julian Ziegler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 글로벌 비디오 게임 토너먼트를 상상해 보세요. 여기서 '플레이어'는 인간이 아니라 축구 경기를 이해하려고 노력하는 컴퓨터 프로그램(AI)입니다. 이 논문은 이 대회의 6년째 되는 해인 SoccerNet 2026 챌린지의 공식 성적표입니다.

주최 측은 AI가 축구라는 아름다운 경기를 진정으로 이해하기 위해 마스터해야 할 서로 다른 기술을 테스트하는 다섯 가지의 다른 "레벨" 또는 과제를 설정했습니다. 여기에는 쉬운 비유를 사용하여 어떤 일이 일러났는지 정리되어 있습니다.

5가지 토너먼트 레벨

1. 수정구슬 (공의 움직임 예측 - Ball Action Anticipation)

도전 과제: AI는 축구 경기 30초를 시청하고, 그다음 5초 동안 어떤 일이 일어날지 추측해야 합니다.
비유: 영화를 보고 있는데 화면이 5초 동안 검게 변한다고 상상해 보세요. 여러분은 영상이 다시 나올 때 캐릭터들이 정확히 무엇을 할지 예측해야 합니다. 선수가 공을 찼나요? 아니면 패스를 했나요?
결과: 9개 팀이 참여했습니다. 우승팀인 FAANTRA-WS는 "2단계 예열(two-phase warm-up)" 전략(경주 전 선수가 스트레칭을 하는 것과 같은 방식)을 사용하고, 미래의 불확실성을 다루기 위해 서로 다른 모델들을 결합함으로써 최고의 점수를 받았습니다.

2. 슈퍼 심판 (선수 중심의 동작 포착 - Player-Centric Ball Action Spotting)

도전 과제: AI는 특정 동작(패스, 슛, 태클 등)을 찾아내고, 그것이 정확히 언제 일어났는지, 그리고 어떤 특정 선수(팀과 유니폼 번호 포함)가 했는지 식별해야 합니다.
비유: 단순히 휘슬을 부는 것뿐만 아니라, 즉시 "레드 팀의 10번 선수가 12:04에 패스함"이라고 기록하는 심판을 생각해보세요. 까다로운 점은 선수들이 서로를 가리는 경우(폐쇄/occlusion)가 많아 누가 누구인지 파악하기 어렵다는 것입니다.
결과: 6개 팀이 경쟁했습니다. 우승팀인 PAVE는 "투표 시스템"을 사용했습니다. 그들은 여러 AI 모델이 동일한 순간을 관찰하게 하고, 모델들이 해당 동작을 수행한 인물에 대해 합의했을 때만 그 동작을 인정했습니다. 이는 컴퓨터를 혼란스럽게 만드는 흔치 않은 "태클" 동작을 포착하는 데 도움이 되었습니다.

3. 시간 여행 사진작가 (새로운 시점 합성 - Novel View Synthesis)

도전 과제: AI는 다양한 각도에서 찍은 축구장 사진들을 전달받고, 한 번도 본 적 없는 카메라 각도에서 본 새로운 사진을 만들어내야 합니다.
비유: 방을 360도로 찍은 사진이 있다고 상상해 보세요. 만약 여러분이 눈을 감고 구석에 서 있는 모습을 상상한다면, AI는 실제 카메라는 없었더라도 잔디의 질감과 선수들을 포함하여 그 구석이 어떻게 보일지를 정확하게 "그려내야" 합니다.
결과: 65개 팀이 참가했습니다. 우승팀인 DENSER는 표준 AI가 어려움을 겪는 저각도 촬영(지면에 가까운 카메라 등) 문제를 해결했습니다. 그들은 AI가 경기장의 3D 형태를 더 잘 이해할 수 있도록 "깊이 가이드(depth guide)"를 사용하여 베이스라인보다 훨씬 더 선명한 이미지를 만들어냈습니다.

4. GPS 트래커 (Spiideo SoccerNet Synloc)

도전 과제: AI는 고정된 카메라(보안 카메라와 같은)로 촬영된 경기장 절반의 고해상도 사진을 보고, 모든 선수의 골반 위치를 실제 세계의 좌표로 정확히 짚어내야 합니다.
비유: 드론으로 도시 지도를 내려다보고 있다고 상상해 보세요. 자동차를 나타내는 아주 작은 점들이 보입니다. AI는 "저 점은 5번가와 42번가에 있다"라고 정확히 말해야 합니다. 점이 매우 작고 멀리 떨어져 있더라도 말이죠.
결과: 88개 팀이 참여했습니다. 우승팀인 SELab은 "스마트 타일링(smart tiling)" 방법을 사용했습니다. 경기장 전체를 한꺼번에 보려고 하는 대신, 특정 영역을 확대하여 선수를 찾은 다음, 기하학을 사용하여 그들의 위치를 실제 지면에 매핑했습니다. 그들은 베이스라인을 크게 앞질러 엄청난 정확도를 보여주었습니다.

5. 스포츠 퀴즈 마스터 (시각적 질의응답 - Visual Question Answering)

도전 과제: AI는 비디오나 이미지를 보고 객관식 질문에 답해야 합니다. 질문은 점수, 선수 이름, 또는 복잡한 경기 상황에 관한 것일 수 있습니다.
비유: 이는 퀴즈 쇼와 같습니다. 진행자가 영상을 보여주고 "88분에 골을 넣은 사람은 누구인가요?" 또는 "골키퍼의 유니폼 색깔은 무엇인가요?"라고 묻습니다. AI는 네 가지 선택지 중 정답을 골라야 합니다.
결과: 76개의 제출물이 있었습니다. 우승팀인 vitomeme은 단순히 추측하지 않고 "라우팅 시스템(routing system)"을 사용했습니다. 그들은 질문을 먼저 분석했습니다. 만약 사실에 관한 질문이라면 데이터를 찾아보았고, 영상에 관한 것이라면 영상을 면밀히 관찰했습니다. 그들은 98%의 정확도를 달성했는데, 이는 거의 완벽에 가까운 수치입니다.

큰 그림

총 427개 팀이 전 세계에서 참여하여 1,100개 이상의 엔트리를 제출했습니다.

이 논문은 우승자들을 성공으로 이끈 몇 가지 주요 트렌드를 강조합니다:

고해상도: AI에게 더 선명하고 깨끗한 이미지를 제공하는 것(흐릿한 휴대폰 카메라에서 4K TV로 전환하는 것과 같은 방식)이 작은 세부 사항을 보는 데 도움이 되었습니다.
팀워크: 최고의 시스템들은 단 하나의 모델에 의존하기보다 여러 다른 AI 모델의 예측을 결합했습니다(전문가 위원회가 투표하는 것과 같은 방식).
규칙 활용: 우승자들은 단순히 픽셀만 본 것이 아니라, 카메라의 각도나 선수의 움직임과 같은 축구의 "규칙"을 사용하여 더 똑똑한 추측을 했습니다.

논문은 결론적으로, 이러한 AI 시스템들이 매우 뛰어나지고 있지만, 선수들이 서로 뒤섞여 있거나 동작이 매우 빠르게 일어나는 축구의 가장 복잡한 부분들에서는 여전히 어려움을 겪고 있다고 밝힙니다. 이 챌린지들의 목표는 기술을 계속 밀어붙여서, 궁극적으로 컴퓨터가 인간 팬만큼 축구를 이해할 수 있도록 만드는 것입니다.

기술 요약: SoccerNet 2026 챌린지 결과

1. 문제 정의 및 컨텍스트

SoccerNet 2026 챌린지는 스포츠 비디오 이해 분야의 컴퓨터 비전 연구를 발전시키기 위해 설계된 연례 오픈 벤치마킹 노력의 여섯 번째 버전입니다. 이전 에디션들이 액션 스포팅(action spotting)이나 카메라 캘리브레이션(camera calibration)과 같은 과제에 집중했다면, 2026년 에디션은 축구 중계의 고유한 어려움인 작고 시각적으로 유사한 선수들, 빈번한 가려짐(occlusion), 긴 언트림(untrimmed) 비디오 내의 희소한 이벤트, 그리고 급격한 카메라 시점 변화를 다루는 다섯 가지의 뚜렷한 비전 기반 과제로 범위를 확장했습니다.

다섯 가지 구체적인 챌린지는 다음과 같습니다:

볼 액션 예측 (Ball Action Anticipation, BAA): 이전 30초 관찰 창을 바탕으로, 5초 미래 범위 내에서 공과 관련된 동작의 타이밍과 클래스를 예측합니다.
플레이어 중심 볼 액션 스포팅 (Player-Centric Ball Action Spotting, PCBAS): 공과 관련된 동작을 시간적으로 국지화하고 분류하는 동시에, 팀 소속 및 저지 번호를 통해 각 동작을 특정 선수에게 할당합니다.
새로운 뷰 합성 (Novel View Synthesis, NVS): 다중 뷰 축구 장면에서 보이지 않는 카메라 포즈로부터 사진처럼 실감 나는 이미지를 렌더링합니다.
Spiideo SoccerNet Synloc (SSS): 하나의 캘리브레이션된 정적 카메라 이미지로부터 실제 피치 좌표상의 운동선수를 국지화합니다.
시각적 질의응답 (Visual Question Answering, VQA): 텍스트, 이미지, 비디오 입력을 사용하여 축구 중계에 관한 객관식 질문에 답합니다.

이 이니셔티브는 방법론 간의 재현성과 비교 가능성을 보장하기 위해 공유 데이터, 통일된 평가 프로토콜 및 공개 베이스라인을 제공하는 것을 목표로 합니다.

2. 방법론 및 챌린지 구조

2.1 데이터 및 프로토콜

각 과제는 특정 데이터셋과 평가 지표를 활용했습니다:

BAA: SN-BAA 데이터셋(잉글리시 풋볼 리그)을 사용했습니다. 예측을 위한 평균 정밀도(mAP)를 적응시켜 사용하였으며, 시간적 허용 오차( $\delta \in \{1, 2, 3, 4, 5, \infty\}$ )에 따라 점수를 평균 냈습니다.
PCBAS: 8개의 액션 클래스가 포함된 FOOTPASS 데이터셋을 기반으로 합니다. 평가는 낮은 신뢰도 임계값( $\tau=0.15$ )에서의 매크로 F1-score를 사용하였으며, $\pm 12$ 프레임 이내에서 액션 클래스, 팀, 저지 번호가 정확히 일치해야 합니다.
NVS: 실제 방송 푸티지로부터 Blender를 통해 생성된 합성 데이터셋을 사용하며, 4K 이미지와 COLMAP 카메라 파라미터를 제공합니다. 평가는 SSIM 및 LPIPS와 더불어 순위 산정을 위해 PSNR을 우선시했습니다.
SSS: 피치의 절반을 커버하는 정적 카메라 이미지를 활용했습니다. 주요 지표는 실제 거리 허용 오차( $\tau=1$ m)를 기준으로 탐지 및 국지화 정확도에 가중치를 두는 mAP-LocSim이었습니다.
VQA: 14개 카테로리(텍스트, 이미지, 비디오)를 다루는 SoccerAgent 및 SoccerBench를 기반으로 합니다. 평가는 500개 질문의 챌린지 분할에 대한 정답 정확도를 엄격하게 적용했습니다.

.2 주요 방법론적 접근 방식

각 과제의 우승 제출물들은 몇 가지 반복되는 기술적 테마를 보여주었습니다:

예측 (BAA): 우승 모델인 FAANTRA-WS는 고해상도 시간 모델링(448p 프레임)과 2단계 웜 스타트(warm-start) 학습 레시피를 사용하여 공식 베이스라인을 개선했습니다. 핵심 혁신은 서로 다른 RegNetY 체크포인트의 비대칭 로짓 앙상블과 희귀 클래스를 처리하기 위한 클래스 가중치 손실(class-weighted losses)을 포함했습니다. 다른 팀들은 입력 해상도를 높이고 전술적 맥락을 추출하기 위해 시각-언어 모델(VLM)을 사용하여 성능을 개선했습니다.
스포팅 (PCBAS): 우승 모델인 PAVE는 Track-Aware Action Detection (TAAD) 및 Denoising Sequence Transduction (DST) 프레임워크를 강화했습니다. 이는 개별 플레이어 대상 어텐션 메커니즘과 네 가지 변형 모델의 투표 앙상블을 도입했습니다. 결정적으로, "태클(Tackle)"과 같은 희귀 클래스에 대한 재현율을 유지하면서 거짓 양성(false positives)을 억제하기 위해 합의 필터링(agreement filtering)을 채택했습니다.
새로운 뷰 합성 (NVS): 우승 모델인 DENSER는 지면 높이의 방송 뷰가 학습 데이터에서 과소 표현되는 중요한 분포 불일치 문제를 해결했습니다. 이는 EFA-GS(alias-free Gaussian splatting 방법)를 카메라 높이 기반 손실 가중치(지면 뷰에 대해 최대 5배 가중치), 스케일 및 시프트 불변 깊이 감독, 그리고 3개 모델 픽셀 평균 앙상블로 확장한 것입니다.
Synloc (SSS): 우와 모델인 Boundary-Aware Adaptive Tiling은 탑다운(top-down) 프레임워크를 활용했습니다. 이 모델은 완전한 객체 포함을 보장하기 위해 거친 탐지를 기반으로 고정 그리드 크롭(crop)을 동적으로 확장했습니다. 또한 RTMPose-X를 적응시켜 골반과 그 지면 투영만을 예측하도록 했으며, 두 개의 키포인트 추정기를 통해 물리적 결합을 강제하고, 결정론적 레이 캐스팅(ray casting)을 사용하여 2D 투영을 미터법 세계 좌표로 리프팅했습니다.
VQA: 우승 모델인 Frontier VLMs는 작업 라우팅 엘리시테이션(task-routed elicitation) 시스템을 채택했습니다. 단일 프롬프트 대신, 파이프라인은 질문을 지식 그라운딩, 시각적 프롬프팅, 추론 분해, 시간적 이해라는 네 가지 패러다임으로 라우팅했습니다. 또한 구조화된 메타데이터(SoccerAgent/SoccerWiki)와 시각적 프롬프트(번호가 매겨진 플레이어 박스)를 활용하여 Gemini-3.1-Pro 추론 엔진을 가이드했습니다.

3. 주요 결과

참여 규모는 상당했으며, 427개 팀이 다섯 가지 과제에 걸쳐 1,129개의 엔트리를 제출했습니다. 검토된 기술 보고서를 제출한 팀만이 최종 리더보드에 포함되었습니다.

볼 액션 예측: 상위 팀(FAANTRA-WS)은 mAPavg 24.08을 달성하여 베이스라인보다 7.32포인트 높은 성적을 거두었습니다.
플레이어 중심 볼 액션 스포팅: 상위 팀(FSITAHAKOMPCBAS-1)은 Macro F1@0.15에서 58.94를 달 achievement 하여 베이스라인 대비 12.5포인트 향상된 결과를 냈습니다. "태클(Tackle)" 클래스는 가려짐과 희소성으로 인해 가장 어려운 카테고리로 남았습니다.
새로운 뷰 합성: 상위 팀(Sarthi-GameChanger)은 PSNR 29.89를 달성하여 3DGS 베이스라인보다 3.15 dB를 개선했습니다. 그러나 최적의 방법론이 Triangle Splatting 베이스라인보다 LPIPS를 개선하지 못했다는 점은 PSNR과 지각적 품질 사이의 트레이드오프를 보여줍니다.
Spiideo SoccerNet Synloc: 상위 팀(SELabSoccerSSS-1)은 mAP-LocSim 97.67과 프레임 정확도 81.91%를 달성하여 베이스라인(77.30 mAP-LocSim)을 크게 앞질렀습니다.
시각적 질의응답: 상위 팀(vitomeme)은 500개 질문 분할에 대해 98.0%의 정확도를 달성했으며, 이는 무작위 베이스라인인 25.0%와 대조됩니다.

4. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

문서화: 다섯 가지 2026년 과제의 정의, 데이터셋 및 평가 점수에 대한 단일 참조를 제공합니다.
벤치마킹: 홀드아웃 분할(held-out splits)에 대한 챌린지 리더보드를 제시하고, 성능을 견인한 구체적인 설계 선택(예: 앙상블, 해상도 스케일링, 작업 라우팅)을 식별하며 상위 제출물의 원래 기여를 요약합니다.
최첨단(SOTA) 분석: 반복되는 방법론적 테마를 종합하여, 발전이 풍부한 컨텍스트 표현, 모델 앙상블, 그리고 도메인 구조(예: 카메라 기하학, 전술적 특징)의 명시적 사용에 의해 주도되고 있음을 밝힙니다.

저자들은 이 챌린지들이 비재현적 평가의 위험을 성공적으로 줄였으며, 대규모 자체 데이터셋이 없는 팀들의 진입 장벽을 낮추었다고 강조합니다. 결과는 상당한 진전이 이루어졌음에도 불구하고, 가려짐, 희귀 액션 클래스 처리, 그리고 미세한 인지 능력과 멀티모달 추론의 통합 측면에서 여전히 과제가 남아 있음을 나타냅니다. 본 논문은 스포츠 비디오 이해을 지원하기 위해 오픈 데이터셋과 표준화된 프로토콜을 유지하려는 SoccerNet 이니셔티브의 약속을 재확인하며 결론을 맺습니다.