💻 computer science

TreeSoc: Tree-Structured Dynamic Reasoning and Tool Synergy for Soccer Video Understanding

TreeSoc은 질문 답변을 동적 깊이 우선 탐색 및 적응형 도구 통합을 사용하는 계층적 탐색 문제로 재구성함으로써 축구 비디오 이해를 향상시키는 새로운 프레임워크로, SoccerBench에서 최첨단 성능을 달성하고 강력한 교차 도메인 일반화 능력을 입증했습니다.

원저자: Thanh-Nhan Vo, Thanh-Khoi Nguyen, Trong-Thuan Nguyen, Trung-Hoang Le, Minh-Triet Tran

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thanh-Nhan Vo, Thanh-Khoi Nguyen, Trong-Thuan Nguyen, Trung-Hoang Le, Minh-Triet Tran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

단 한 장의 스냅샷만 보고 긴박하고 역동적인 축구 경기를 이해하려고 노력한다고 상상해 보십시오. 점수는 짐작할 수 있겠지만, 왜 선수가 경고를 받았는지, 그 특정 공격수가 누구인지, 혹은 골로 이어진 정교한 플레이가 무엇이었는지는 놓치기 쉬울 것입니다. 오랫동안 컴퓨터 비전 모델들은 정확히 이와 같이 동작했습니다. 영상을 보고 단 한 번의 거대한 도약으로 답을 내놓으려 했던 것입니다. 이 논문은 이러한 "원샷(one-shot)" 방식이 마치 퍼즐 조각을 하나도 보지 않은 채 전체 그림을 추측하여 거대한 직소 퍼즐을 풀려는 것과 같다고 주장합니다. 이는 모델이 자신의 작업을 검토하지 못하기 때문에 수정 불가능한 실수를 유발하곤 합니다.

여기에 TreeSoc라는, 축구 영상 질문에 대한 새로운 사고방식이 등장했습니다. 단 한 번의 도약 대신, TreeSoc는 모든 단서를 모으기 전까지는 결코 추측하지 않는 매우 체계적인 탐정처럼 행동합니다.

탐정의 수첩: 질문의 트리(Tree)

논문은 복잡한 축구 영상을 이해하는 가장 좋은 방법은 큰 질문을 작고 관리 가능한 질문들의 "트리(tree)"로 나누는 것이라고 제안합니다. 예를 들어, "왜 심판이 경기를 중단시켰는가?"라고 묻는다고 가정해 봅시다. 일반적인 모델은 단순히 "반칙"이라고 추측할 수 있습니다. 하지만 TreeSoc는 다음과 같은 가지를 뻗어나가는 경로를 구축합니다:

먼저, 공은 어디에 있는가?
다음으로, 누가 공을 터치했는가?
그다음, 심판이 그것을 보았는가?
마지막으로, 그 행동에 대해 규칙 책에는 어떻게 명시되어 있는가?

이 과정은 "깊이 우선 탐색(depth-first search)"을 사용하는데, 이는 탐정이 다음 가지로 넘어가기 전에 하나의 가지를 따라 바닥 끝까지 내려가는 방식이라는 세련된 표현입니다. 만약 탐정이 이야기의 흐름을 바꾸는 단서(예: 선수가 실제로 반칙을 당한 것이 아님을 깨닫는 경우)를 발견하면, 큐(queue)의 특정 단계를 수정, 건너뛰기 또는 재시도함으로써 계획을 업데이트할 수 있습니다. 이 "적응형 재계획(adaptive replanning)"을 통해 시스템은 새로운 증거를 바탕으로 경로를 정교하게 다듬을 수 있지만, 근본적인 트리 구조 자체를 버리지는 않습니다.

도구 상자: 전문가를 호출하다

TreeSoc는 스스로 모든 것에 전문가가 되려고 하지 않습니다. 대신, 각 작업에 어떤 전문가를 불러야 할지 정확히 아는 매니저 역할을 합니다.

플레이어 수를 세어야 합니까? 플레이어 탐지기(YOLO26 등)를 호출합니다.
점수판을 읽어야 합니까? OCR(광학 문자 인식)을 사용합니다.
선수의 이름이나 팀 역사를 알아야 합니까? SoccerWiki와 같은 외부 데이터베이스를 뒤집니다.
특정 반칙을 이해해야 합니까? 반칙 인식 도구를 사용합니다.

논문은 하나의 거대한 "모놀리식(monolithic)" 모델이 혼자서 이 모든 것을 완벽하게 수행할 수 있다는 생각에 명시적으로 반대합니다. 저자들은 단 하나의 거대한 뇌에만 의존하는 것이 "환각(hallucination)"—그럴듯하게 들리지만 사실이 아닌 내용을 만들어내는 현상—을 초래한다는 것을 발견했습니다. 특정 작업에 특정 도구를 사용하도록 강제함으로써, TreeSoc는 사실 관계를 명확히 유지하고자 합니다. 다만, 시스템의 신뢰도는 사용하는 인지 도구의 성능에 달려 있습니다.

스코어보드: 얼마나 잘 해냈는가?

저자들은 이 탐정을 SoccerBench라는 엄격한 축구 챌린지 세트로 테스트했습니다. 결과는 꽤 유망했습니다:

텍text 기반 질문(예: "코치는 누구인가?")에서 **85.2%**의 정답률을 기록했습니다.
이미지 기반 질문(예: "유니폼에 적힌 번호는 무엇인가?")에서는 **87.4%**를 달성했습니다.
영상 기반 질문(예: "지난 10초 동안 무슨 일이 일어났는가?")에서는 **82.2%**를 기록했습니다.

이 수치들은 TreeSoc가 현재 많은 오픈 소스 모델은 물론 일부 값비싼 상용 AI 도구들보다 이러한 작업에 더 뛰어나다는 것을 시사합니다.

하지만 정말 놀라운 부분은 이 탐정이 축구에만 능한 것이 아니라는 점입니다. 저자들이 축구와 전혀 관련이 없는 일상의 영상 데이터셋인 NExT-QA로 TreeSoc를 테스트했을 때, 여전히 **74.16%**의 점수를 기록했습니다. 이는 문제를 트리로 나누고 도구를 사용하는 이 방법론이 축구장 밖에서도 작동하는 강력한 기술임을 시사합니다.

여전히 발목을 잡는 부분들

논문은 탐정이 실패하는 지점에 대해서도 솔직합니다. 때때로 TreeSoc는 화려하지만 중요하지 않은 동작(예: 골키퍼의 선방)에 정신이 팔려 주요 사건(예: 선수 교체)을 놓치기도 합니다. 결정적으로, 시스템이 항상 자신의 실수를 "포착"하는 것은 아닙니다. 만약 첫 번째로 수집한 단서가 잘못되었다면(예: 선수를 오인식한 경우), 그 오류는 나머지 트리 전체로 전파되어 잘못된 최종 답변으로 이어질 수 있습니다. 저자들은 시스템이 사용하는 도구의 수준이 곧 시스템의 수준이라고 언급했습니다. 만약 플레이어 탐지기가 혼란을 겪는다면, 전체 추론 사슬이 흔들릴 수 있습니다.

요약하자면, TreeSoc는 복잡한 영상을 이해하는 것이 더 큰 뇌를 갖는 것이 아니라, 더 나은 전략을 갖는 것이라고 제안합니다. 즉, 작은 질문을 던지고, 적절한 도구를 사용하며, 증거가 바뀔 때 계획을 기꺼이 수정하는 것입니다. 이는 "답을 맞히는 것"에서 "미스터리를 해결하는 것"으로의 전환이지만, 그 해결책이 항상 완벽한 것은 아닙니다.

기술 요약: TreeSoc

문제 정의

비디오로부터 복잡한 축구 시나리오를 자동으로 이해하는 것은 현대 시각-언어 모델(VLM)에게 여전히 중요한 과제로 남아 있습니다. 현재의 모델들은 얕은 교차 모달 정렬(cross-modal alignment)과 다단계 추론 및 협업 도구 통합의 근본적인 한계로 인해 어려움을 겪는 경우가 많습니다. 축구 도메인에서 고차원적인 시각적 질의응답(VQA)은 전술적 빌드업, 선수 간 상호작용, 심판 판정의 인과적 요인과 같은 복잡한 시공간적 이벤트에 대한 추론을 요구합니다. 기존 방식들은 일반적으로 단일 패스 추론(single-pass inference)과 암시적인 시각-텍스트 정렬에 의존하며, 이는 명시적인 추론 궤적을 구축하거나 전문화된 인지 도구를 조정하거나 중간 결정을 수정하는 능력을 제한합니다. 결과적으로, 관련 증거가 여러 프레임에 분산되어 있거나 외부 지식에 의존해야 하는 경우, 초기 시각적 오해석이 최종 답변으로 직접 전파될 수 있습니다.

방법론: TreeSoc 프레임워크

저자들은 축구 비디오 질의응답을 단일 패스 예측이 아닌 계층적 탐색 문제로 재정의하는 구조적 추론 프레임워크인 TreeSoc을 제안합니다. 이 시스템은 멀티모달 거대 언어 모델(MLLM)을 중앙 코디네이터로 사용하여, 동적인 추론 트리 내에서 복잡한 질의를 관리 가능한 하위 작업들로 재귀적으로 분해합니다.

핵심 메커니즘

동적 깊이 우선 탐색 (DFS): TreeSoc은 DFS 에이전트를 사용하여 계층적 추론 트리를 순회합니다. 고정된 파이프라인 대신, 시스템은 노드가 하위 질의를 나타내고 엣지가 의존성을 나타내는 질의 특화형 트리를 점진적으로 구축합니다. 탐색은 최대 깊이( $D_{max}$ )와 브랜칭 너비( $W_{max}$ )에 의해 제한됩니다.
재귀적 분해 및 계획: 각 노드에서 코디네이터는 질의가 직접 답변될 수 있는지, 아니면 순서가 있는 하위 작업 큐( $Q_n$ )로 분해되어야 하는지를 결정합니다. 이 순서는 의존성(예: 선수를 식별하기 전에 동작을 로컬라이즈하는 것)을 포착합니다.
적응형 도구 라우팅: 원자적(atomic) 하위 작업을 위해, 시스템은 요청을 전문 도메인 전문가 모듈이나 외부 데이터베이스로 동적으로 라우팅합니다.
- 인지 도구: 객체 탐지를 위한 YOLO26, 선수 재식별을 위한 PRTReID, 얼굴 인식 모듈, 그리고 동작 분류를 위한 UniSoccer을 포함합니다.
- 검색 소스: 사실적 데이터(라인업, 선수 이력, 경기 통계)를 위해 SoccerWiki 및 SoccerReplay1988와 같은 외부 지식 베이스를 쿼리합니다.
자기 수정 피드백 루프: 핵심 구성 요소는 "성찰(Reflection)" 단계입니다. 하위 작업을 실행한 후, 시스템은 누적된 증거( $S_t$ )에 대해 중간 결과( $r_{n,i}$ )를 평가합니다. 이 성찰을 바탕으로, 실행 큐는 특정 하위 작업을 유지(Keep), 수정(Modify), 삽입(Insert), 건너뛰기(Skip), 재시도(Retry) 또는 중단(Stop) 하도록 업데이트됩니다. 이를 통해 시스템은 중간 상태를 검증함으로써 최종 답변을 집계하기 전에 동적으로 계획을 재수립하여 오류 전파를 완화할 수 있습니다.
증거 축적: 시스템은 해결된 각 하위 작업과 함께 성장하는 컨텍스트 상태 $S_t$ 를 유지합니다. 이후의 작업들은 초기 분해 과정에서의 가설에 의존하는 대신, 구체적인 출력값(예: 인식된 선수 신원, 로컬라이즈된 타임스탬프)을 활용합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

트리 구조 추론 정식화: 복잡한 질문을 계층적 하위 작업으로 명시적으로 분해하여, 단일 패스 엔드투엔드 예측에서 벗어난 새로운 축구 VQA 접근법을 제시했습니다.
LLM 기반 코디네이션: 다양한 분석 기술의 통합을 가능하게 하기 위해, 하위 작업을 전문 인지 도구 및 외부 지식 소스로 동적으로 라우팅하는 메커니즘을 구현했습니다.
적응형 재계획: DFS 기반 실행을 도입하여, 시스템이 중간 결과에 따라 추론 경로를 수정할 수 있게 함으로써 오류 전파의 영향을 줄였습니다.
실증적 검증: 도메인 특화(SoccerBench) 및 일반 비디오 QA(NExT-QA) 벤치마크 모두에서 프레임워크의 효과를 입증했습니다.

실험 결과

저자들은 SoccerBench 테스트 세트와 NExT-QA 데이터셋에서 TreeSoc을 평가했습니다.

SoccerBench 성능: TreeSoc은 모든 모달리티에서 최첨단(SOTA) 결과를 달성했습니다:
- TextQA: 85.2%
- ImageQA: 87.4%
- VideoQA: 82.2%
  특히, GPT-4o, Claude 3.7 Sonnet과 같은 상용 API 및 Qwen2.5-VL 72B, LLaVA-Video와 같은 오픈 소스 모델을 능가했습니다. 해설 생성(Q11)에서 100%, 유니폼 번호 인식(Q5)에서 100%를 달성하며 이전의 에이전트 기반 베이스라인인 SoccerAgent를 크게 앞질렀습니다.
교차 도메인 일반화: 인-더-와일드(in-the-wild) 비디오인 NExT-QA 데이터셋에서 TreeSoc은 **74.16%**의 정확도를 기록하며, SeViLA(73.80%) 및 TS-LLaVA를 포함한 강력한 베이스라인들을 능가했습니다.
세밀한 분석: NExT-QA에 대한 절제 연구(Ablation studies) 결과, 인과 관계 추론("How" 작업에서 75.64%)과 기술적 추론("Location" 작업에서 90.87%)에서 강한 성능을 보였으며, 이는 트리 구조 접근 방식이 인과 조건을 효과적으로 격리하고 논리적 환각을 방지함을 시사합니다.

의의 및 주장

본 논문은 구조화되고 도구로 보강된 트리 추론이 견고한 비디오 이해를 위한 효과적인 패러다임이라고 주장합니다. VQA를 상태 공간 탐색(state-space search)으로 재정의함으로써, TreeSoc은 복잡한 다단계 축구 시나리오를 처리하는 데 있어 단일 패스 VLM의 한계를 해결합니다. 저자들은 도구를 적응적으로 라우팅하고 중간 증거를 바탕으로 계획을 재수립하는 능력이 시스템으로 하여금 도메인 특화 개념 및 외부 지식에 예측을 접지(grounding)하게 하여, 시공간적 노이즈를 줄일 수 있다고 주장합니다.

결과가 강력함에도 불구하고, 논문은 한계점에 대해 겸허한 어조를 유지합니다. TreeSoc의 성능이 기초가 되는 인지 도구 및 검색 모듈의 신뢰성에 의존한다는 점을 인정합니다. 또한, 트리 탐색 과정은 단일 패스 VLM 추론에 비해 추가적인 계산 오버헤드를 발생시킵니다. 저자들은 향-후 연구가 더 효율적인 탐색 전략, 불확실성을 고려한 재계획, 그리고 축구 도메인을 넘어선 일반적인 비디오 이해로의 폭넓은 적응에 집중해야 한다고 결론짓습니다.