💻 computer science

TreeSoc: Tree-Structured Dynamic Reasoning and Tool Synergy for Soccer Video Understanding

TreeSoc is een nieuw framework dat het begrip van voetbalvideo's verbetert door vraagbeantwoording te herformuleren als een hiërarchisch zoekprobleem met behulp van dynamische diepe eerste zoekopdrachten en adaptieve tool-integratie, waarmee het de staat van de kunst bereikt op SoccerBench en een sterke cross-domein generalisatie demonstreert.

Oorspronkelijke auteurs: Thanh-Nhan Vo, Thanh-Khoi Nguyen, Trong-Thuan Nguyen, Trung-Hoang Le, Minh-Triet Tran

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thanh-Nhan Vo, Thanh-Khoi Nguyen, Trong-Thuan Nguyen, Trung-Hoang Le, Minh-Triet Tran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chaotische, snelle voetbalwedstrijd probeert te begrijpen door slechts naar één enkele snapshot te kijken. Je zou de score kunnen raden, maar je zou waarschijnlijk missen waarom een speler een gele kaart kreeg, wie die specische aanvaller is, of de ingewikkelde actie die leidde tot het doelpunt. Lange tijd probeerden computervisie-modellen precies dit te doen: ze keken naar een video en probeerden in één grote, instant sprong een antwoord uit te spugen. Het artikel betoogt dat deze "one-shot" benadering lijkt op het proberen op te lossen van een enorme legpuzzel door de hele afbeelding te raden voordat je naar ook maar één stukje hebt gekeken. Dit leidt vaak tot fouten die niet meer te herstellen zijn omdat het model zijn eigen werk nooit controleert.

Maak kennis met TreeSoc, een nieuwe manier van denken over vragen over voetbalvideo's. In plaats van één grote sprong, werkt TreeSoc als een supergeorganiseerde detective die weigert te gokken voordat hij alle aanwijzingen heeft verzameld.

Het notitieblok van de detective: Een boom van vragen

Het artikel suggereert dat de beste manier om een complexe voetbalvideo te begrijpen, is door de grote vraag af te breken in een "boom" van kleinere, beheersbare vragen. Stel je voor dat je vraagt: "Waarom heeft de scheidsrechter het spel onderbroken?" Een standaardmodel zou misschien gewoon "fout" gokken. TreeSoc bouwt echter een vertakkend pad op:

Eerst, waar is de bal?
Vervolgens, wie raakte hem aan?
Daarna, heeft de scheidsrechter het gezien?
Ten slotte, wat zegt het regelboek over die actie?

Dit proces maakt gebruik van een "depth-first search" (breedte-eerst zoeken), wat een chique manier is om te zeggen dat de detective één tak van de boom helemaal naar beneden volgt voordat hij naar de volgende tak springt. Als de detective een aanwijzing vindt die het verhaal verandert (zoals beseffen dat de speler eigenlijk niet werd overtreden), kan hij zijn plan bijwerken door specifieke stappen in de wachtrij aan te passen, over te slaan of opnieuw te proberen. Deze "adaptieve herplanning" stelt het systeem in staat om zijn pad te verfijnen op basis van nieuw bewijs, hoewel het de onderliggende boomstructuur niet wegwerpt.

De gereedschapskist: De experts oproepen

TreeSoc probeert niet zelf een expert te zijn in alles. In plaats daarvan fungeert het als een manager die precies weet welke specialist hij voor elke klus moet bellen.

Moet er spelers geteld worden? Het roept een spelerdetector aan (zoals YOLO26).
Moet het scorebord gelezen worden? Het gebruikt OCR (optische tekenherkenning).
Moet het weten wie een speler is of de clubgeschiedenis? Het graaft in externe databases zoals SoccerWiki.
Moet een specifieke overtreding begrepen worden? Het gebruikt een foutherkenningsinstrument.

Het artikel voert expliciet argumenten aan tegen het idee dat één enkel, gigantisch "monolithisch" model dit allemaal perfect zelf kan doen. Ze ontdekten dat het vertrouwen op slechts één groot brein vaak leidt tot "hallucinaties"—het verzinnen van feiten die goed klinken maar niet waar zijn. Door het systeem te dwingen specifieke tools te gebruiken voor specifieke taken, streeft TreeSoc ernaar de feiten zuiver te houden, hoewel het systeem slechts zo betrouwbaar is als de perceptietools die het gebruikt.

Het scorebord: Hoe goed ging het?

De auteurs hebben deze detective getest op een reeks strenge voetbaluitdagingen genaamd SoccerBench. De resultaten waren zeer veelbelovend:

Op tekstgebaseerde vragen (zoals "Wie is de coach?"), had het een score van 85,2% correct.
Op beeldgebaseerde vragen (zoals "Welk nummer staat er op het shirt?"), haalde het 87,4%.
Op videobaseerde vragen (zoals "Wat gebeurde er in de laatste 10 seconden?"), scoorde het 82,2%.

Deze cijfers suggereren dat TreeSoc momenteel beter presteert op deze taken dan veel andere open-source modellen en zelfs sommige dure commerciële AI-tools.

Maar hier komt het echt coole deel: het artikel laat zien dat deze detective niet alleen goed is in voetbal. Wanneer ze TreeSoc testten op een compleet andere dataset van alledaagse video's genaamd NExT-QA (die niets met voetbal te maken heeft), scoorde het nog steeds 74,16%. Dit suggereert dat de methode om problemen af te breken in een boom en tools te gebruiken een krachtige truc is die zelfs buiten het voetbalveld werkt.

Waar het nog steeds struikelt

Het artikel is eerlijk over waar de detective faalt. Soms wordt TreeSoc afgeleid door een spectaculaire maar onbelangrijke actie (zoals een keeper die een bal redt) en mist het de hoofdgebeurtenis (zoals een wissel). Cruciaal is dat het systeem niet altijd zijn eigen fouten "vangt"; als de allereerste aanwijzing die het verzamelt fout is (zoals het verkeerd identificeren van een speler), kan die fout zich voortplanten door de rest van de boom, wat leidt tot een foutief eindantwoord. De auteurs merken op dat het systeem slechts zo goed is als de tools die het gebruikt; als de spelerdetector in de war is, kan de hele redeneerketen wankelen.

Kortom, TreeSoc stelt voor dat het begrijpen van complexe video's niet gaat over het hebben van een groter brein, maar over het hebben van een betere strategie: stel kleine vragen, gebruik de juiste tools en wees bereid om je plan aan te passen wanneer het bewijs verandert. Het is een verschuiving van "het antwoord raden" naar "het mysterie oplossen", ook al is de oplossing niet altijd perfect.

Technische Samenvatting: TreeSoc

Probleemstelling

Geautomatiseerd begrip van complexe voetbalscenario's uit video blijft een significante uitdaging voor hedendaagse Vision-Language Models (VLM's). Huidige modellen lijden vaak aan oppervlakkige cross-modale uitlijning en fundamentele beperkingen in meerstapsredenering en gecoördineerde tool-integratie. In het voetbaldomein vereist hoogwaardige Visual Question Answering (VQA) redeneren over complexe spatio-temporele gebeurtenissen, zoals tactische opbouw, interacties tussen spelers en causale factoren achter beslissingen van de scheidsrechter. Bestaande benaderingen vertrouwen doorgaans op single-pass inferentie en impliciete visueel-tekstuele uitlijning, wat hun vermogen beperkt om expliciete redeneertrajecten te construeren, gespecialiseerde perceptietools te coördineren of tussenliggende beslissingen te herzien. Gevolgelijk kunnen vroege visuele misinterpretaties direct doorwerken naar het uiteindelijke antwoord, met name wanneer relevant bewijs verspreid is over meerdere frames of afhankelijk is van externe kennis.

Methodologie: TreeSoc Framework

De auteurs stellen TreeSoc voor, een gestructureerd redeneerframework dat voetbal video question answering herformuleert als een hiërarchisch zoekprobleem in plaats van een single-pass voorspelling. Het systeem gebruikt een Multimodal Large Language Model (MLLM) als centrale coördinator om complexe queries recursief te deconstrueren in beheersbare subtaken binnen een dynamische redeneerboom.

Kernmechanismen

Dynamische Depth-First Search (DFS): TreeSoc maakt gebruik van een DFS-agent om een hiërarchische redeneerboom te doorlopen. In plaats van een vaste pipeline, construeert het systeem een query-specifieke boom waarbij knopen sub-queries vertegenwoordigen en randen afhankelijkheden. De zoektocht wordt begrensd door een maximale diepte ( $D_{max}$ ) en vertakkingsbreedte ( $W_{max}$ ).
Recursieve Decompositie en Planning: Bij elke knoop bepaalt de coördinator of een query direct beantwoord kan worden of moet worden gedeconstrueerd in een geordende subtaakwachtrij ( $Q_n$ ). Deze ordening legt afhankelijkheden vast (bijv. het lokaliseren van een actie voordat een speler wordt geïdentificeerd).
Adaptieve Tool Routing: Voor atomaire subtaken routeert het systeem verzoeken dynamisch naar gespecialiseerde domeinexpert-modules of externe databases.
- Perceptie Tools: Omvat YOLO26 voor objectdetectie, PRTReID voor speler-re-identificatie, gezichtsherkenningsmodules en UniSoccer voor actieclassificatie.
- Retrieval Bronnen: Bevraagt externe kennisbanken zoals SoccerWiki en SoccerReplay1988 voor feitelijke gegevens (opstellingen, spelersgeschiedenis, wedstrijdstatistieken).
Zelfcorrigerende Feedbackloop: Een cruciaal onderdeel is de "Reflection"-stap. Na het uitvoeren van een subtaak evalueert het systeem het tussenresultaat ( $r_{n,i}$ ) tegenover het geaccumuleerde bewijs ( $S_t$ ). Op basis van deze reflectie wordt de executiewachtrij bijgewerkt om specifieke subtaken te Behouden, Modificeren, Invoegen, Overslaan, Opnieuw proberen of Stoppen. Dit stelt het systeem in staat om dynamisch te herplannen, waardoor foutpropagatie wordt gemitigeerd door tussenliggende staten te verifiëren voordat het uiteindelijke antwoord wordt geaggregeerd.
Bewijsaccumulatie: Het systeem onderhoudt een contextuele staat $S_t$ die groeit met elke opgeloste subtaak. Latere operaties maken gebruik van concrete outputs (bijv. herkende identiteiten van spelers, gelokaliseerde tijdstempels) in plaats van te vertrouwen op aannames die tijdens de initiële decompositie zijn gedaan.

Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

Boomgestructureerde Redeneerformulering: Een nieuwe benadering voor voetbal VQA die complexe vragen expliciet deconstrueert in hiërarchische subtaken, waarmee wordt afgestapt van monolithische end-to-end voorspelling.
LLM-gestuurde Coördinatie: Een mechanisme dat subtaken dynamisch routeert naar gespecialiseerde perceptietools en externe kennisbronnen, wat de integratie van diverse analytische vaardigheden mogelijk maakt.
Adaptieve Herplanning: De incorporatie van DFS-gebaseerde executie stelt het systeem in staat om zijn redeneerpad te herzien op basis van tussenresultaten, wat de impact van foutpropagatie vermindert.
Empirische Validatie: Demonstratie van de effectiviteit van het framework op zowel domeinspecifieke (SoccerBench) als algemene video QA (NExT-QA) benchmarks.

Experimentele Resultaten

De auteurs hebben TreeSoc geëvalueerd op de SoccerBench testset en de NExT-QA dataset.

SoccerBench Prestaties: TreeSoc behaalde state-of-the-art resultaten over alle modaliteiten:
- TextQA: 85,2%
- ImageQA: 87,4%
- VideoQA: 82,2%
  Notably, het presteerde superieur aan commerciële API's (bijv. GPT-4o, Claude 3.7 Sonnet) en open-source modellen (bijv. Qwen2.5-VL 72B, LLaVA-Video). Het behaalde een perfecte 100% op commentaargeneratie (Q11) en 100% op rugnummerherkenning (Q5), waarmee het de vorige agentic baseline, SoccerAgent, aanzienlijk overtrof.
Cross-Domain Generalisatie: Op de NExT-QA dataset (in-the-wild video's) behaalde TreeSoc een nauwkeurigheid van 74,16%, waarmee het verschillende sterke baselines zoals SeViLA (73,80%) en TS-LLaVA versloeg.
Gedetailleerde Analyse: Ablatiestudies op NExT-QA toonden sterke prestaties in causale redenering (75,64% op "How"-taken) en descriptieve redenering (90,87% op "Location"-taken), wat suggereert dat de boomgestructureerde aanpak effectief causale condities isoleert en logische hallucinaties voorkomt.

Betekenis en Claims

Het artikel beweert dat gestructureerde, tool-geaugmenteerde boomredenering een effectief paradigma is voor robuust video-begrip. Door VQA te herformuleren als een state-space search, adresseert TreeSoc de beperkingen van single-pass modellen bij het afhandelen van complexe, meerstaps voetbalscenario's. De auteurs stellen dat het vermogen om tools adaptief te routeren en te herplannen op basis van tussenliggend bewijs het systeem in staat stelt om voorspellingen te funderen in domeinspecifieke concepten en externe kennis, waardoor visuele-temporele ruis wordt verminderd.

Hoewel de resultaten sterk zijn, behoudt het artikel een bescheiden toon met betrekking tot beperkingen. Het erkent dat de prestaties van TreeSoc afhankelijk zijn van de betrouwbaarheid van de onderliggende perceptietools en retrieval-modules. Bovendien introduceert het boomzoekproces extra computationele overhead vergeleken met single-pass VLM-inferentie. De auteurs concluderen dat toekomstig werk zich moet richten op efficiëntere zoekstrategieën, onzekerheidsbewuste herplanning en bredere adaptatie naar algemeen video-begrip buiten het voetbaldomein.