RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees

1. Il Problema

L'articolo affronta la lacuna esistente nella valutazione delle capacità dei Modelli Linguistici Multimodali (MLLM) nel contesto dell'arbitraggio sportivo automatico. Sebbene i MLLM eccellano nella comprensione generica dei video, la loro capacità di supportare decisioni basate su regole specifiche, complesse e contestuali rimane poco esplorata.
L'arbitraggio sportivo richiede non solo il riconoscimento visivo delle azioni, ma anche:

• Determinare se una violazione è avvenuta.
• Identificare le entità coinvolte.
• Localizzare il momento decisivo (grounding temporale).
• Applicare regole specifiche dello sport e standard di penalità.
• Distinguere tra eventi visivamente simili ma legalmente diversi.

I benchmark esistenti si concentrano principalmente sul rilevamento di azioni, commenti o comprensione generale dello sport, ma mancano di risorse dedicate all'arbitraggio su larga scala e multi-sport.

2. Metodologia: RefereeBench

Per colmare questa lacuna, gli autori introducono RefereeBench, il primo benchmark su larga scala dedicato alla valutazione degli MLLM come arbitri sportivi automatici.

Costruzione del Dataset

• Scalabilità e Diversità: Il dataset copre 11 sport diversi (calcio, basket, pallavolo, tennis, ping pong, badminton, pallamano, hockey su prato, hockey su ghiaccio, polo acquatico e pattinaggio di velocità su pista corta).
• Volume: Include 925 video curati di partite reali e 6.475 coppie di domande e risposte (QA).
• Processo di Annotazione:
  • I video sono stati raccolti da YouTube e piattaforme ufficiali, filtrando i contenuti non pertinenti.
  • L'annotazione è stata effettuata da circa 30 arbitri nazionali certificati, garantendo un'alta qualità e un allineamento con la logica reale dell'arbitraggio.
  • È stato utilizzato un processo a due stadi: prima la creazione di metadati strutturati (esistenza del fallo, tipo, ragionamento, entità, timestamp), poi la generazione di domande a scelta multipla.
• Tipologie di Domande: Il benchmark valuta 5 dimensioni chiave attraverso 7 tipi di domande:
  1. Esistenza del fallo: Rilevare se c'è una violazione.
  2. Classificazione: Identificare il tipo di fallo e la penalità.
  3. Ragionamento: Spiegare le motivazioni della decisione.
  4. Percezione delle entità: Identificare i giocatori coinvolti.
  5. Grounding Temporale: Individuare l'esatto istante o intervallo dell'incidente (un contributo innovativo).
• Controllo di Qualità: Include revisioni incrociate, adjudicazione da parte di arbitri senior e test per garantire che le domande non siano risolvibili solo tramite testo (bias linguistico), richiedendo necessariamente l'analisi video.

3. Risultati Sperimentali

Gli autori hanno valutato un'ampia gamma di modelli MLLM proprietari (chiusi) e open-source.

Performance dei Modelli

• Modelli Chiusi (Closed-Source): I modelli migliori, come Doubao-Seed-1.8, Gemini-3-Pro e Gemini-3-Flash, raggiungono un'accuratezza complessiva di circa il 60-61%.
• Modelli Open-Source: I modelli open-source mostrano prestazioni inferiori. Il migliore, Qwen3-VL, raggiunge solo il 47%, mentre altri come LLaVA-Video scendono vicino al livello di un'ipotesi casuale (~27%).
• Confronto tra Abilità:
  • I modelli sono relativamente bravi nel rilevare l'esistenza di un incidente e nella percezione delle entità (identificare chi è coinvolto).
  • Falliscono significativamente nel ragionamento (applicazione delle regole) e nel grounding temporale.
  • C'è una forte tendenza a sovra-segnalare i falli (over-calling), identificando violazioni in clip normali, specialmente quando le domande sono formulate in modo suggestivo.

Analisi delle Cause

• Importanza dell'Audio: L'aggiunta della traccia audio migliora drasticamente le prestazioni (fino a +16% per alcuni modelli), dimostrando che l'arbitraggio è intrinsecamente un compito multimodale.
• Conoscenza delle Regole: Anche se i modelli possiedono una conoscenza di base delle regole (valutata tramite quiz testuali), non riescono a integrarla correttamente con l'evidenza visiva.
• Bias Suggeritivi: I modelli sono vulnerabili a formulazioni suggestive, portando a errori sistematici nell'interpretazione di contatti fisici legittimi come falli.

4. Contributi Chiave

1. RefereeBench: Il primo benchmark su larga scala e multi-sport per l'arbitraggio automatico, che supera i limiti dei precedenti dataset focalizzati su un singolo sport (principalmente il calcio).
2. Dataset di Alta Qualità: Una collezione curata da esperti umani, con annotazioni multimodali (video, audio, replay) e domande strutturate su 11 sport, coprendo 64 tipi di falli e 34 tipi di penalità.
3. Valutazione Critica: Un'analisi esaustiva che rivela il divario tra la percezione multimodale e il processo decisionale affidabile basato su regole, evidenziando che i modelli attuali non sono ancora pronti per sostituire o assistere in modo affidabile gli arbitri umani.

5. Significato e Implicazioni

Il paper conclude che, nonostante i progressi nei MLLM, nessun modello attuale è pronto per fungere da arbitro sportivo affidabile. Le sfide principali risiedono nella capacità di applicare regole specifiche a contesti visivi complessi e nella robustezza contro i bias.

Il lavoro sottolinea la necessità di futuri sviluppi che:

• Integrino meglio la conoscenza di dominio (regole sportive) con la comprensione multimodale.
• Utilizzino tecniche di ragionamento intermedio (Chain-of-Thought) e supervisione specifica per l'arbitraggio.
• Sfruttino l'audio e le evidenze temporali in modo più efficace.

RefereeBench si propone come uno strumento fondamentale per guidare la ricerca verso assistenti AI affidabili per l'arbitraggio, con applicazioni che vanno dai tornei professionistici (VAR) fino alle partite amatoriali dove manca personale esperto.