ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts

Questo paper presenta l'ExposureEngine, un sistema end-to-end che utilizza bounding box orientati e un'interfaccia basata su agenti linguistici per fornire un'analisi precisa, scalabile e automatizzata della visibilità degli sponsor nelle trasmissioni sportive, superando i limiti dei metodi tradizionali basati su box allineati agli assi.

L'essenziale

Immagina di essere un allenatore di calcio che guarda una partita in TV. Ogni volta che la telecamera inquadra un giocatore, sullo sfondo o sulla maglia, vedi dei loghi di aziende (come Nike, Adidas o una banca). Queste aziende pagano milioni per essere visibili.

Il problema è: quanto sono state visibili davvero?

Fino a poco tempo fa, contare queste apparizioni era come cercare di misurare l'area di un'isola irregolare usando solo un righello dritto. Era lento, fatto a mano da persone che guardavano ore di video, e spesso sbagliava. Se un logo era storto perché il giocatore era in corsa o la telecamera era inclinata, i vecchi sistemi disegnavano un "rettangolo dritto" (come una cornice di quadro) intorno ad esso. Questo rettangolo includeva anche un sacco di erba, cielo o altri giocatori che non c'entravano nulla, gonfiando artificialmente il valore della pubblicità.

Ecco cosa ha creato il team di ricerca con il loro "ExposureEngine":

1. Il "Righello Magico" che ruota (OBB)

Invece di usare quel vecchio rettangolo dritto, il nuovo sistema usa un rettangolo intelligente che ruota.
Immagina di dover incorniciare un quadro appeso storto al muro. Il vecchio sistema metteva una cornice quadrata enorme che copriva anche il muro intorno. Il nuovo sistema, invece, prende un foglio di carta, lo piega e lo adatta perfettamente ai bordi del quadro, anche se è storto.
Questo permette di calcolare esattamente quanto spazio il logo occupa sullo schermo, senza contare l'erba o il cielo. È come passare da una stima approssimativa a una misurazione chirurgica.

2. La "Biblioteca dei Loghi" (Il Dataset)

Per insegnare al computer a fare questo, hanno creato una nuova "biblioteca" di immagini. Hanno preso 1.103 momenti di partite di calcio svedesi e hanno disegnato manualmente questi "rettangoli ruotati" per 670 loghi diversi. È come se avessero addestrato un cane da caccia mostrandogli migliaia di foto di loghi in tutte le posizioni possibili: stesi, inclinati, coperti parzialmente, piccoli o grandi.

3. Il "Cervello" che vede tutto (Il Modello AI)

Hanno usato un'intelligenza artificiale (basata su una tecnologia chiamata YOLOv11) addestrata su questa biblioteca. Questa AI è velocissima: riesce a guardare un video in tempo reale e a dire: "Ehi, c'è il logo della banca qui, ed è inclinato di 30 gradi!".
Il risultato è impressionante: il sistema è corretto nel 96% dei casi e riesce a trovare il 87% di tutti i loghi presenti.

4. Il "Segretario Parlante" (L'Agente Linguistico)

Questa è la parte più magica. Una volta che il sistema ha contato tutto, non devi guardare grafici complicati. Puoi parlare con il computer come se fosse un assistente umano.
Puoi chiedergli: "Qual è stato il logo più visibile nella seconda metà di gioco?" oppure "Fammi un riassunto di quanto tempo è apparso Adidas".
Il sistema legge i dati, li elabora e ti risponde in linguaggio naturale, creando anche brevi video o report pronti per essere condivisi sui social media. È come avere un analista di marketing che lavora 24 ore su 24 e ti risponde al volo.

Perché è importante?

Prima, le aziende pagavano per la pubblicità basandosi su stime spesso sbagliate. Con questo sistema:

• È più preciso: Non si paga per l'erba che appare nel rettangolo, ma solo per il logo.
• È veloce: Non servono mesi di lavoro manuale.
• È equo: Le piccole aziende che appaiono poco ma in momenti chiave vengono misurate correttamente, senza essere sommerse dal "rumore" di sfondo.

In sintesi, ExposureEngine è come passare da un contatore di persone fatto a occhio in una folla, a un sistema di riconoscimento facciale che conta esattamente chi c'è, quanto tempo è rimasto lì e da che angolazione è stato visto. Tutto questo trasforma la pubblicità sportiva da un'arte oscura in una scienza precisa.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts", tradotto e adattato in italiano.

Titolo: ExposureEngine: Rilevamento di Loghi Orientati e Analisi della Visibilità degli Sponsor nelle Trasmissioni Sportive

1. Il Problema

La misurazione della visibilità degli sponsor è un compito critico nel marketing sportivo, fondamentale per giustificare le tariffe pubblicitarie e quantificare il ritorno sull'investimento (ROI). Tuttavia, l'analisi tradizionale è manuale, soggettiva e non scalabile.
Le soluzioni automatizzate esistenti si basano su modelli di rilevamento oggetti che utilizzano Bounding Box Orizzontali (HBB) allineate agli assi. Questo approccio presenta limiti significativi nelle trasmissioni sportive:

• Imprecisione Geometrica: I loghi appaiono spesso ruotati o distorti a causa di angolazioni dinamiche della telecamera, pieghe delle maglie o distorsioni prospettiche.
• Sovrastima dell'Esposizione: Le HBB, non adattandosi alla rotazione, includono grandi aree di sfondo non pertinenti, portando a una sovrastima della dimensione del logo e a metriche di visibilità inaccurate.
• Mancanza di Dati: Non esistono dataset pubblici per le trasmissioni calcistiche che forniscano annotazioni di loghi con bounding box orientate (OBB), rendendo difficile l'addestramento di modelli specifici per questo dominio.

2. Metodologia

Gli autori propongono ExposureEngine, un sistema end-to-end progettato per l'analisi della visibilità degli sponsor con consapevolezza della rotazione. L'architettura si compone di quattro fasi principali:

• A. Dataset Personalizzato:

  • È stato creato un nuovo dataset basato su 97 clip di highlights della stagione 2024 della lega di calcio svedese di élite.
  • Il dataset contiene 1.103 frame annotati manualmente con Oriented Bounding Boxes (OBB).
  • Include 670 classi uniche di loghi di sponsor, con una distribuzione a "coda lunga" (alcuni sponsor molto frequenti, altri rari).
  • Le annotazioni catturano geometria e rotazione, convertite nel formato YOLO OBB.

• B. Modello di Rilevamento (Detection):

  • È stato implementato un modello basato su YOLOv11 (specificamente la variante Medium) addestrato per prevedere OBB invece di HBB.
  • Funzione di Perdita (Loss Function): Per gestire lo squilibrio delle classi e la natura densa del rilevamento, è stata adottata la Varifocal Loss (VFL) al posto della standard Binary Cross Entropy. La VFL pesa i positivi in base alla qualità della localizzazione e riduce l'impatto dei negativi facili, migliorando la calibrazione per le classi rare.
  • Il modello è stato addestrato con risoluzione di input 1280x720 e ottimizzato con AdamW.

• C. Pipeline di Analisi e Agente Linguistico:

  • I rilevamenti grezzi vengono elaborati per calcolare metriche precise come durata dell'esposizione, copertura media e massima sullo schermo.
  • È stata integrata una stratificazione basata su Agenti (LangGraph) e un Large Language Model (LLM). Questo permette agli utenti di interrogare il sistema in linguaggio naturale (es. "Qual è stato lo sponsor più visibile nel secondo tempo?") per generare report, riassunti e contenuti multimediali.

• D. Visualizzazione:

  • Un dashboard sincronizzato mostra i rilevamenti OBB in tempo reale, le statistiche di copertura e permette l'interazione con i dati tramite query testuali.

3. Contributi Chiave

Il lavoro presenta quattro contributi principali:

1. Modello di Rilevamento OBB: Un modello basato su YOLOv11 ottimizzato per la rilevazione di loghi ruotati in contesti sportivi.
2. Dataset Pubblico: Il primo dataset pubblico di loghi di sponsor in trasmissioni calcistiche con annotazioni OBB, disponibile per la ricerca e il benchmarking.
3. Dashboard Analitica: Un sistema completo per la visualizzazione e l'analisi delle metriche di visibilità degli sponsor.
4. Sistema Multi-Agente: Un'architettura basata su LangGraph che traduce query in linguaggio naturale in azioni concrete (analisi, creazione di highlight, condivisione sui social).

4. Risultati ed Evaluazione

• Prestazioni del Modello: La configurazione YOLOv11-Medium ha ottenuto le migliori prestazioni con un mAP@0.5 di 0.859, una precisione del 0.96 e un richiamo (recall) del 0.87.
• Confronto OBB vs HBB:
  • In termini di pura accuratezza di rilevamento (mAP), le differenze tra modelli OBB e HBB sono minime (<1%).
  • Tuttavia, il vantaggio cruciale dell'OBB risiede nella precisione geometrica. L'analisi del "Tightness Ratio" (TR) mostra che le HBB includono fino al 60% di sfondo inutile per loghi ruotati, mentre le OBB si adattano perfettamente alla geometria dell'oggetto. Questo è fondamentale per calcoli accurati dell'area esposta.
• Allineamento con Ground Truth: Oltre il 96,8% delle previsioni supera una soglia IoU di 0.5, e il 63,4% raggiunge un allineamento molto stretto (IoU > 0.9).
• Prestazioni di Inference: Con accelerazione GPU, il sistema raggiunge 19,98 FPS, rendendolo adatto per dashboard quasi in tempo reale e generazione automatica di highlight.

5. Significato e Impatto

ExposureEngine rappresenta un passo avanti significativo nell'analisi sportiva automatizzata:

• Accuratezza Metrica: Passando dalle HBB alle OBB, il sistema elimina il "rumore" di sfondo, fornendo metriche di visibilità (durata, area) che riflettono realmente ciò che lo spettatore vede, aumentando l'affidabilità dei dati per le decisioni di business.
• Accessibilità: L'integrazione con agenti LLM democratizza l'accesso ai dati complessi, permettendo a stakeholder non tecnici di estrarre insight tramite linguaggio naturale.
• Scalabilità e Riproducibilità: La disponibilità pubblica del dataset e del codice favorisce la ricerca futura nel campo della visione artificiale applicata allo sport e alla misurazione della visibilità.
• Futuro: Il sistema pone le basi per valutazioni di valore più sofisticate, che potrebbero pesare l'esposizione in base al contesto dell'evento (es. gol vs gioco normale) e al formato di distribuzione (es. verticale per i social media).

In sintesi, ExposureEngine risolve il problema della distorsione geometrica nelle trasmissioni sportive, offrendo una soluzione scalabile, precisa e interattiva per la misurazione del valore degli sponsor.