ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts

Dit paper introduceert ExposureEngine, een geautomatiseerd systeem dat gebruikmaakt van geroteerde binnenvlakken en een taalgestuurde agent voor nauwkeurige, schaalbare analyse van sponsorzichtbaarheid in sportuitzendingen, zoals geïllustreerd aan de hand van een dataset van Zweedse topvoetbalwedstrijden.

De kern

Stel je voor dat je een voetbalwedstrijd bekijkt op tv. Overal in het beeld zie je logo's: op de shirts van de spelers, op de reclameborden langs het veld en soms zelfs op de ballen. Voor bedrijven die deze logo's betalen, is het cruciaal om te weten: Hoe vaak en hoe goed was mijn logo te zien?

Vroeger deden mensen dit werk met de hand. Ze keken uren naar video's en schreven op: "Adidas was 5 seconden zichtbaar." Dit is traag, duur en vaak onnauwkeurig.

Deze paper introduceert ExposureEngine, een slimme computer die dit werk voor je doet. Hier is hoe het werkt, uitgelegd met een paar simpele vergelijkingen:

1. Het Probleem: De "Kast" die te groot is

Stel je voor dat je een gebogen, gedraaide banaan in een kartonnen doos wilt verpakken.

• De oude methode (HBB): De computer maakt een vierkante doos om de banaan heen. Omdat de banaan schuin ligt, zitten er veel lege ruimtes in de doos die eigenlijk geen banaan zijn. De computer denkt dan: "Oh, deze doos is groot, dus de banaan is groot." Dat is niet waar!
• De nieuwe methode (OBB - ExposureEngine): De computer maakt een doos die precies om de vorm van de banaan heen past, zelfs als hij schuin ligt. Geen lege ruimte, geen extra ruimte.

In de wereld van voetbal betekent dit: als een speler rent en zijn shirt kreukt, of als de camera schuin staat, draait het logo. De oude systemen zagen daar vaak de achtergrond (het gras of de lucht) bij als onderdeel van het logo. ExposureEngine ziet precies waar het logo begint en eindigt, zelfs als het schuin staat.

2. De Databank: Een Speciale Verzameling

Om deze slimme computer te leren, hebben de onderzoekers een speciale "school" gebouwd. Ze namen 1.103 beelden van Zweedse topvoetbalwedstrijden.

• Ze hebben 670 verschillende logo's (van Adidas tot lokale banken) handmatig gemerkt.
• Ze hebben niet alleen gezegd "hier is een logo", maar ook "hier is een logo, en het staat 30 graden gedraaid".
• Dit is als het geven van een speciale training aan een hond, waarbij je niet alleen leert "dat is een bal", maar ook "dat is een bal die rolt en draait".

3. De Slimme Agent: De "Personeelsleider"

Het systeem is niet alleen een camera; het heeft ook een spraakgestuurde assistent (een AI-agent).

• Vroeger: Je moest zelf door duizenden tabellen graven om te zien welk merk het meest zichtbaar was.
• Nu: Je kunt tegen de computer zeggen: "Laat me zien welke reclames het langst te zien waren tijdens de eerste helft, en maak een kort filmpje voor Instagram."
  De computer doet dit automatisch. Het is alsof je een persoonlijke assistent hebt die niet alleen kijkt, maar ook rapporten schrijft en video's snijdt op basis van wat je vraagt.

4. Wat levert het op?

Dit systeem is als een super-precieze meetlat voor reclame:

• Nauwkeurigheid: Het meet exact hoeveel ruimte een logo inneemt, zonder de achtergrond mee te rekenen.
• Snelheid: Het kan een heel wedstrijd in enkele minuten analyseren (op een snelle computer).
• Betrouwbaarheid: Bedrijven kunnen nu precies zien waar hun geld naartoe gaat. Geen giswerk meer.

Kortom:
ExposureEngine is de oplossing voor het probleem dat reclameborden op tv vaak scheef staan. In plaats van een ruwe, vierkante schatting te maken, past het systeem zich aan de vorm en hoek van het logo aan. Het combineert slimme beeldherkenning met een gesprekspartner, zodat bedrijven niet alleen weten dat hun logo te zien was, maar precies hoe goed en waar het te zien was.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts", vertaald en samengevat in het Nederlands.

Probleemstelling

Het kwantificeren van de zichtbaarheid van sponsors in sportuitzendingen is een cruciale marketingtaak. Traditioneel wordt dit handmatig gedaan, wat tijdrovend, subjectief en niet schaalbaar is. Bestaande geautomatiseerde systemen maken vaak gebruik van Horizontal Bounding Boxes (HBB) (as-uitgelijnde rechthoeken). Dit leidt tot onnauwkeurige meetresultaten wanneer logo's gedraaid of vervormd zijn door dynamische camerahoeken, perspectiefvervorming of vouwen in kleding.

• De kern van het probleem: HBB's omvatten vaak onnodige achtergrondpixels rondom een gedraaid logo. Dit resulteert in een overschatting van de logo-grootte en onnauwkeurige metrics voor blootstelling (exposure) en schermprominentie.
• Data-tekort: Er ontbrak tot nu toe een open dataset met Oriented Bounding Box (OBB) annotaties specifiek voor sponsorlogo's in live voetbaluitzendingen.

Methodologie: ExposureEngine

Het paper introduceert ExposureEngine, een end-to-end systeem dat gebruikmaakt van diep leren voor rotatie-bewuste logo-detectie en analytische verwerking.

1. Dataset:

• Er is een nieuwe dataset samengesteld met 1.103 frames uit de Zweedse elite-voetbalcompetitie (2024).
• De dataset bevat 670 unieke sponsorlogo's met variërende cameraomstandigheden, schalen en rotaties.
• Alle annotaties zijn uitgevoerd met OBB's (vier hoekpunten per logo) in plaats van HBB's, wat de geometrische vorm exact volgt. De data is opgesplitst in trainings-, validatie- en testsets (80-10-10).

2. Model Architectuur:

• Het systeem gebruikt een aangepaste YOLOv11-architectuur die is getraind om OBB's te voorspellen.
• Verliesfunctie (Loss Function): Om het probleem van onbalans in klassen (lange staartverdeling van sponsors) en de kwaliteit van de lokalisatie aan te pakken, wordt Varifocal Loss (VFL) gebruikt in plaats van de standaard Binary Cross Entropy. VFL weegt positieve voorbeelden zwaarder op basis van hun lokalisatiekwaliteit (IoU) en onderdrukt makkelijke negatieve voorbeelden.
• Training: Het beste model (YOLOv11-Medium) werd getraind op NVIDIA A100 GPU's met een inputresolutie van 1280x720.

3. Analytische Pijplijn en Agents:

• Data Processing: Detecties worden geaggregeerd over tijd en ruimte om metrics zoals blootstellingsduur en schermdekking te berekenen.
• Agent Layer: Een laag gebaseerd op LangGraph en Large Language Models (LLM) stelt gebruikers in staat om natuurlijke taalqueries te stellen (bijv. "Welk sponsor was het meest zichtbaar in de tweede helft?").
  • Analysis Agent: Genereert inzichten.
  • Highlight Agent: Selecteert videosegmenten.
  • Sharing Agent: Deelt content op sociale media.
  • Coordinator Agent: Orkestreert de workflow.

Belangrijkste Bijdragen

1. OBB Logo Detection Model: Een YOLOv11-gebaseerd model dat specifiek is getraind op rotatie-bewuste detectie van logo's, wat leidt tot een veel nauwkeurigere geometrische fit dan traditionele HBB-methoden.
2. Nieuwe Open Dataset: De eerste publiek beschikbare dataset met OBB-annotaties voor sponsorlogo's in professionele voetbaluitzendingen (670 klassen).
3. Analytics Dashboard: Een interactief dashboard dat gedetailleerde metrics toont, waaronder blootstellingsduur, gemiddelde dekking en detectiefrequentie.
4. Agent-Driven Systeem: Een multi-agent systeem dat complexe, taalgestuurde analyses en het genereren van samenvattingen of video-clips mogelijk maakt.

Resultaten

• Detectieprestaties: Het YOLOv11-Medium model bereikte een mAP@0.5 van 0,859, met een precisie van 0,96 en een recall van 0,87.
• OBB vs. HBB: Hoewel de detectieprecisie (mAP) tussen OBB en HBB modellen vergelijkbaar was (verschil <1%), was de geometrische nauwkeurigheid van OBB aanzienlijk beter.
  • De Tightness Ratio (TR) (de verhouding tussen het oppervlak van de OBB en de omhullende HBB) was veel lager voor OBB's, wat betekent dat er veel minder achtergrondpixels worden meegerekend.
  • Bij sterke rotaties (rond 55°-60°) was de HBB zeer inefficiënt (TR ~0,40), terwijl de OBB nauwkeurig bleef.
• Inference Snelheid: Met GPU-versnelling (NVIDIA T4) bereikte het systeem 19,98 FPS, wat geschikt is voor bijna real-time toepassingen.
• Alignment: Meer dan 96,8% van de voorspellingen had een OBB-IoU > 0,5 met de ground truth, en 63,4% had een zeer strakke match (IoU > 0,9).

Betekenis en Toekomstperspectief

ExposureEngine biedt een schaalbare, objectieve oplossing voor sponsor-analyse die de beperkingen van handmatige en HBB-gebaseerde systemen overwint.

• Nauwkeurigheid: Door rotatie te modelleren, worden metrics zoals "schermdekking" en "blootstellingsduur" veel betrouwbaarder, wat essentieel is voor het bepalen van advertentietarieven.
• Toepasbaarheid: Het systeem is niet alleen een detector, maar een volledig analytisch platform dat via natuurlijke taal interactie mogelijk maakt voor niet-technische stakeholders.
• Toekomst: De auteurs wijzen op de noodzaak van temporale coherentie (tracking) om flickering te voorkomen en suggereren toekomstig werk gericht op het wegen van blootstelling op basis van de context van het evenement (bijv. een goal is waardevoller dan een willekeurige speelsituatie) en de vormfactor (bijv. verticaal voor social media).

Kortom, ExposureEngine zet een nieuwe standaard voor hoe sponsorwaarde in sportuitzendingen wordt gemeten, door over te stappen van ruwe detectie naar geometrisch trouwe, rotatie-bewuste en taalgestuurde analytics.