ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts

Die Arbeit stellt ExposureEngine vor, ein End-to-End-System zur präzisen, rotationsbewussten Erkennung von Sponsor-Logos in Sportübertragungen mittels orientierter Bounding Boxes, das auf einem neuen Datensatz trainiert wurde und durch eine sprachgesteuerte Agentenschicht automatisierte Sichtbarkeitsanalysen und Berichte ermöglicht.

Das Wesentliche

Stell dir vor, du bist ein Sportmoderator, der gerade ein Fußballspiel überträgt. Neben dem Spielfeld siehst du überall Logos von Sponsoren: auf den Trikots der Spieler, auf den Werbetafeln am Rand und sogar auf dem Rasen.

Für diese Firmen ist es extrem wichtig zu wissen: Wie oft und wie gut wurde ihr Logo gesehen? Das bestimmt, wie viel Geld sie für ihre Werbung bekommen.

Bisher war das Zählen dieser Logos eine echte Nervenprobe. Es mussten Menschen vor den Bildschirmen sitzen und stundenlang zählen: „Aha, da war das Adidas-Logo für 3 Sekunden." Das war langsam, teuer und oft ungenau.

Dann kamen Computer, die das automatisch tun sollten. Aber hier gab es ein großes Problem, das wir uns mit einer Bäckerei-Analogie vorstellen können:

Das Problem: Der „Quadratische Kasten"

Stell dir vor, du hast ein rundes Brötchen (das Logo), das schief auf dem Tisch liegt. Ein alter Computer-Algorithmus versuchte, das Brötchen zu messen, indem er einen perfekten, quadratischen Karton darum legte.

• Das Problem: Der Karton ist viel größer als das Brötchen. Er schließt auch viel von der Tischplatte (dem Hintergrund) mit ein.
• Das Ergebnis: Der Computer denkt, das Brötchen sei riesig und habe viel Platz eingenommen. In Wirklichkeit war es aber nur ein kleines, schiefes Brötchen. Das führt zu falschen Zahlen für die Werbung.

Die Lösung: „ExposureEngine" – Der schlaue Scherenschneider

Die Forscher haben ein neues System namens ExposureEngine entwickelt. Stell dir das nicht wie einen starren Karton vor, sondern wie einen intelligenten Scherenschneider.

1. Der Scherenschneider (OBB-Detektion):
   Wenn das Logo schief liegt (weil der Spieler sich dreht oder die Kamera schräg ist), passt sich der „Scherenschneider" genau der Form an. Er schneidet das Logo so präzise aus, dass kein einziger Pixel des Hintergrunds mitgemessen wird. Egal, ob das Logo auf einem geknickten Trikot sitzt oder von der Seite fotografiert wird – der Computer sieht genau, wo das Logo anfängt und aufhört.

2. Die neue Bibliothek (Der Datensatz):
   Um diesen Scherenschneider zu trainieren, haben die Forscher eine riesige Bibliothek aus 1.103 Bildern von schwedischen Fußballspielen erstellt. Sie haben manuell genau nachgezeichnet, wie die Logos in verschiedenen Winkeln aussehen. Das ist wie ein Lehrbuch für den Computer, damit er lernt: „Aha, so sieht ein Logo aus, wenn es schief ist!"

3. Der persönliche Assistent (Die KI-Agenten):
   Das System ist nicht nur ein Zähler, sondern hat einen persönlichen Assistenten, der mit dir sprechen kann.

   • Statt komplizierte Tabellen zu lesen, kannst du einfach sagen: „Hey, zeig mir alle Clips, in denen das Logo von 'Unibet' während eines Tores zu sehen war, und mach daraus ein Video für Instagram."
   • Der Assistent sucht das Video, schneidet es zu und ist sogar bereit, es zu posten. Er versteht deine Sprache und erledigt die Arbeit für dich.

Warum ist das so wichtig?

• Genauigkeit: Weil der Computer jetzt weiß, wie viel tatsächliche Fläche das Logo einnimmt (nicht nur den leeren Raum um es herum), sind die Zahlen für die Werbefirmen viel fairer.
• Geschwindigkeit: Das System läuft so schnell, dass es fast in Echtzeit arbeiten kann. Es braucht keine Stunden mehr, um ein Spiel auszuwerten.
• Fairness: Kleine Sponsoren, deren Logos oft nur kurz oder schief zu sehen sind, werden jetzt genauso genau erfasst wie die großen Stars.

Zusammengefasst:
Die Forscher haben ein System gebaut, das wie ein super-scharfes Auge funktioniert. Es ignoriert den „Müll" (den Hintergrund) und misst nur das, was wirklich zählt (das Logo), selbst wenn es schief liegt. Dazu kommt ein sprachbegabter Assistent, der die Ergebnisse in einfache, verständliche Berichte verwandelt. So wird aus langweiliger Werbung eine präzise Wissenschaft.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts" auf Deutsch:

1. Problemstellung

Die Quantifizierung der Sichtbarkeit von Sponsorenlogos in Sportübertragungen ist ein entscheidender Marketing-Kennwert, der traditionell durch manuelle, subjektive und nicht skalierbare Analysen behindert wird. Obwohl computergestützte Vision-Systeme eine Alternative bieten, leiden bestehende Lösungen unter einer wesentlichen Einschränkung: Sie verwenden Horizontal Bounding Boxes (HBB).

Da Logos in Sportübertragungen oft durch dynamische Kamerawinkel, Perspektivverzerrungen oder Falten in Trikots gedreht oder verzerrt erscheinen, führen achsenausgerichtete HBBs zu erheblichen Fehlern:

• Übermäßige Hintergrundeinbeziehung: Die Boxen erfassen große Bereiche des Hintergrunds, die nicht zum Logo gehören.
• Ungenauigkeit: Dies führt zu einer Überschätzung der Logogröße und ungenauen Metriken für die Sichtbarkeit (z. B. Bildschirmpräsenz).
• Folgen: Die Fehler beeinträchtigen nachgelagerte Aufgaben wie das Entfernen von Logos, Maskieren oder das Editieren von Videos.

Zudem fehlt es an öffentlichen Datensätzen, die speziell für Sponsorenlogos in Fußballübertragungen mit Oriented Bounding Box (OBB)-Annotationen erstellt wurden.

2. Methodik und Systemarchitektur

Das Paper stellt ExposureEngine vor, ein End-to-End-System, das eine rotationsbewusste Erkennung mit einer analytischen Pipeline und einer sprachgesteuerten Agentenschicht kombiniert.

A. Datensatz

Die Autoren haben einen neuen, maßgeschneiderten Datensatz erstellt:

• Umfang: 1.103 annotierte Frames aus 97 Highlight-Clips der schwedischen Elite-Fußballliga (Saison 2024).
• Vielfalt: 670 eindeutige Sponsoren-Logos, verschiedene Stadien, Teams und Kamerabedingungen.
• Annotation: Alle Logos wurden mit OBBs (Viereck-Polygone) annotiert, um Geometrie und Rotation präzise zu erfassen. Dies ist der erste Open-Source-Datensatz dieser Art für Fußballübertragungen.

B. Detektionsmodell

• Architektur: Das System basiert auf YOLOv11 (insbesondere die Medium-Variante), das für die Vorhersage von OBBs trainiert wurde.
• Verlustfunktion: Um das Problem des Klassenungleichgewichts (Long-Tail-Verteilung der Logos) zu adressieren, wurde die Standard-Binary Cross Entropy durch Varifocal Loss (VFL) ersetzt. VFL gewichtet positive Beispiele basierend auf ihrer Lokalisierungsqualität (IoU) und unterdrückt einfache negative Beispiele, was die Kalibrierung bei seltenen Klassen verbessert.
• Training: Trainiert auf NVIDIA A100 GPUs mit einer Eingabeauflösung von 1280×720.

C. Analytische Pipeline und Agenten

Das System verarbeitet die Rohdaten in mehrere Module:

1. Inferenz-Engine: Führt die OBB-Erkennung durch.
2. Datenprozessor: Aggregiert Erkennungen über Frames hinweg, wendet zeitliche und räumliche Filter an und berechnet Metriken wie:
   • Exposure: Gesamtdauer der Sichtbarkeit.
   • Coverage: Durchschnittliche und maximale Abdeckung des Bildschirms (basierend auf der Fläche der OBB-Polygone).
3. Agent-Schicht (LLM-basiert): Ein System auf Basis von LangGraph ermöglicht natürliche Sprachabfragen (z. B. „Zeige die Clips mit dem höchsten Adidas-Auftritt im zweiten Halbzeit"). Es orchestriert Aufgaben wie das Erstellen von Zusammenfassungen, das Generieren von Highlights und das Teilen von Inhalten.

3. Wichtige Beiträge

Das Paper leistet vier wesentliche Beiträge:

1. OBB-Logo-Detektionsmodell: Ein auf YOLOv11 basierendes Modell, das Rotationen präzise erfasst.
2. Öffentlicher Datensatz: Ein neuer, annotierter Datensatz mit 670 Logoklassen und OBB-Markierungen für Fußballübertragungen.
3. Analyse-Dashboard: Ein visuelles Interface zur Darstellung von Sponsorenmetriken und Zeitachsen.
4. Multi-Layer-Agent-System: Ein auf LangGraph aufgebautes System, das natürliche Sprachabfragen in strukturierte Analysen und Aktionen umwandelt.

4. Ergebnisse und Evaluation

• Leistung: Das beste Modell (YOLOv11-Medium) erreichte eine mAP@0.5 von 0,859, mit einer Präzision von 0,96 und einem Recall von 0,87.
• OBB vs. HBB:
  • In Bezug auf die reine Detektionsgenauigkeit (mAP) zeigten OBB- und HBB-Modelle kaum Unterschiede (ca. ±0,6% Differenz).
  • Der entscheidende Vorteil liegt jedoch in der geometrischen Präzision: OBBs umschließen Logos deutlich enger und reduzieren den Hintergrundanteil drastisch.
  • Tightness Ratio (TR): Bei stark gedrehten Logos (ca. 55°–60°) schneiden HBBs schlecht ab (TR ~0,40), während OBBs eine enge Anpassung beibehalten. Dies ist für die Berechnung der tatsächlichen Bildschirmabdeckung essenziell.
• Alignment: Über 96,8% der Vorhersagen erreichen einen IoU > 0,5, und 63,4% erreichen einen sehr engen IoU > 0,9.
• Inferenz-Geschwindigkeit: Auf einer GPU (G4dn.xlarge) erreicht das System ca. 20 FPS, was für nahezu Echtzeit-Analysen und Dashboard-Updates geeignet ist.

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass rotationsbewusste Detektion (OBB) für die genaue Messung von Sponsorenwert unverzichtbar ist, da sie Hintergrundrauschen eliminiert und präzise Flächenberechnungen ermöglicht.

• Praxisrelevanz: Das System bietet eine skalierbare, automatisierte und auditable Lösung für Medienunternehmen und Rechteinhaber, um ROI von Sponsorenverträgen zu messen.
• Zukunftsperspektiven: Die Autoren schlagen vor, zukünftig nicht nur die reine Anwesenheit, sondern den Wert der Sichtbarkeit zu bewerten (z. B. durch Gewichtung von Ereignissen wie Toren oder Anpassung an vertikale Formate für Social Media). Die Agenten-Schicht spielt hierbei eine Schlüsselrolle, um diese komplexen Metriken in handlungsrelevante Geschäftsintelligenz zu übersetzen.

Zusammenfassend bietet ExposureEngine einen vollständigen Stack – von der Datenerstellung über die präzise Detektion bis hin zur sprachgesteuerten Analyse – und setzt neue Standards für die Sponsorenanalytik im Sport.