Opponent-Adjusted Evaluation of NFL Pass Blocking and Pass Rushing Performance

Basierend auf 2021er Hudl-Trackingdaten entwickeln die Autoren ridge-regulierte Bradley-Terry-Modelle, um die Passblockierung und den Passrush im NFL auf Interaktionsebene opponent-adjustiert zu bewerten und dabei sowohl statistische Verbesserungen als auch eine starke Übereinstimmung mit Expertenbewertungen nachzuweisen.

Das Wesentliche

Stellen Sie sich das American Football-Spielfeld als eine riesige, chaotische Tanzfläche vor. In der Mitte steht der Quarterback (der „Tänzer"), der versucht, einen Ball zu werfen. Um ihn herum kämpfen zwei Gruppen: Die Offensive Line (die „Bodyguards"), die versuchen, den Tänzer zu beschützen, und die Defensive Line (die „Stalker"), die versuchen, ihn zu fangen oder den Wurf zu stören.

Das Problem bei der Bewertung dieser Kämpfe ist, dass es oft schwer zu sagen ist, wer wirklich gut ist. Wenn ein Bodyguard seinen Tänzer 2,5 Sekunden lang schützt, war das dann nur Glück, weil der Stalker schlecht war? Oder war der Stalker einfach so schnell, dass selbst ein Weltklasse-Bodyguard chancenlos war?

Diese Forscher von der University of Pennsylvania haben eine neue Methode entwickelt, um genau das herauszufinden. Hier ist die Erklärung ihrer Arbeit, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der „Blindflug"

Früher schauten die Experten nur auf das Endergebnis: Hat der Stalker den Quarterback gefangen (Sack)? Oder hat der Bodyguard ihn beschützt?
Das ist wie beim Schach, wenn man nur zählt, wie oft man einen Gegner geschlagen hat, ohne zu sehen, ob der Gegner ein Anfänger oder ein Großmeister war. Ein Bodyguard sieht vielleicht schlecht aus, weil er gegen den besten Stalker der Liga spielt. Ein Stalker sieht vielleicht gut aus, weil er gegen die schwächste Line der Liga spielt.

2. Die Lösung: Ein digitales Duell-System

Die Forscher haben sich etwas Cleveres ausgedacht: Sie betrachten jeden einzelnen Kampf zwischen einem Bodyguard und einem Stalker als ein eigenständiges Duell.

Stellen Sie sich vor, sie haben ein riesiges digitales Tagebuch, in dem jede dieser Begegnungen notiert wird. Sie nutzen dafür hochmoderne Kameras (Tracking-Daten), die die Positionen der Spieler 10-mal pro Sekunde aufzeichnen.

Sie haben zwei Arten von „Duell-Büchern" erstellt:

• Buch A (Ja/Nein): Hat der Stalker den Bodyguard innerhalb von 2,5 Sekunden besiegt? (Ja oder Nein).
• Buch B (Die Schwere): Wie schlimm war das Ergebnis?
  • Leicht: Der Stalker war nur kurz nah dran (Win).
  • Mittel: Der Stalker hat den Quarterback berührt (Hit).
  • Schwer: Der Quarterback wurde gefangen (Sack).
  • Kein Problem: Der Bodyguard hat alles perfekt gemacht (Loss).

3. Der Trick: Der „Richter" (Das mathematische Modell)

Um herauszufinden, wer wirklich gut ist, haben die Forscher einen mathematischen „Richter" eingesetzt (ein sogenanntes Bradley-Terry-Modell mit einer speziellen Glättung, genannt „Ridge-Regularization").

Wie funktioniert dieser Richter?
Stellen Sie sich vor, der Richter vergleicht jeden Spieler nicht nur mit dem, gegen den er gerade gespielt hat, sondern mit allen, gegen die er je gespielt hat.

• Wenn ein Bodyguard gegen einen Super-Stalker verliert, aber gegen einen Durchschnitt-Stalker gewinnt, erkennt der Richter: „Okay, dieser Bodyguard ist eigentlich ganz stark, er hat nur gegen einen Boss verloren."
• Wenn ein Stalker gegen einen schwachen Bodyguard gewinnt, aber gegen einen starken verliert, denkt der Richter: „Der Stalker ist okay, aber nicht der Beste."

Der Richter gleicht also alle Vorteile und Nachteile aus. Er sagt: „Wenn Spieler A gegen Spieler B gewinnt, und Spieler B gegen Spieler C gewinnt, dann muss Spieler A eigentlich besser sein als Spieler C." So entsteht eine faire Rangliste, die den Gegner berücksichtigt.

4. Die Ergebnisse: Wer ist der Beste?

Die Forscher haben ihre Methode getestet und verglichen, ob sie besser ist als die alten, einfachen Methoden (die nur auf den rohen Statistiken basieren).

• Das Ergebnis: Ihre neue Methode ist etwas genauer als die alten Methoden. Sie kann die Unterschiede zwischen den Spielern besser erkennen.
• Der Gewinner: Besonders das „Schwere-Buch" (Buch B) hat gut funktioniert. Es hat die Spieler besser bewertet, die von den echten Experten (den AP All-Pro-Auswahlen) als die Besten des Jahres 2021 geehrt wurden.
  • Beispiel: Der Stalker Robert Quinn und der Bodyguard Joe Thuney landeten ganz oben auf der neuen Liste. Das passt gut zu dem, was die Fachleute sagten.

5. Warum ist das wichtig?

Stellen Sie sich vor, Sie sind ein Trainer oder ein Manager einer NFL-Mannschaft. Sie müssen entscheiden, wem Sie einen hohen Vertrag zahlen.

• Die alte Methode wäre wie: „Ich zahle dem Spieler, der die meisten Sacks gemacht hat." (Aber vielleicht hatte er einfach Glück gegen schlechte Gegner).
• Die neue Methode ist wie: „Ich zahle dem Spieler, der in fairen Duellen gegen alle Arten von Gegnern am besten abgeschnitten hat."

Zusammenfassung in einem Satz

Die Forscher haben ein mathematisches System gebaut, das jeden einzelnen Kampf zwischen Angreifer und Verteidiger im Football analysiert, den Gegner dabei fair berücksichtigt und so eine viel ehrlichere Rangliste der besten Spieler erstellt als bisher möglich.

Es ist wie ein riesiges, digitales Schachturnier, bei dem nicht nur die Anzahl der Siege zählt, sondern die Qualität der Gegner, gegen die man gewonnen hat.

Technische Zusammenfassung

Problemstellung

Die Bewertung von Spielern in der Offensive Line (Blocker) und Defensive Line (Pass Rusher) im American Football ist aufgrund mehrerer Faktoren schwierig:

1. Seltene Ereignisse: Direkte Ergebnisse wie Sacks oder Hits sind statistisch selten.
2. Kontextabhängigkeit: Die Ergebnisse werden stark durch den Spielkontext beeinflusst (z. B. Zeit des Quarterbacks zum Werfen, Coverage, Spielsituation).
3. Fehlende Trennung: Herkömmliche Metriken (wie Box-Score-Statistiken oder aggregierte Zusammenfassungen) können die individuelle Leistung eines Spielers nicht sauber von der Qualität des Gegners, der Teamstruktur oder dem Umfeld trennen.
4. Limitationen bestehender Metriken: Metriken wie die „Pass Block Win Rate" (PBWR) von ESPN basieren auf binären Labels (2,5 Sekunden halten), während Tracking-basierte Metriken (wie STRAIN) zwar mehr Signal liefern, aber keine opponent-adjustierten (gegnerangepassten) gemeinsamen Bewertungen für Blocker und Rusher produzieren.

Methodik

Die Autoren nutzen Tracking-Daten der NFL-Regular-Saison 2021 (Hudl), um ein gegnerangepasstes Paarvergleichs-Framework (Paired-Comparison Framework) zu etablieren.

1. Datenaufbereitung:

• Datensatz: 153.138 Interaktionen zwischen Blockern und Rushern über 33.283 Pass-Spiele in 266 Spielen.
• Einheit der Analyse: Jede Interaktion wird als Duell behandelt.
• Features: Ein Indikator für „Double-Team" (wenn mehrere Blocker denselben Rusher bekämpfen) wird als Kovariable eingeführt, nicht als Teil des Spieler-Effekts.
• Outcome-Definitionen (aus Sicht des Rushers):
  • Binär (Win/Loss): Ein „Win" liegt vor, wenn der Rusher innerhalb von 2,5 Sekunden näher am Quarterback ist als der Blocker.
  • Klassifizierung (Severity): Eine Hierarchie aus vier Klassen: Loss (keine Bedrohung) < Win (Druck ohne Kontakt) < Hit (Kontakt, kein Sack) < Sack (schwerwiegendster Ausgang).
  • Gewichtung: Die Klassen werden auf eine Skala von 0 bis 1 abgebildet, basierend auf Expected Points Added (EPA) Benchmarks: Loss=0, Win≈0,1, Hit≈0,2, Sack=1,0.

2. Modellierung:
Es werden zwei separate ridge-reguliert Bradley-Terry (BT) Modelle geschätzt:

• Binäres BT-Modell: Für die Win/Loss-Ausgabe.
  • Formel: $\text{logit}(P(\text{Win})) = \alpha + r_i - b_j + \delta D_t$
  • $r_i$: Effekt des Rushers, $b_j$: Effekt des Blockers, $D_t$: Double-Team-Indikator.
• Multiklassiges BT-Modell: Für die vierstufige Severity-Ausgabe.
  • Dies erlaubt eine differenziertere Bewertung, die auch die Schwere des Ergebnisses berücksichtigt.
• Regularisierung: Ridge-Penalization ($\lambda$) wird verwendet, um Schätzungen zu stabilisieren, insbesondere bei ungleicher Exposition (wenige Spiele pro Spieler) und unvollständigen Paarungen.

3. Validierungsdesign:

• Aufteilung: Geordnete 80/20-Holdout-Split (basierend auf Spiel-ID), um zeitliche Abhängigkeiten zu berücksichtigen.
• Baselines:
  • Global Baseline: Ignoriert Spieleridentität (durchschnittliche Rate).
  • Matchup Baseline: Nutzt empirische, geglättete Gewinnraten der Spieler aus dem Trainingsset, ohne ein gemeinsames latentes Rating-Modell.
• Unsicherheitsanalyse: Bootstrapping auf Spielebene (End-to-End) und wöchentliche Pfade für longitudinale Unsicherheitsbänder.

Wichtige Beiträge

1. Gegnerangepasstes Framework: Ein Ansatz, der Blocker und Rusher gemeinsam bewertet, aber rollenspezifische Interpretationen beibehält.
2. Zwei separate Modelle: Trennung von binärem Erfolg (Win/Loss) und Ergebnis-Schwere (Severity), wobei letztere skalare Zusammenfassungen ermöglicht.
3. Robuste Validierung: Kombination aus interner Vorhersagegüte (Log-Loss) und externer Validierung gegen Expertenmeinungen (AP All-Pro Wahlen).
4. Unsicherheitsquantifizierung: Bereitstellung von Konfidenzintervallen für die Ratings über die gesamte Saison hinweg.

Ergebnisse

1. Interne Validierung (Vorhersagegüte):

• Beide Modelle verbessern sich signifikant gegenüber der globalen Baseline.
• Im Vergleich zur stärkeren „Matchup-Baseline" zeigen die Modelle moderate, aber konsistente Verbesserungen im Log-Loss:
  • Win-Modell: Reduktion um ca. 0,24 % bis 1,21 %.
  • Severity-Modell: Ähnliche, wenn auch weniger stabile Verbesserungen gegenüber der Matchup-Baseline (die Konfidenzintervalle überschneiden sich teilweise mit Null, sind aber richtungsweisend positiv).
• Die Bootstrap-Ergebnisse bestätigen die Stabilität der Gewinne, insbesondere für das Win-Modell.

2. Externe Validierung (All-Pro-Alignment):

• Die Rankings der BT-Modelle wurden mit den 2021 AP All-Pro-Auswahlen verglichen (AUC und Enrichment@K).
• Ergebnis: Das Severity-Modell zeigt die stärkste Übereinstimmung mit Expertenbewertungen. Es erreicht in drei von vier Rollen/Auszeichnungsslices einen höheren AUC als die Baseline.
• Das Win/Loss-Modell performt gut, aber das Severity-Modell trennt Elite-Spieler besser, da es hochimpactige Ereignisse (Sacks, Hits) stärker gewichtet.

3. Leaderboards:

• Die Top-Ratings zeigen erwartete Namen (z. B. Aaron Donald, Myles Garrett, T.J. Watt bei Rushern; Joe Thuney bei Blockern).
• Die Scores sind als Effizienz pro Interaktion zu verstehen, nicht als Gesamtwert über alle Snaps.

Bedeutung und Schlussfolgerung

Das Paper demonstriert, dass ridge-regulierte Bradley-Terry-Modelle einen stabilen und interpretierbaren Rahmen für die Bewertung von Pass Protection und Pass Rush bieten.

• Hauptgewinn: Auch wenn die Vorhersageverbesserungen numerisch modest sind, sind sie in einem lauten, interaktionsbasierten Problem signifikant, besonders da sie opponent-adjustierte Ratings liefern.
• Praxisrelevanz: Die Methode hilft, individuelle Fähigkeiten von der Qualität des Gegners zu isolieren. Dies ist wertvoll für Scouting und Personalentscheidungen, insbesondere wenn sie mit kontextuellen Informationen kombiniert wird.
• Limitationen: Das Modell berücksichtigt nur grob „Hilfe" (Double-Teams), ignoriert Team-Effekte und die Rolle des Quarterbacks (Time-to-Throw) ist nur indirekt enthalten. Zukünftige Arbeiten könnten hierarchische Modelle oder Multi-Saison-Pooling integrieren.

Zusammenfassend bietet das Framework eine transparente statistische Grundlage für die Weiterentwicklung von Tracking-basierten Evaluierungen im American Football.