Opponent-Adjusted Evaluation of NFL Pass Blocking and Pass Rushing Performance

Dit paper introduceert een interpreteerbaar, tegenstander-gecorrigeerd framework op basis van ridge-geregulariseerde Bradley-Terry-modellen dat Hudl-trackingdata gebruikt om de prestaties van NFL-aanvalslijnen en pass-rushers op interactieniveau te evalueren, waarbij de resultaten zowel statistisch significant zijn als sterk overeenkomen met expertbeoordelingen.

De kern

Stel je voor dat je naar een NFL-wedstrijd kijkt en je ziet een enorme lineman (de verdediger) en een nog grotere aanvalslineman (de aanval) die tegen elkaar duwen. Voor de buitenwereld lijkt het alsof ze gewoon duwen, maar voor statistici is het een heel lastig raadsel: Wie is er nu echt de beste?

Deze paper van onderzoekers van de Universiteit van Pennsylvania probeert precies dat raadsel op te lossen. Ze hebben een nieuwe manier bedacht om te meten hoe goed een verdediger (pass rusher) en een aanvalslineman (blocker) zijn, rekening houdend met tegen wie ze spelen.

Hier is de uitleg in simpele taal, met een paar handige vergelijkingen:

1. Het Probleem: Het is niet zo simpel als "Wie wint?"

In het verleden keken ze vooral naar de uitslag: "Heeft de verdediger de quarterback (de aanvoerder) te pakken?" (een 'sack') of "Nee, dan heeft hij het niet gedaan."

Maar dat is net als kijken naar wie een tenniswedstrijd wint zonder te kijken naar de tegenstander.

• Als een top-speler speelt tegen een beginner, is het makkelijk om te winnen.
• Als een beginner speelt tegen een top-speler, is het bijna onmogelijk om te winnen.

De oude statistieken keken niet naar tegen wie je speelde. Ze wisten ook niet goed hoe je een speler meet die perfect heeft geblokkeerd, maar omdat de tegenstander zo goed was, er toch geen statistiek voor kreeg (geen 'sack' in de boeken).

2. De Oplossing: Een "Tennis-achtige" Ranking

De onderzoekers hebben een slimme methode gebruikt die lijkt op het Elo-ratingsysteem in schaak of tennis (zoals bij de wereldkampioenschappen).

Ze hebben elke keer dat een verdediger en een aanvalslineman tegen elkaar stonden, gezien als een één-op-één duel.

• Ze hebben gekeken naar wie er "wint" binnen 2,5 seconden.
• Ze hebben gekeken naar de ernst van de nederlaag: Was het een lichte druk (win), een harde klap (hit), of een volledige 'sack'?

De Analogie:
Stel je voor dat je een restaurantbeoordeling maakt.

• Oude manier: "Heeft de kok een ster gekregen?" (Ja/Nee).
• Nieuwe manier: "Hoe goed was de kok, gezien de kwaliteit van de ingrediënten die hij kreeg en de concurrentie in de stad?"

Als een kok met slechte ingrediënten een 4-sterren maaltijd maakt, is dat indrukwekkender dan als een kok met perfecte ingrediënten een 3-sterren maaltijd maakt. Deze paper doet precies dat voor de NFL-spelers.

3. Twee Soorten "Scorekaarten"

De onderzoekers hebben twee verschillende modellen gebouwd, alsof ze twee verschillende soorten scorekaarten maken:

1. De "Win/Loss" Kaart: Dit kijkt puur of de verdediger binnen 2,5 seconden dichterbij de quarterback kwam dan de verdediger. Het is een simpele "Winst of Verlies" score.
2. De "Ernst" Kaart: Dit is gedetailleerder. Het kijkt naar de grootte van de fout.
   • Verlies: Niets gebeurd.
   • Win: Druk op de quarterback, maar geen contact.
   • Hit: De quarterback is geraakt.
   • Sack: De quarterback is neergehaald.

De "Ernst"-kaart is als een weegschaal: een 'sack' telt veel zwaarder dan een lichte druk. Dit bleek de beste manier te zijn om de echte top-spelers te vinden.

4. Wat hebben ze ontdekt?

Ze hebben data van het hele seizoen 2021 gebruikt (meer dan 33.000 plays!). Ze hebben hun modellen getest en vergeleken met:

• Simpele gemiddelden (iedereen is even goed).
• Simpele historische cijfers (hoe vaak heeft deze speler eerder gewonnen?).

Het resultaat:
Hun nieuwe, slimme modellen waren iets beter dan de simpele methoden. Maar het belangrijkste was de externale check:
Ze keken of hun lijst met "beste spelers" overeenkwam met de lijst van de officiële NFL-experts (de All-Pro selectie).

• Het bleek dat hun "Ernst"-model de experts het beste volgde. Als de experts een speler als "Beste van het jaar" kozen, stond die speler ook hoog in hun lijst.

5. Waarom is dit belangrijk?

Voor teams en scouts is dit goud waard.
Stel je voor dat je een teammanager bent. Je wilt een verdediger huren.

• Oude manier: "Kijk, deze speler heeft 10 sacks dit jaar!" (Misschien speelde hij alleen tegen slechte linemans).
• Nieuwe manier: "Deze speler heeft misschien maar 5 sacks, maar hij heeft tegen de allerbeste linemans van de liga gespeeld en heeft ze vaak verslagen of zwaar onder druk gezet."

Conclusie

Deze paper zegt eigenlijk: "Stop met alleen kijken naar de uitslag, en begin kijken naar de context."

Door te kijken naar elke individuele duels tussen spelers en rekening te houden met hoe goed de tegenstander was, krijgen we een eerlijker beeld van wie de echte sterren zijn. Het is alsof je eindelijk een eerlijke ranglijst krijgt voor een spelletje waar iedereen tegen iedereen speelt, en niet alleen tegen de zwakste tegenstanders.

De onderzoekers hebben hun code zelfs openbaar gemaakt, zodat iedereen deze "slimme ranglijst" zelf kan berekenen.

Technische samenvatting

Probleemstelling

Het evalueren van individuele prestaties van offensieve linemen (blokkers) en pass-rushers (aanvallers) in de NFL is complex vanwege drie factoren:

1. Schaarsheid van uitkomsten: Directe statistieken zoals sacks of hits zijn zeldzaam.
2. Afhankelijkheid van de tegenstander: Een speler's prestatie wordt sterk beïnvloed door de kwaliteit van de tegenstander.
3. Contextuele factoren: Omgeving, verdedigingsformaties en quarterback-timing spelen een grote rol.

Bestaande metrics, zoals de Pass Block Win Rate (PBWR) van ESPN (gebaseerd op 2,5 seconden vasthouden) of tracking-metrics zoals STRAIN, slagen er niet in om de prestatie van een individuele speler volledig te scheiden van de kwaliteit van de tegenpartij of om gezamenlijke, tegenstander-gecorrigeerde ratings te genereren voor zowel blockers als rushers.

Methodologie

De auteurs gebruiken tracking-data van Hudl uit het reguliere seizoen 2021 om een dataset van interacties tussen blockers en rushers te construeren.

1. Data Constructie:

• Dataset: 153.138 interacties over 33.283 pass-spellen in 266 wedstrijden.
• Eenheid van analyse: Een "blocker-rusher" interactie.
• Covariaten: Een indicator voor "double-team" (meerdere blockers op één rusher) wordt expliciet als variabele opgenomen in het model, in plaats van verwerkt in de spelerseffecten.
• Uitkomsten (Targets):
  • Binair (Win/Loss): Een rusher "wint" als hij binnen 2,5 seconden na de snap dichter bij de quarterback komt dan de blocker.
  • Multinomiaal (Severity): Een hiërarchie van vier uitkomsten vanuit het perspectief van de rusher: Loss (geen succes), Win (druk zonder contact), Hit (contact zonder sack), en Sack.

2. Modellering (Bradley-Terry met Ridge Regularisatie):
De auteurs passen twee gescheiden Ridge-geregulariseerde Bradley-Terry (BT) modellen toe, waarbij elke interactie wordt behandeld als een head-to-head competitie:

• Binair BT-model: Schat de kans op een winst/verlies uitkomst.
  • Formule: $\text{logit } P(Y=1) = \alpha + r_i - b_j + \delta D_t$
  • Waarbij $r_i$ het effect van de rusher is, $b_j$ het effect van de blocker (met een negatief teken, dus een hogere $b_j$ betekent betere verdediging), en $D_t$ de double-team indicator.
• Multinomiaal BT-model: Schat de kansen voor de vier severity-klassen.
  • Na schatting worden de kansen omgezet naar een verwachte severity-score op een schaal van 0 tot 1, gewogen op basis van Expected Points Added (EPA) waarden uit de literatuur (Sack = 1.00, Hit = 0.20, Win = 0.10, Loss = 0).

3. Validatie en Baselines:

• Splitsing: Een geordende 80/20 split (op basis van game_id) om data-lekkage te voorkomen.
• Baselines:
  • Global Baseline: Negeert speleridentiteit (gebruikt gemiddelde uitkomsten).
  • Matchup Baseline: Gebruikt historische frequenties van specifieke spelersparen (gesmoothed naar het globale gemiddelde), maar zonder een gedeelde latente rating te leren.
• Uncertainty: Er wordt gebruikgemaakt van bootstrap-resampling (zowel per game als per week) om onzekerheidsintervallen te genereren.

Belangrijkste Bijdragen

1. Tegenstander-gecorrigeerd raamwerk: Een methode die blockers en rushers gezamenlijk evalueert terwijl de rol-specifieke interpretatie behouden blijft.
2. Gescheiden modellen: Toepassing van specifieke BT-modellen voor zowel binair win/verlies als voor de ernst van de uitkomst (severity).
3. Robuuste validatie: Interne validatie tegen sterke baselines en externe validatie tegen de officiële AP All-Pro selecties van 2021.
4. Longitudinale inzichten: Het bieden van week-tot-week trajecten met onzekerheidsbanden voor spelersratings.

Resultaten

• Voorspellende prestatie: Beide BT-modellen presteren beter dan de globale baselines en presteren bescheiden maar consistent beter dan de sterkere "matchup baselines" (gemeten in log-loss).
  • De winst is het meest stabiel voor het win/loss-model en het severity-model ten opzichte van de globale baseline.
  • De verbetering ten opzichte van de matchup-baseline is positief maar minder zeker (overlapt soms met nul in de betrouwbaarheidsintervallen).
• Externe Validatie (All-Pro):
  • Het severity-model toont de sterkste correlatie met de expert-selecties (AP All-Pro). Het rangschikt All-Pro spelers significant hoger dan de simpele win-rate baselines (hoge AUC en Enrichment@K scores).
  • Het binair model presteert ook goed, maar het severity-model is superieur in het onderscheiden van elite-spelers.
• Leaderboards: De top-rushers en blockers uit 2021 (zoals Myles Garrett, T.J. Watt, Joe Thuney) worden correct geïdentificeerd, met de opmerking dat de severity-scores meer nadruk leggen op high-impact uitkomsten (sacks/hits).

Betekenis en Conclusie

Dit paper demonstreert dat ridge-geregulariseerde Bradley-Terry-modellen een stabiel en interpreteerbaar raamwerk bieden voor het evalueren van NFL-passbescherming en pass-rushing op interactieniveau.

• Praktische toepassing: De gegenereerde ratings kunnen teams helpen bij scouting en personeelsbeheer door prestaties te normaliseren voor de sterkte van de tegenstander.
• Inzicht: Hoewel de voorspellende verbetering ten opzichte van baselines bescheiden is (wat typerend is voor ruisrijke sportdata), is de consistentie en de betere uitlijning met expert-oordele (All-Pro) significant.
• Beperkingen: Het model vat complexe hulpmechanismen (zoals chip-blocks) slechts gedeeltelijk op via een simpele double-team indicator en houdt geen rekening met team-effecten of quarterback-timing.

Kortom, de studie biedt een transparante statistische basis voor toekomstig tracking-gebaseerd onderzoek naar de lijn in de NFL, waarbij de "severity" van een uitkomst een cruciale rol speelt in het onderscheiden van top-talent.