Baseline-relative evaluation of lap-time and tyre-degradation models for Formula 1 race strategy
Deze studie evalueert Formule 1-rondetijd- en bandenslijtage-modellen tegen rigoureuze baseline-voorspellingen met behulp van 167.083 ronden, waarbij wordt aangetoond dat hun voorspellende voordeel primair voortkomt uit het modelleren van residuen ten opzichte van de vorige ronde in plaats van absolute waarden, en dat een eerlijke constructie van de baseline cruciaal is voor het nauwkeurig beoordelen van strategie-relevante prestaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggestoken wereld van de Formule 1, waar het verschil tussen winnen en verliezen vaak neerkomt op één enkele beslissing: wanneer de auto te stoppen en de banden te verwisselen. Teams maken gebruik van strategen die twee dingen met extreme precisie moeten voorspellen. Eerst moeten ze weten hoe snel de auto op de eerstvolgende ronde zal rijden. Ten tweede moeten ze inschatten hoeveel snelheid er zal afnemen naarmate het rubber slijt over een bepaalde tijd. Deze voorspellingen zijn geen gokjes; ze worden berekend met complexe computermodellen die getraind zijn op jaren aan racegegevens. Als deze modellen accuraat zijn, kunnen ze een team naar een overwinning leiden. Als ze gebrekkig zijn, zal zelfs het meest geavanceerde raceplan falen. Jarenlang hebben onderzoekers studies gepubliceerd waarin zij beweerden dat hun modellen zeer accuraat zijn, waarbij ze vaak wijzen op minuscule fouten in hun voorspellingen. Echter, een cruciaal puzzelstukje heeft in deze rapporten ontbroken: een vergelijking met de simpelste mogelijke gok. In een sport waarin de snelheid van een auto op de ene ronde bijna identiek is aan die op de volgende, is het simpelweg voorspellen dat de volgende ronde even lang zal duren als de vorige een verrassend sterke baseline. Zonder te weten hoe goed deze simpele methode presteert, is het onmogelijk om te bepalen of een complex computermodel daadwerkelijk waarde toevoegt of slechts het herhaalt wat al overduidelijk is.
Een nieuwe studie door onderzoekers van het Bharath Institute of Science and Technology probeert dit gat te dichten. Zij verzamelden een enorme dataset van meer dan 167.000 ronden uit publieke Formule 1-archieven die meerdere seizoenen beslaat. Hun doel was om geavanceerde machine learning-modellen te testen tegen een "simpele" voorspelling, wat simpelweg het uitgaan van de aanname is dat de volgende ronde exact even lang zal duren als de vorige. De onderzoekers bouwden een geavanceerd model met behulp van een techniek genaamd gradient boosting, die computers helpt patronen te leren uit data door veel eenvoudige beslisregels te combineren. Ze trainden dit model op data van 2019 tot 2022 en testten het vervolgens op races uit 2023, 2024 en 2025 om te zien of het de rondetijden beter kon voorspellen dan de simpele "herhaal de vorige ronde"-methode. De resultaten waren duidelijk: het geavanceerde model presteerde inderdaad beter dan de simpele gok. Gemiddeld verminderde het model de voorspellingsfout met ongeveer 15 procent vergeleken met de simpele methode. Dit betekent dat de gok van het model voor elke ronde om een kleine maar significante marge dichter bij de werkelijke tijd lag.
De onderzoekers ontdekten echter dat de omvang van dit voordeel volledig afhankelijk was van hoe de vergelijking werd opgezet. Wanneer zij het model vergeleken met de simpele gok over de gehele race, leek het model ongelooflijk sterk. Maar een nadere blik onthulde een fout in de vergelijking. De simpele gok faalde soms omdat deze probeerde een ronde op verse banden te voorspellen met behoud van data van een ronde op versleten banden, zoals direct na een pitstop. Omdat het model wist dat er een nieuwe band was geplaatst, had het in die specifieke momenten een oneerlijk voordeel ten opzichte van de simpele gok. Toen de onderzoekers de vergelijking corrigeerden om ervoor te zorgen dat de simpele gok ook op de bandenwissel werd geïnformeerd, kromp het voordeel van het model van 15 procent naar ongeveer 12 procent. Deze 12 procent wordt beschouwd als de ware maatstaf voor de vaardigheid van het model. De studie vond ook dat het succes van het model niet gelijkmatig over de race was verdeeld. Het was het meest effectief tijdens de eerste paar ronden na een pitstop, waar het de voorspellingen met meer dan 30 procent verbeterde. In het midden van een race, wanneer de auto constant rijdt, was het voordeel van het model veel kleiner en soms zelfs niet statistisch significant.
De studie pakte ook de vraag aan van bandenslijtage, oftewel hoeveel snelheid er verloren gaat naarmate de band ouder wordt. De onderzoekers ontdekten dat de manier waarop zij "degradatie" in hun computermodel definieerden, de betekenis van de resultaten fundamenteel veranderde. Ze gebruikten een methode waarbij het model de extra tijd voorspelde die een ronde zou nemen vergeleken met een verse band. Ze ontdekten dat omdat deze berekening wiskundig verbonden is met de rondetijd zelf, elk succes dat het model behaalde in het voorspellen van degradatie, eigenlijk gewoon succes was in het voorspellen van de rondetijd. Het model leerde niets nieuws over hoe banden slijten; het werd simpelweg beter in het raden van de snelheid van de volgende ronde. Deze bevinding suggereert dat eerdere studies die beweerden bandenslijtage te voorspellen, misschien wel rondetijdvoorspelling hebben gemeten. De onderzoekers testten ook of hun model telkens opnieuw getraind moest worden wanneer de regels van de sport veranderden, zoals wanneer er nieuwe auto-ontwerpen werden geïntroduceerd. Ze ontdekten dat een model getraind op oudere data net zo goed presteerde als een model getraind op nieuwere data, en dat het combineren van de volledere geschiedenis het model juist sterker maakte. Dit impliceert dat teams de jaren aan data niet hoeven weg te gooien wanneer regelgeving verandert; de patronen van hoe een auto zich van de ene naar de andere ronde gedraagt, blijven consistent genoeg om nuttig te zijn.
Uiteindelijk biedt dit onderzoek een duidelijker beeld van wat deze voorspellingsmodellen wel en niet kunnen. Het bevestigt dat geavanceerde computermodellen rondetijden beter kunnen voorspellen dan een simpele gok, maar alleen wanneer de vergelijking eerlijk is en rekening houdt met de specifieke omstandigheden van de race, zoals bandenwissels. De modellen zijn bijzonder nuttig tijdens de chaotische momenten van een race, zoals direct na een pitstop, maar ze bieden minder hulp wanneer de auto stabiel rijdt. De studie dient ook als een waarschuwing voor hoe deze modellen worden geëvalueerd. Het laat zien dat zonder een eerlijke baseline en een zorgvuldige definitie van het probleem, onderzoekers hun succes gemakkelijk kunnen overdrijven. Voor de teams die op deze voorspellingen vertrouwen, is de les praktisch: gebruik deze instrumenten om beslissingen te nemen tijdens transities, zoals pitstops, maar vertrouw er niet op om langdurige bandenslijtage in één enkele stap te voorspellen. De studie beweert niet het mysterie van bandenslijtage te hebben opgelost, maar heeft erin geslaagd de verwarring rondom hoe we de nauwkeurigheid van deze voorspellingen meten op te helderen, waardoor toekomstige strategieën worden gebouwd op een solide basis in plaats van op statistische illusies.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.