📊 statistics

Pitwall: Faithful Natural-Language Race-Strategy Briefings from a Calibrated Real-Time Monte Carlo Engine

Het artikel introduceert Pitwall, een productiesysteem dat getrouwe, meertalige Formule 1 race-strategie briefings genereert door een architecturale verificatielus af te dwingen waarbij elke feitelijke bewering wordt gevalideerd tegenover een gekalibreerde, real-time Monte Carlo-engine, wat zorgt voor gegronde generatie terwijl het kritieke afwegingen tussen levendigheid en hallucinatie in gefinetunede modellen onthult.

Oorspronkelijke auteurs: Juan S. Santillana (Independent Researcher)

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juan S. Santillana (Independent Researcher)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een race van Formule 1 kij\nhoogspanning kijkt. De auto's razen rond, de banden slijten, en de strategen van het team op de "pitmuur" moeten in een fractie van een seconde beslissingen nemen: Moet onze coureur nu de pit in? Nog twee ronden wachten? Banden wisselen? Als ze het fout raden, verliezen ze de race.

Dit artikel introduceert Pitwall, een computersysteem ontworpen om te fungeren als een super slimme, super nauwkeurige assistent voor deze strategen. Het gokt niet alleen; het berekent, voorspelt en legt vervolgens zijn redenering uit in helder Engels, Spaans of Portugees.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De Glazen Bol (De Monte Carlo Engine)

Beschouw de race als een gigantisch spel van "Kies je eigen avontuur", maar dan met 2.000 verschillende verhaallijnen die tegelijkertijd plaatsvinden.

De Simulatie: Het systeem draait elke seconde 2.000 virtuele kopieën van de rest van de race. In sommige kopieën komt er een Safety Car uit; in andere klapt er een band; in andere andere rijder komt vast te zitten in het verkeer.
De Kalibratie: Net zoals een weervoorspeller naar eerdere stormen kijkt om regen te voorspellen, is Pitwall "getraind" op 126 echte races van 2018 tot 2024. Het heeft geleerd om zijn "glazen bol" aan te passen, zodat wanneer het zegt dat er een kans van 70% is op winst, dit ook daadwerkelijk 70% van de tijd gebeurt.
Het Resultaat: Het geeft het team een waarschijnlijkheidsbord: "Als je nu de pit in gaat, heb je 65% kans op een top 3-finish. Als je wacht, daalt dat naar 40%."

2. De Strenge Redacteur (De Verifier)

Dit is het meest unieke deel van het systeem. Meestal zijn AI-chatbots erg goed in schrijven, maar ze "hallucineren" soms (ze verzinnen dingen). In een race is het maken van een fout zoals "Coureur X staat 5 seconden voor" terwijl hij eigenlijk achterop ligt, gevaarlijk.

Pitwall behandelt waarheid als een harde regel, niet als een suggestie.

De Poortwachter: Voordat het systeem een enkele zin schrijft voor de uitzending, breekt het die zin af in kleine feiten (bijv. "Coureur staat op de 4e plaats", "Banden zijn Medium", "Gap is 2,1 seconden").
De Controle: Het controleert elk enkel feit tegen de live data. Als de data zegt dat de coureur op de 5e plaats staat, maar de AI wil "4e plaats" schrijven, dan blokkeert het systeem die zin.
Het Veiligheidsnet: Als de AI te creatief probeert te zijn en feiten verzint, dwingt het systeem het systeem om terug te vallen op een saaie, 100% nauwkeurige mal (template). Dit zorgt ervoor dat elke gepubliceerde zin 100% geworteld is in de realiteit.

3. De "Twee Paden" Filosofie

De auteurs ontdekten iets interessants: Realistisch zijn betekent niet altijd accuraat zijn.

Pad A (De Oracle): Dit pad is bedoeld voor het geven van waarschijnlijkheden. Het gebruikt de eenvoudigste, meest stabiele modellen om ervoor te zorgen dat de percentages (zoals "90% kans op winst") wiskundig correct zijn. Het negeert sommige "fancy" details die de wiskunde in de war zouden kunnen schoppen.
Pad B (De Decision Maker): Dit pad is bedoeld voor het geven van advies. Het gebruikt de "fancy" details (zoals hoe banden op specifieke manieren degraderen) om het team te vertellen wat ze moeten doen.

Het systeem houdt deze twee paden gescheiden. Het laat de "fancy" details de wiskunde niet verpesten, en het laat de "eenvoudige" wiskunde geen slecht advies geven.

4. De "Rich vs. Sparse" Valstrik

Het team probeerde het systeem menselijker te laten klinken door het te trainen op rijke, spannende racebeschrijvingen.

Het Probleem: Wanneer de racedata vol was (veel auto's, veel informatie), klonk de AI geweldig. Maar wanneer de data "sparse" (schaars) was (vroeg in de race, of door een fout in de datastroom), begon de AI te hallucineren. Het verzon coureurs die niet bestonden of bedacht tijdsverschillen om de stilte op te vullen.
De Oplossing: Ze realiseerden zich dat het type AI-model ertoe doet. Ze testten vier verschillende "basisbreinen". Eén specifiek brein (Phi-4-mini) was slim genoeg om te zeggen: "Ik heb niet genoeg informatie om specifiek te zijn", in plaats van dingen te verzinnen. De anderen probeerden de stilte op te vullen met leugens. Ze kozen het brein dat wist wanneer het stil moest blijven.

5. Bewijs uit de Praktijk

Het paper beweert dat dit niet slechts een theorie is. Het systeem werd live getest tijdens de 2026 Grand Prix van Oostenrijk en Groot-Brittannië.

Het slaagde erin live data te verwerken, de 2.000 simulaties te draaien en in realtime geverifieerde commentaar te genereren.
Tijdens de Grand Prix van Groot-Brittannië volgde het systeem de race-waarschijnlijkheden ronde voor ronde. Het identificeerde de uiteindelijke winnaar correct, zelfs 10 ronden voordat de race eindigde, terwijl de race nog chaotisch was en de uitkomst onbekend was.

Samenvatting

Pitwall is een strategie-tool voor races die een supercalculator (om uitkomsten te voorspellen) combineert met een strenge factchecker (om leugens te voorkomen). Het heeft geleerd dat het, om echt nuttig te zijn, zijn "wiskundige brein" van zijn "adviesbrein" moet scheiden, en dat het een AI-model moet kiezen dat weet wanneer het niet moet spreken als de feiten niet duidelijk zijn. Het bewees dat je een professionele voorspellingsmachine voor sport kunt bouwen met publieke data en standaard computers, zolang je waarheidsgetrouwheid boven flitsendheid prioriteert.

Technische Samenvatting: Pitwall – Getrouwe Natuurlijke Taal Race-strategie Briefings

Probleemstelling
Live sportcommentaar, met name in de Formule 1, vertegenwoordigt een veeleisende instantie van gegrond genereerde tekst (grounded generation). Het systeem moet verklaringen genereren over echte, benoemde atleten waarbij de gegronde staat (posities, tussenstanden, bandensamenstellingen, trackstatus) elke paar seconden muteert. In tegenstelling tot standaard data-naar-tekst taken, is er op het moment van generatie geen referentietekst beschikbaar en zijn de kosten van hallucinatie hoog: een zelfverzekerd onjuiste bewering over een specifieke coureur is schadelijker dan stilte. Bovendien maken teams gebruik van propriëtaire simulatietools voor strategie, maar deze systemen missen publieke kalibratie, en de academische literatuur heeft nog geen rekening gehouden met de vereiste real-time, waarschijnlijkheid-gekalibreerde, besluitvormingsgerichte setting voor live strategie-briefings. De kernuitdaging is het bouwen van een systeem dat live timingdata incasseert, race-uitkomsten simuleert met gekalibreerde waarschijnlijkheden, en deze bevindingen verbaliseert in natuurlijke taal zonder feiten te fabriceren, zelfs wanneer de staat schaars is.

Methodologie
Pitwall is een end-to-end productiesysteem bestaande uit vier stadia: Data Pipeline, Monte Carlo Engine, Decision Layer en Language Layer.

Data Pipeline & State Reconstruction:
Het systeem incasseert de officiële F1 SignalR live-timing stream met een cadans van 1 seconde. Het reconstrueert incrementeel een canonieke probabilistische racestate, die de schema's spiegelt die worden gebruikt voor historische data (157 races van 2018–2026, exclusief 2022 vanwege databetrouwbaarheidsproblemen). Dit zorgt ervoor dat de live engine en de backtest engine identieke codepaden volgen.
Vectorized Monte Carlo Engine:
De kernsimulator voert gelijktijdig $N=2.000$ race-continuaties uit met behulp van gevectoriseerde array-operaties (NumPy). Belangrijke componenten zijn:
- Lap Time & Degradation (H5): Modelleert bandenslijtage als een lineaire helling met optionele circuit-specifieke "cliff" knopen. Cruciaal is dat het passende hellingen decomponeert om brandstofverbruik en track-evolutie confounders te verwijderen, waarbij slijtage wordt begrensd binnen fysiek plausibele grenzen.
- Overtaking (H7): Een logistisch kernel, gefit op 131.000 gevechten, voorspelt de kans op inhalen op basis van de pace delta en bandleeftijd. Experimenten toonden echter aan dat dit de individuele inhaalvoorspelling verbeterde, maar de kalibratie van de veld-brede uitkomst verslechterde.
- Safety Car/Virtual Safety Car (H13): Simuleert stochastische inzet met afzonderlijke pace-multipliers en pit-loss kortingen.
- Rival Policy (H1): Veronderstelt dat rivalen een pace-optimale, open-loop strategie spelen. Een reactieve component (H17) staat rivalen toe om stops naar voren te halen tijdens neutralisaties.
- Undercut Window (H14): Evalueert contrafeitelijke scenario's (nu pit, +1 lap, +2 laps, buiten blijven) met behulp van Common Random Numbers (CRN) om de effecten van strategie te isoleren van sampling-ruis.
- Compound-Base Normalization (H9): Projecteert passende band-paces op een canonieke ordening (soft $\le$ medium $\le$ hard) om spookachtige "snelle band" aanbevelingen te voorkomen die worden veroorzaakt door race-fase confounding.
Dual-Path Principle:
Een centrale methodologische bijdrage is de scheiding tussen de Oracle Path (voor gekalibreerde uitkomstwaarschijnlijkheden) en de Decision Path (voor aanbevelingen). Componenten worden onafhankelijk beheerd:
- De Oracle path gebruikt de configuratie die de Brier score op uitgestelde data minimaliseert (bijv. het uitsluiten van H9 normalisatie, wat de beslissingsgetrouwheid verbeterde maar de kalibratie verslechterde).
- De Decision path gebruikt configuraties die de beslissingsgetrouwheid maximaliseren (bijv. het includeren van H9 en haalbaarheidslimieten), zelfs als dit de uitkomstkalibratie verslechtert.
- Elke component is "parity-gated", waarbij een standaardinstelling wordt meegeleverd die de bestaande engine bit-voor-bit reproduceert, totdien tot een uitgestelde metriek verbetering aantoont.
Verifier-Gated Language Layer:
Om getrouwheid te garanderen, gebruikt het systeem een getypeerd claim-schema (10 types: positie, gap, banden, etc.).
- Verificatie: Elke gegenereerde zin wordt gedecomposeerd in claims en geverifieerd tegen de live state snapshot.
- Faithfulness-Gated Fine-Tuning: De fine-tuning corpus (3.045 targets) wordt gefilterd door de verifier zelf. Alleen door het model gegenereerde targets waarbij elke claim wordt ondersteund door de staat worden toegelaten (81,9% toelatingspercentage); de rest valt terug op bewezen getrouwe templates. Dit zorgt ervoor dat de generator nooit wordt getraind op ongegronde data.
- Base Model Selection: Experimenten over vier base modellen (1B–7B) toonden aan dat getrouwheid onder schaarse contexten geen functie is van schaal, maar van de instructie-opvolging van het base model. Het Phi-4-mini model werd gekozen omdat het onthoudt van te hallucineren op schaarse data, terwijl grotere modellen (7B) entiteiten fabriceerden om de registers op te vullen.

Belangrijkste Bijdragen

Gevalideerde, Gekalibreerde Real-Time Engine: Een gevectoriseerde simulator gekalibreerd op 126 races (2018–2024) en gevalideerd op de volledig uitgestelde 2025–2026 seizoenen, met een Brier score van 0,0745 en 90,3% winnaar-in-top-3 nauwkeurigheid.
Learned Overtake Kernel met Eerlijke Ablatie: Een logistiek model dat de inhaalvoorspelling verbetert maar expliciet wordt getoond als een factor die de veld-brede kalibratie verslechtert, wat aantoont dat taak-niveau nauwkeurigheid geen systeem-niveau kalibratie garandeert.
Undercut Window als CRN Counterfactual: Een formele behandeling van pitstop-timing met behulp van Common Random Numbers om variantie-gecontroleerde waarschijnlijkheidsdelta's te bieden voor strategische beslissingen.
Compound-Base Normalization & Calibration/Decision Split: Een principiële projectiemethode die pathologische live calls corrigeert, gekoppeld aan de bevinding dat deze correctie geïsoleerd moet worden naar de decision path om de waarschijnlijkheidskalibratie te behouden.
Verifier-Gated Language Layer: Een systeem waarbij getrouwheid een architecturale eigenschap is die op drie niveaus wordt afgedwongen: op elke gepubliceerde zin, op elke fine-tuning target, en via de selectie van het base model zelf.
End-to-End Live Deployment: Succesvolle operatie tijdens de 2026 Oostenrijkse en Britse Grands Prix, waarbij live ingestie, simulatie en geverifieerde drietalige commentary op commodity cloud-infrastructuur werd gedemonstreerd.

Resultaten

Kalibratie: Het systeem bereikt een gecombineerde Brier score van 0,0745 op de uitgestelde 2025–2026 seizoenen. De winnaar wordt geïdentificeerd als de modale gesimuleerde winnaar in 64,5% van de races en staat in de top-3 in 90,3%.
Decision Fidelity: De met haalbaarheid beperkte decision path vermindert onhaalbare stint-aanbevelingen van 90,5% (onbeperkt) naar 0,0% en verbetert de overeenstemming van het aantal stops met de uitgevoerde modale plannen van 59,5% naar 69,0%.
Live Prestaties: Bij de 2026 Britse Grand Prix identificeerde het systeem de uiteindelijke winnaar tien ronden voor de finish met een winstkans van 97,7–99,5%. Een met tijdstempels voorzien waarschijnlijkheidstrace die op de schijf werd vastgelegd voordat de uitkomst bekend was, bevestigde het vermogen van het systeem om race-dynamiek in real-time te volgen.
Getrouwheid: De Phi-4-mini adapter, gekozen vanwege de instructie-opvolging, slaagde er succesvol in om niet te hallucineren over coureurs of tussenstanden in schaarse contexten, terwijl rijkere modellen faalden. Het systeem filterde succesvol 18,1% van de gegenereerde targets naar template-fallbacks tijdens de training om te voorkomen dat er ongegronde data werd geleerd.

Betekenis en Claims
Het artikel claimt dat Pitwall het eerste publiekelijk gedocumenteerde end-to-end systeem is dat officiële live timing incasseert, een gekalibreerde probabilistische staat behoudt en geverifieerde natuurlijke taal-briefings in real-time genereert. De primaire betekenis ligt in het methodologische argument dat deugden uitwisselen en apart beheerd moeten worden. De auteurs demonstreren dat:

Kalibratie-optimale configuraties niet noodzakelijkerwijs beslissings-optimaal zijn.
Rijkdom in generatie-targets levendigheid koopt maar kan vervallen in hallucinatie wanneer de gegronde staat schaars is.
Base model selectie (instructie-opvolging) een kritieke gate is voor getrouwheid, onafhankelijk van de parameter schaal.

Het systeem behandelt getrouwheid niet als een aspiratie maar als een structurele beperking, waarbij componenten naar de specifieke pad (Oracle vs. Decision) worden gerouteerd die ze verbeteren en verifiers gebruiken om zowel de trainingsdata als de inference outputs te filteren. Het systeem positioneert deze bevindingen als een template voor beslissingsondersteunende systemen in andere sporten, waarbij de nadruk wordt gelegd op de noodzaak om negatieve resultaten te rapporteren (bijv. componenten die de realisme verbeteren maar de kalibratie verslechteren) om de geloofwaardigheid te behouden. De deployment bevestigt dat team-grade beslissingsondersteuning gebouwd kan worden met publieke data op commodity infrastructuur, mits kalibratie, verificatie en dual-path routing strikt worden afgedwongen.