Baseline-relative evaluation of lap-time and tyre-degradation models for Formula 1 race strategy

기술 요약: 포뮬러 1 레이스 전략을 위한 랩 타임 및 타이어 마모 모델의 베이스라인 대비 평가

문제 정의
포뮬러 1 레이스 전략은 시간 제약 하에서 순차적인 의사결정을 내리기 위해 다음 랩 타임과 타이어 마모에 대한 예측에 의존한다. 수많은 연구가 랩 타임을 예측하기 위해 머신러닝을 적용하고 있으나, 보고된 정확도는 종종 해석이 불가능하다. 이러한 연구들은 대개 다른 학습된 모델에 대해 평균 절대 오차(MAE)나 결정 계수($R^2$)를 보고할 뿐, 동일한 홀드아웃 데이터에 대해 단순한 "나이브(naive)" 예측(예: 이전 랩 타임 반복)과 성능을 비교하지 않는다. 동일 드라이버의 연속적인 그린 플래그 랩은 매우 높은 자기상관성을 가지므로(단 0.1초 단위의 차이만 발생), 단순한 예측은 이미 강력한 베이스라인이 된다. 이러한 비교 없이는 보고된 오차를 시계열 자체의 내재적 예측 가능성과 분리할 수 없으므로, 모델의 우월성에 대한 주장은 모호해진다. 또한, 기존 문헌은 전략가가 고려할 구조적 요인인 피트 스톱이나 타이어 컴파운드 변화를 무시함으로써 베이스라인을 공정하게 구축하지 못하는 경우가 많다.

방법론
본 연구는 FastF1 인터페이스를 통해 추출한 2019~2025년 시즌의 167,083개 랩 데이터를 활용한다. 데이터셋은 피트 인/아웃 랩과 드라이버의 확장 중앙값 페이스의 110%를 초과하는 이상치를 제외한, 정확한 타이밍을 가진 그린 플래그 랩으로 필터링된다.

• 모델: 주요 모델은 20192022년 데이터로 학습되어 2023년 홀드아웃 세트(및 이후 20242025년) 평가를 위해 동결된 그래디언트 부스팅 트리(LightGBM)이다. 타이어 마모 측정을 위해 GRU 네트워크도 함께 평가된다.
• 타겟 정식화(Target Formulation): 본 연구는 두 가지 타겟 정식화를 비교한다:
  1. 절대적(Absolute): 가공되지 않은 원시 랩 타임을 예측함.
  2. 잔차(Residual): 이전 랩으로부터의 변화량(즉, $y(t) - y(t-1)$)을 예측함.
• 베이스라인: 두 가지 단순 베이스라인을 사용한다:
  1. 지속성(Persistence): 직전의 유지된 랩 타임.
  2. 스틴트 인지 지속성(Stint-Aware Persistence): 피트 스톱 시 컴파운드 전환 오프셋을 반영하여 더 공정한 베이스라인으로, 전략가가 피트 스톱 직후 새로운 타이어 컴파운드를 즉시 인지한다는 점을 인정한다.
• 평가 프로토콜: 랩 단위가 아닌 레이스 단위의 상관관계를 존중하기 위해 추론은 레이스 레벨에서 수행된다. 성능은 평균 절대 오차(MAE)로 측정되며, 쌍체 레이스 레벨 t-검정, 부호 검정(sign tests), 디볼드-마리아노(Diebold–Mariano) 검정을 통해 비교된다. 또한 피처 블록(조건, 페이스, 트래픽)과 타겟 정식화의 효과를 격리하기 위해 중첩된 절제 연구(nested ablation)를 수행한다.
• 인과적 검증: 두 가지 자동화된 테스트를 통해 피처가 미래 정보를 유출하거나 예측된 랩 자체의 결과에 의존하지 않음을 검증한다.

주요 기여

1. 베이스라인 대비 평가: 본 연구는 동일한 홀드아웃 랩에 대해 단순 예측 모델과 비교하는 체계적인 방법을 제공하여, 정확도의 "단순 하한선(simple floor)"을 확립하는 최초의 연구이다.
2. 공정한 베이스라인 구축: 단순한 베이스라인이 불공정하게 핸디캡을 받을 수 있음을 보여준다. 표준 지속성 예측은 피트 스톱을 가로질러 서로 다른 타이어의 랩을 비교함으로써 모델의 이점을 인위적으로 부풀린다. 컴파운드 오프셋을 고려한 스틴트 인지 베이스라인은 더 방어 가능한 척도를 제공한다.
3. 타겟 정식화의 지배력: 타겟 정식화의 선택(잔차 vs 절대)이 피처 세트보다 더 결정적임을 보여준다. 잔차 타겟은 절대 타겟보다 일관되로 우수한 성능을 보이며, 절대 타겟은 종종 단순 베이스라인을 이기지 못한다.
4. 마모 타겟의 구조적 한계: 스틴트 참조 타겟(랩 타임에서 스틴트 내 상수 차감)의 구조적 특성을 밝혀낸다. 1단계 호라이즌에서 마모에 대한 지속성 예측은 랩 타임에 대한 지속성 예측과 수학적으로 동일하다. 따라서 어떤 랩 타임 모델의 마모 오차도 랩 타임 오차와 동일하며, 이는 해당 타겟이 타이어 마모를 학습한 모델인지 아니면 단순히 랩 타임의 자기상관성을 학습한 모델인지를 구분할 수 없음을 의미한다.
5. 규정 전이성: 2022년 이전 규정에서 학습된 모델이 2022년 이후 그라운드 이펙트 시대에 전이되는지 조사하며, 새로운 시대의 데이터만으로 학습하는 것보다 역사적 데이터를 축적하는 것이 성능 향상에 도움이 됨을 발견한다.

결과

• 랩 타임 예측: 그래디언트 부스팅 모델은 표준 지속성 베이스라인 대비 MAE를 15.1% 감소시킨다. 그러나 더 공정한 스틴트 인지 베이스라인에 대해서는 이점이 **12.1%**로 감소한다(통계적으로 유의미함, $p=0.0065$).
• 계층화된 성능: 모델의 기술은 전환기에 집중된다. 모델은 스틴트 시작 후 첫 5랩에서 **30.6%**의 개선을 보이고, 베이스라인이 피트 스톱을 가로지를 때 **44.6%**의 개선을 보인다. 안정적인 주행(11랩 이후)에서는 이점이 **10.2%**로 떨어지며 레이스 레벨에서 통계적 유의성을 잃는다.
• 절제 연구 결과: 세 가지 잔차 구성 모두 지속성 베이스라인을 능가했으나, 절대 구성은 하나도 그러하지 못했다. 최악의 절대 모델은 베이스라인보다 7배 낮은 성능을 보였다. 이는 이점이 특정 피처 엔지니어링이 아니라 잔차를 예측하는 데서 기인함을 확인시켜 준다.
• 마모: 스틴트 참조 타겟을 사용하는 마모 모델은 마모 예측 기술에 대한 독립적인 증거를 제공하지 못함을 발견했다. GRU 모델의 마모에 대한 외견상 성공은 단지 랩 타임 성능의 반영일 뿐이다.
• 시계열 외 성능: 동결된 모델은 2024년(14.3%)과 2025년(9.8%)에도 이점을 유지하지만, 시즌별로 성능은 변동된다.
• 학습 시대: 2022년 이전 데이터만으로 학습하는 것은 동일 시대 학습(12.2%)과 구별할 수 없는 결과(11.9%)를 낸다. 전후 데이터를 통합하는 것이 가장 좋은 성능(16.1%)을 보이며, 이는 역사적 데이터가 해롭기보다는 유익함을 시사한다.

의의 및 주장
본 논문은 레이스 전략 의사결정 지원의 신뢰도가 근간이 되는 예측의 신뢰도에 의해 제한된다고 주장한다. 일반 시계열 예측의 확립된 평가 표준(단순 베이스라인 및 스케일링된 오차 지표 사용)을 포뮬러 1에 적용함으로써, 본 연구는 다음과 같은 사실을 밝혀냈다:

1. 단순 베이스라인을 보고하는 것은 필요조건일 뿐 충분조건이 아니다. 베이스라인은 모델 성능을 부풀리지 않도록 공정하게 구축되어야 한다(예: 타이어 컴파운드 고려).
2. 타겟 정식화가 성공을 결정한다: 잔차 정식화가 피처 세트나 모델 아키텍처의 복잡성보다 성능의 주요 동력이다.
3. 마모 타겟은 재평가가 필요하다: 스틴트 내 상수를 차감하는 1단계 마모 타겟은 타이어 관련 지식을 랩 타임 지식과 별도로 테스트할 수 없는 구조적 결함이 있다.
4. 역사적 데이터는 가치가 있다: 모델이 규정 변경 직후 즉시 재적합되어야 한다는 직관과는 반대로, 데이터를 축적하는 것이 예측 성능을 향상시킨다.

저자들은 그래디언트 부스팅 모델이 단순 예측을 능가하긴 하지만, 실질적인 가치는 특정 전략적 창구(피트 스톱 및 스틴트 시작)에 집중되어 있다고 결론짓는다. 또한 1단계 마모 결과를 타이어 특화 학습의 증거로 해석하는 것에 주의를 요하며, 향-후 연구는 타이어 마모 예측을 진정으로 테스트하기 위해 멀티 랩 호라이즌 또는 스틴트 레벨 적분을 활용해야 한다고 강조한다.