Pitwall: Faithful Natural-Language Race-Strategy Briefings from a Calibrated Real-Time Monte Carlo Engine

기술 요약: Pitwall – 충실한 자연어 레이스 전략 브리핑

문제 정의
실시간 스포츠 중계, 특히 포뮬러 1(F1)은 매우 까다로운 근거 기반 생성(grounded generation)의 사례를 보여준다. 시스템은 실제 이름이 있는 운동선들에 대해 진술을 생성해야 하며, 이때 근거가 되는 상태(위치, 간격, 타이어 컴파운드, 트랙 상태)는 몇 초마다 변화한다. 표준적인 데이터-투-텍스트(data-to-text) 작업과 달리, 생성 시점에 참조할 텍스트가 존재하지 않으며, 환각(hallucination)의 비용은 매우 높다. 특정 드라이버에 대해 자신 있게 틀린 정보를 제공하는 것은 침묵하는 것보다 더 치명적이다. 또한, 팀들은 독자적인 시뮬레이션 도구를 활용하지만, 이러한 시스템들은 공개적인 보정(calibration) 수치가 없으며, 학계 문헌에서도 실시간, 확률 보정, 의사결정 중심의 설정이 요구되는 환경을 아직 다루지 못했다. 핵심 과제는 라이브 타이밍 데이터를 수집하고, 보정된 확률로 레이스 결과를 시뮬레이션하며, 상태가 희소(sparse)할 때조차 사실을 조작하지 않고 이러한 결과들을 자연어로 구어화하는 시스템을 구축하는 것이다.

방법론
Pitwall은 데이터 파이프라인(Data Pipeline), 몬테카를로 엔진(Monte Carlo Engine), 의사결정 레이어(Decision Layer), 언어 레이어(Language Layer)의 4단계로 구성된 엔드 투 엔드 프로덕션 시스템이다.

1. 데이터 파이프라인 및 상태 재구성:
   시스템은 1초 간격으로 공식 F1 SignalR 라이브 타이밍 스트림을 수집한다. 시스템은 역사적 데이터(데이터 신뢰성 문제로 2022년을 제외한 2018~2026년 사이의 157개 레이스)에서 사용된 스키마와 동일하게 구현된 캐노니컬 확률적 레이스 상태를 점진적으로 재구성한다. 이를 통해 라이브 엔진과 백테스트 엔진이 동일한 코드 경로를 실행하도록 보장한다.

2. 벡터화된 몬테카를로 엔진:
   핵심 시뮬레이터는 벡터화된 배열 연산(NumPy)을 사용하여 $N=2,000$개의 레이스 연속 상황을 동시에 전진시킨다. 주요 구성 요소는 다음과 같다:

• 랩 타임 및 마모 (H5): 타이어 마모를 선형 기울기로 모델링하며, 서킷 특유의 "클리프(cliff)" 노드를 선택적으로 포함한다. 결정적으로, 연료 소모 및 트랙 진화로 인한 혼란을 제거하기 위해 적합된 기울기를 분해하고, 마모를 물리적으로 타당한 범위 내로 제한한다.
• 추월 (H7): 131,000건의 배틀(battle)에 적합된 로지스틱 커널을 통해 페이스 차이와 타이어 연령에 따른 추월 확률을 예측한다. 그러나 실험 결과, 이는 개별 추월 예측은 개선했으나 필드 수준의 결과 보정 성능은 저하시켰다.
• 세이프티 카/버추얼 세이프티 카 (H13): 고유한 페이스 승수와 피트 손실 할인을 가진 확률적 배치를 시뮬레이션한다.
• 라이벌 정책 (H1): 라이벌들이 페이스 최적화 오픈 루프 전략을 수행한다고 가정한다. 반응형 컴포넌트(H17)는 중립화 상황 시 라이벌들이 피트 스톱을 앞당기는 것을 허용한다.
• 언더컷 윈도우 (H14): 공통 난수(Common Random Numbers, CRN)를 사용하여 카운터팩추얼(지금 박스, +1 랩, +2 랩, 대기)을 평가함으로써 샘플링 노이즈로부터 전략 효과를 격리한다.
• 컴파운드 기반 정규화 (H9): 레이스 단계의 혼란으로 인해 발생하는 가짜 "빠른 타이어" 권장 사항을 방지하기 위해, 적합된 타이어 페이스를 캐노컬 순서(soft $\le$ medium $\le$ hard)로 투영한다.

3. 이중 경로 원칙 (Dual-Path Principle):
   중심적인 방법론적 기여는 보정된 결과 확률를 위한 **오라클 경로(Oracle Path)**와 권장 사항을 위한 **의사결정 경로(Decision Path)**의 분리이다. 각 구성 요소는 독립적으로 게이팅된다:

• 오라클 경로는 홀드아웃 데이터에서 브라이어 점수(Brier score)를 최소화하는 구성을 사용한다 (예: 의사결정 충실도를 높이지만 보정 성능을 저하시킨 H9 정규화를 제외함).
• 의사결정 경로는 결과 보정 성능을 악화시키더라도 의사결정 충실도를 극대화하는 구성을 사용한다 (예: H9 및 실행 가능성 캡 포함).
• 모든 구성 요소는 "패리티 게이팅(parity-gated)"되어, 홀드아웃 메트릭이 개선을 증명하기 전까지는 기존 엔진과 비트 단위로 일치하는 기본 설정을 유지하며 배포된다.

4. 검증기 게이팅 언어 레이어 (Verifier-Gated Language Layer):
   충실성을 보장하기 위해 시스템은 유형화된 클레임 스키마(10가지 유형: 위치, 간격, 타이어 등)를 사용한다.

• 검증: 생성된 모든 문장은 클레임 단위로 분해되어 라이브 상태 스냅샷과 대조 검증된다.
• 충실성 게이팅 미세 조정: 미세 조정 코퍼스(3,045개 타겟)는 검증기에 의해 필터링된다. 모든 클레임이 상태에 의해 뒷받침되는 모델 생성 타겟만이 채택되며(채택률 81.9%), 나머지는 증명 가능한 충실한 템플릿으로 대체된다. 이를 통해 생성기가 근거 없는 데이터에 기반해 학습되지 않도록 보장한다.
• 기본 모델 선택: 네 가지 베이스 모델(1B–7B)에 대한 실험 결과, 희소한 컨텍스트에서의 충실성은 모델 규모가 아니라 기본 모델의 지시 이행 능력(instruction adherence)에 달려 있음을 밝혔다. Phi-4-mini 모델이 선택되었는데, 이는 데이터가 희소할 때 엔티티를 만들어내는 7B 모델들과 달리, 정보를 생략함으로써 환각을 방지했기 때문이다.

주요 기여

1. 검증되고 보정된 실시간 엔진: 126개의 레이스(20182024)에 대해 검증되고, 20252026 시즌에 대해 완전히 홀드아웃된 검증을 거친 벡터화된 시뮬레이터로, 브라이어 점수 0.0745와 90.3%의 우승자 상위 3위 진입 정확도를 달축했다.
2. 정직한 절제를 통한 학습된 추월 커널: 추월 예측을 개선하지만 필드 수준의 보정 성능을 명시적으로 저하시키는 로지스틱 모델을 통해, 태스크 수준의 정확도가 반드시 시스템 수준의 보정으로 이어지지는 않는다는 점을 입증했다.
3. CRN을 이용한 언더컷 윈도우 카운터팩추얼: 전략적 결정을 위해 분산 제어된 확률 델타를 제공하기 위해 공통 난수(CRN)를 사용하는 공식적인 처리를 도입했다.
4. 컴파운드 기반 정규화 및 보정/의사결정 분리: 병리적인 라이브 호출을 해결하는 원칙적인 투영 방법을 제시했으며, 이 수정 사항이 보정 성능을 유지하기 위해 의사결정 경로에만 격리되어야 함을 발견했다.
5. 검증기 게이팅 언어 레이어: 모든 문장의 발행, 모든 미세 조정 타겟, 그리고 베이스 모델 선택 자체에서 충실성이 아키텍처적 속성으로서 강제되는 시스템을 구축했다.
6. 엔드 투 엔드 라이브 배포: 2026년 오스트리아 및 영국 그랑프리에서의 성공적인 운영을 통해, 범용 클라우드 인프라 상에서 라이브 데이터 수집, 시뮬레이션 및 검증된 3개 국어 중계를 시연했다.

결과

• 보정(Calibration): 시스템은 홀드아웃된 2025~2026 시즌에 대해 0.0745의 결합 브라이어 점수를 달성했다. 우승자는 64.5%의 레이스에서 모달(modal) 시뮬레이션 우승자로 식별되었고, 90.3%의 레이스에서 상위 3위 안에 들었다.
• 의사결정 충실도: 실행 가능성 캡이 적용된 의사결정 경로는 실행 불가능한 스틴트 권장 사항을 90.5%(제한 없음)에서 0.0%로 줄였으며, 실행된 모달 플랜과의 스톱 횟수 일치도를 59.5%에서 69.0%로 향상시켰다.
• 라이브 성능: 2026년 영국 그랑프리에서 시스템은 체커 플래그가 휘둘리기 10랩 전에 우승 확률 97.7~99.5%로 최종 우승자를 포착했다. 결과가 나오기 전 디스크에 기록된 타임스탬프 확률 트레이스는 실시간 레이스 역학을 추적하는 시스템의 능력을 확인시켜 주었다.
• 충실성: 지시 이행 능력이 뛰어난 Phi-4-mini 어댑터는 희소한 컨텍스트에서 드라이버나 간격을 환각하는 것을 성공적으로 피했으나, 더 풍부한 모델들은 실패했다. 시스템은 학습 과정에서 근거 없는 데이터가 학습되지 않도록 생성된 타겟의 18.1%를 템플릿 폴백(fallback)으로 필터링했다.

의의 및 주장
본 논문은 Pitwall이 공식 라이브 타이밍을 수집하고, 보정된 확률적 상태를 유지하며, 검증된 자연어 브리핑을 실시간으로 생성하는 최초로 문서화된 엔드 투 엔드 시스템이라고 주장한다. 주요 의의는 **"미덕(virtues)은 서로 상충하며 반드시 별도로 게이팅되어야 한다"**는 방법론적 논거에 있다. 저자들은 다음을 입증했다:

• 보정 최적화 구성이 반드시 의사결정 최적화 구성을 의미하지는 않는다.
• 생성 대상의 풍부함은 생생함을 더해주지만, 근거 상태가 희소할 때는 환각으로 무너질 수 있다.
• 베이스 모델 선택(지시 이행 능력)은 파라미터 규모와 독립적으로 충실성을 결정하는 핵심 게이트이다.

시스템은 충실성을 단순한 열망이 아닌 구조적 제약으로 취급하여, 각 구성 요소를 개선하는 특정 경로(Oracle vs. Decision)로 라우팅하고, 검증기를 통해 학습 데이터와 추론 출력을 모두 게이팅한다. 본 논문은 신뢰성을 유지하기 위해 부정적인 결과(예: 현실성은 높이지만 보정 성능을 저하시키는 구성 요소)를 보고하는 것이 필수적임을 강조하며, 이를 통해 의사결정 지원 시스템의 템플릿을 제시한다. 배포 결과는 엄격한 보정, 검증 및 이중 경로 라우팅이 적용된다면, 공공 데이터와 범용 인프라만으로도 팀 수준의 의사결정 지원 시스템을 구축할 수 있음을 확인시켜 준다.