Pitwall: Faithful Natural-Language Race-Strategy Briefings from a Calibrated Real-Time Monte Carlo Engine

Resumo Técnico: Pitwall – Briefings de Estratégia de Corrida Fidedignos em Linguagem Natural

Definição do Problema
A narração de esportes ao vivo, particularmente na Fórmula 1, representa um caso exigente de geração fundamentada (grounded generation). O sistema deve gerar afirmações sobre atletas reais e nomeados onde o estado de fundamentação (posições, gaps, compostos de pneus, status da pista) muda a cada poucos segundos. Diferente das tarefas padrão de dados para texto, não há um texto de referência no momento da geração, e o custo da alucinação é alto: uma afirmação confidentemente incorreta sobre um piloto específico é mais prejudicial do que o silêncio. Além disso, embora as equipes utilizem ferramentas de simulação proprietárias para estratégia, esses sistemas carecem de calibração pública, e a literatura acadêmica ainda não abordou o cenário de tempo real, calibrado por probabilidade e focado em decisão, exigido para briefings de estratégia ao vivo. O desafio central é construir um sistema que ingira dados de cronometragem ao vivo, simule resultados de corridas com probabilidades calibradas e verbalize essas descobertas em linguagem natural sem fabricar fatos, mesmo quando o estado é esparso.

Metodologia
O Pitwall é um sistema de produção ponta a ponta composto por quatro estágios: Pipeline de Dados, Mecanismo de Monte Carlo, Camada de Decisão e Camada de Linguagem.

1. Pipeline de Dados e Reconstrução de Estado:
   O sistema ingere o fluxo de cronometragem ao vivo oficial do F1 SignalR a uma cadência de 1 segundo. Ele reconstrói um estado de corrida probabilístico canônico incrementalmente, espelhando o esquema usado para dados históricos (157 corridas de 2018–2026, excluindo 2022 devido a problemas de confiabilidade de dados). Isso garante que o motor de tempo real e o motor de backtest executem caminhos de código idênticos.

2. Mecanismo de Monte Carlo Vetorizado:
   O simulador central avança $N=2.000$ continuações de corrida simultaneamente usando operações de matriz vetorizadas (NumPy). Componentes principais incluem:

   • Tempo de Volta e Degradação (H5): Modela o desgaste dos pneus como uma inclinação linear com "nós" de declínio (cliff) opcionais específicos do circuito. Crucialmente, ele decompõe as inclinações ajustadas para remover confusões de queima de combustível e evolução da pista, limitando o desgaste a limites fisicamente plausíveis.
   • Ultrapassagem (H7): Um núcleo logístico ajustado em 131.000 batalhas prevê a probabilidade de passagem com base no delta de ritmo e idade do pneu. No entanto, experimentos mostraram que isso melhorou a previsão de passagens individuais, mas degradou a calibração de nível de campo.
   • Carro de Segurança/Virtual Safety Car (H13): Simula o deployment estocástico com multiplicadores de ritmo distintos e descontos de perda de tempo em pit stop.
   • Política de Rivais (H1): Assume que os rivais jogam uma estratégia de ritmo otimizado e de malha aberta (open-loop). Um componente reativo (H17) permite que os rivais antecipem paradas durante neutralizações.
   • Janela de Undercut (H14): Avalia contrafatuais (parar agora, +1 volta, +2 voltas, permanecer na pista) usando Números Aleatórios Comuns (CRN) para isolar os efeitos da estratégia do ruído de amostragem.
   • Normalização Baseada em Composto (H9): Projeta ritmos de pneus ajustados para uma ordenação canônica (macio $\le$ médio $\le$ duro) para evitar recomendações espúrias de "pneu rápido" causadas por confusão de fase de corrida.

3. Princípio de Via Dupla:
   Uma contribuição metodológica central é a separação do Caminho do Oráculo (para probabilidades de resultado calibradas) e do Caminho de Decisão (para recomendações). Os componentes são controlados (gated) de forma independente:

   • O caminho do Oráculo utiliza a configuração que minimiza o erro de Brier em dados retidos (ex: excluindo a normalização H9, que melhorou a fidelidade de decisão, mas degradou a calibração).
   • O caminho de Decisão utiliza configurações que maximizam a fidelidade de decisão (ex: incluindo H9 e limites de viabilidade), mesmo que piorem a calibração de resultados.
   • Cada componente é "controlado por paridade" (parity-gated), sendo enviado com uma configuração padrão que reproduz o motor incumbente bit a bit até que uma métrica de dados retidos prove uma melhoria.

4. Camada de Linguagem com Verificação de Controle:
   Para garantir a fidelidade, o sistema emprega um esquema de afirmações tipadas (10 tipos: posição, gap, pneus, etc.).

   • Verificação: Cada frase gerada é decomposta em afirmações e verificada contra o snapshot do estado ao vivo.
     ���������* Ajuste Fino Controlado pelo Verificador: O corpus de ajuste fino (3.045 alvos) é filtrado pelo próprio verificador. Apenas os alvos gerados pelo modelo onde cada afirmação é suportada pelo estado são admitidos (taxa de admissão de 81,9%); o restante recua para templates comprovadamente fiéis. Isso garante que o gerador nunca seja treinado com dados não fundamentados.
          * Seleção do Modelo Base: Experimentos em quatro modelos base (1B–7B) revelaram que a fidelidade sob contextos esparsos não é uma função de escala, mas da aderência às instruções do modelo base. O modelo Phi-4-mini foi selecionado porque ele se abstém de alucinar em dados esparsos, enquanto modelos maiores (7B) fabricaram entidades para preencher o registro.

Principais Contribuições

1. Mecanismo de Tempo Real Validado e Calibrado: Um simulador vetorizado calibrado em 126 corridas (2018–2024) e validado nas temporadas de 2025–2026 totalmente retidas, alcançando um erro de Brier de 0,0745 e 90,3% de precisão de vencedor no top-3.
2. Núcleo de Ultrapassagem Aprendido com Ablação Honesta: Um modelo logístico que melhora a previsão de passagens, mas é explicitamente mostrado como degradando a calibração de nível de campo, demonstrando que a precisão ao nível da tarefa não garante a calibração do sistema.
3. Undercut como CRN Contrafactual: Um tratamento formal de tempo de parada nos boxes usando Números Aleatórios Comuns (CRN) para fornecer deltas de probabilidade com variância controlada para decisões estratégicas.
4. Normalização de Composto-Base e Divisão de Calibração/Decisão: Um método de projeção principado que corrige chamadas ao vivo patológicas, juntamente com a descoberta de que esta correção deve ser isolada para o caminho de decisão para preservar a calibração de probabilidade.
5. Camada de Linguagem Controlada pelo Verificador: Um sistema onde a fidelidade é uma propriedade arquitetônica imposta em três níveis: em cada frase publicada, em cada alvo de ajuste fino e através da própria seleção do modelo base.
6. Implantação Live End-to-End: Operação bem-sucedida nos GPs da Áustria e Grã-Bretanha de 2026, demonstrando ingestão ao vivo, simulação e comentários trilíngues verificados em infraestrutura de nuvem comum.

Resultados

• Calibração: O sistema atinge um erro de Brier combinado de 0,0745 nas temporadas de 2025–2026 retidas. O vencedor é identificado como o vencedor simulado modal em 64,5% das corridas e colocado no top-3 em 90,3%.
• Fidelidade de Decisão: O caminho de decisão com limite de viabilidade reduz recomendações de stints inviáveis de 90,5% (sem restrições) para 0,0% e melhora o acordo de contagem de paradas com os planos modais executados de 59,5% para 69,0%.
• Desempenho ao Vivo: No GP da Grã-Bretanha de 2026, o sistema identificou o eventual vencedor dez voltas antes da bandeira final com uma probabilidade de vitória de 97,7–99,5%. Um traço de probabilidade com carimbo de tempo registrado em disco antes que o resultado fosse conhecido confirmou a capacidade do sistema de rastrear a dinâmica da corrida em tempo real.
• Fidelidade: O adaptador Phi-4-mini, selecionado por sua aderência às instruções, evitou com sucesso a alucinação de pilotos ou gaps em contextos esparsos, enquanto modelos mais ricos falharam. O sistema filtrou com sucesso 18,1% dos alvos gerados para recuos de template durante o treinamento para garantir que nenhum dado não fundamentado fosse aprendido.

Significância e Alegações
O artigo afirma que o Pitwall é o primeiro sistema end-to-end documentado publicamente que ingere cronometragem oficial ao vivo, mantém um estado probabilístico calibrado e gera briefings de linguagem natural verificados em tempo real. Sua principal significância reside no argumento metodológico de que virtudes trocam entre si e devem ser controladas separadamente. Os autores demonstram que:

• Configurações ótimas para calibração não são necessariamente ótimas para decisão.
• A riqueza nos alvos de geração compra vivacidade, mas pode colapsar em alucinação quando o estado de fundamentação é esparso.
• A seleção do modelo base (aderência à instrução) é um controle crítico para a fidelidade, independente da escala de parâmetros.

O sistema trata a fidelidade não como uma aspiração, mas como uma restrição estrutural, roteando componentes para o caminho específico (Oráculo vs. Decisão) que eles melhoram e usando verificadores para controlar tanto os dados de treinamento quanto os saídas de inferência. O artigo posiciona essas descobertas como um modelo para sistemas de suporte à decisão em outros esportes, enfatizando a necessidade de relatar resultados negativos (ex: componentes que melhoram o realismo, mas degradam a calibração) para manter a credibilidade. A implantação confirma que o suporte à decisão de nível de equipe pode ser construído a partir de dados públicos em infraestrutura comum, desde que a calibração, a verificação e o roteamento de via dupla sejam rigorosamente aplicados.