When Reproducible Revenue-Management Simulations Are Still Invalid: Evidence From a Continuation-Value Policy Audit

Imagine um mundo onde cada assento em um avião é uma fruta perecível. Assim que o avião decola, qualquer assento não vendido desaparece para sempre, apodrecendo no ar. As companhias aéreas enfrentam um quebra-cabeça constante e de alto risco: devem vender uma passagem agora por um preço mais baixo para um viajante de baixo custo, ou manter esse assento vazio na esperança de que um viajante de negócios pague o dobro do preço mais tarde? Este é o cerne da gestão de receita das companhias aéreas. Para resolver isso, as companhias aéreas utilizam programas de computador que tentam prever o valor futuro de um assento vazio. Esses programas executam milhares de simulações, criando passageiros falsos e demanda falsa para testar qual estratégia gera mais dinheiro. Se um novo programa de computador afirma ganhar significativamente mais que o antigo, uma companhia aérea pode gastar milhões para comprá-lo. Mas e se o próprio teste foi manipulado, não por malícia, mas por um erro sutil na forma como o computador gerou seu mundo falso?

Um estudo recente do pesquisador Zhaorui Zhu investiga exatamente este perigo. O artigo examina um experimento específico onde uma nova estratégia de preços foi comparada com um método padrão e bem conhecido chamado EMSR-b. A nova estratégia usava um "valor de continuação", um termo sofisticado para um palpite sobre quanto dinheiro um assento vazio valeria mais tarde no voo. O estudo original alegava que o novo método era quase tão bom quanto o padrão e, de algumas formas, muito promissor. No entanto, a equipe de Zhu decidiu auditar o experimento do zero, não para ver se o código podia rodar novamente, mas para ver se a comparação era realmente justa. Eles descobriram que, embora o computador pudesse recriar perfeitamente os números originais, a lógica por trás desses números era falha de quatro maneiras distintas.

O primeiro grande problema foi um problema de tempo e sorte. No experimento original, o computador gerou um fluxo de eventos aleatórios — como quando um passageiro poderia aparecer ou quanto eles poderiam pagar. Ele executou a primeira estratégia, depois a segunda, depois a terceira, usando o mesmo fluxo de números para todas elas. Mas, como as estratégias foram executadas uma após a outra, elas não enfrentaram a mesma sequência de eventos. Era como correr uma corrida onde o primeiro corredor recebe um vento de cauda, o segundo um vento de frente e o terceiro uma brisa calma, simplesmente porque o vento mudou enquanto eles corriam. Quando os pesquisadores reavaliaram os resultados usando um método rigoroso que garantia que cada estratégia enfrentasse exatamente a mesma sequência de eventos aleatórios ao mesmo tempo, os resultados mudaram. A estratégia nova, que parecia competitiva, subitamente ficou atrás do método padrão por quase dezesseis por cento. A vantagem aparente da nova abordagem fora uma ilusão criada por um mau tempo.

O segundo problema envolveu como o computador olhava para o futuro. A nova estratégia tentava estimar o valor de um assento olhando adiante para a demanda esperada. No entanto, o código estava avaliando este valor futuro no momento errado. Em vez de calcular quanto o assento valeria após uma decisão ser tomada e um passageiro potencialmente embarcar, ele calculava o valor com base no estado atual, antes de qualquer ação ser tomada. Isso significava que a parte do "valor futuro" do cálculo era essencialmente um número constante que não mudava com base na escolha específica sendo feita. Era como um motorista tentando navegar olhando para um mapa que mostrava o mesmo destino independentemente de qual curva ele fizesse. Como esse termo não influenciava realmente o processo de tomada de decisão, a estratégia não estava verdadeiramente usando a informação futura que alegava usar.

A terceira falha foi um truque estatístico que escondeu um erro massivo. Quando os pesquisadores observaram o quão bem as previsões do computador correspondiam à realidade, eles incluíram muitos cenários onde o avião já estava cheio. Nesses casos, o valor de um assento extra é zero, portanto, o erro é zero. Ao incluir esses assentos vazios na média, o computador fez sua precisão de previsão parecer muito melhor do que realmente era. Quando os pesquisadores removeram esses casos de "valor zero" e olharam apenas para os momentos em que uma decisão realmente importava, a taxa de erro era muito maior. O modelo estava consistentemente subestimando o valor dos assentos quando isso importava mais, uma falha que o relatório original havia mascarado ao incluir os casos fáceis de assentos vazios.

A descoberta mais danosa veio de um teste de generalização, que é a capacidade de aplicar uma lição aprendida em uma situação a uma completamente nova. O estudo original treinou seu modelo de computador em um conjunto de cenários de voo específicos e depois o testou em um conjunto ligeiramente diferente dos mesmos cenários. Ele teve um bom desempenho. Mas a equipe de Zhu mudou o teste inteiramente: eles treinaram o modelo em um grupo de voos e depois o testaram em um grupo de voos completamente diferente, que o modelo nunca tinha visto antes. O resultado foi um colapso total. As previsões do modelo tornaram-se piores do que simplesmente chutar a média. Ele falhou em aprender quaisquer regras reais sobre como a demanda funciona; ele apenas memorizou os padrões específicos dos voos de treinamento. Mesmo quando os pesquisadores tentaram usar este modelo quebrado para tomar decisões de preços, ele ainda teve um desempenho pior que o método padrão, perdendo cerca de três por cento de receita potencial.

O estudo conclui que um programa de computador pode produzir números idênticos e reproduzíveis e ainda assim ser completamente inválido. O experimento original era mecanicamente reproduzível — o código rodava e dava as mesmas respostas — mas a comparação era cientificamente sem fundamento. A nova estratégia não venceu a antiga; de fato, ela foi significativamente pior uma vez que o acaso aleatório foi alinhado corretamente. Os pesquisadores argumentam que isso não é apenas um problema com um pedaço de código, mas um aviso para toda a indústria. Quando companhias aéreas ou fornecedores de software apresentam resultados de simulação para provar que um novo sistema funciona, eles devem garantir que cada estratégia enfrente exatamente os mesmos eventos aleatórios, que as previsões futuras sejam calculadas no momento certo e que o sistema seja testado em cenários novos e nunca vistos antes.

Para evitar esses tipos de erros, o artigo propõe um checklist de dez etapas para quem estiver avaliando esses sistemas. Este protocolo exige que os pesquisadores congelem os eventos aleatórios para que sejam idênticos para todos os testes, verifiquem se o código está realmente tomando decisões com base na informação correta e relatem resultados em conjuntos de dados completamente novos, em vez de apenas retestar os antigos. Sugere que, antes de uma companhia aérea gastar dinheiro com um novo motor de preços, ela deve exigir ver o código bruto, os dados inalterados e a prova de que o sistema funciona em voos que ele nunca viu antes. O objetivo é ir além de simplesmente verificar se um computador pode repetir um resultado, para garantir que o resultado diga a verdade sobre como o sistema irá desempenhar no mundo real. No jogo de alto risco da receita das companhias aéreas, onde cada assento não vendido é perdido para sempre, a diferença entre uma boa simulação e uma má não é apenas um número; é a diferença entre lucro e prejuízo.