A Tale of Two Cities: Pessimism and Opportunism in Offline Dynamic Pricing

Resumo Técnico: Um Conto de Duas Cidades: Pessimismo e Oportunismo na Precificação Dinâmica Offline

Declaração do Problema
Este artigo aborda o desafio da precificação dinâmica offline em ambientes onde dados históricos fornecem cobertura incompleta do espaço de preços. Em muitas aplicações práticas, as empresas não podem arcar com os custos ou riscos de experimentação extensiva, levando a conjuntos de dados onde certos preços candidatos — incluindo potencialmente os ótimos — são totalmente não observados. Métodos padrão de aprendizado por reforço offline (RL), incluindo aqueles que dependem de suposições de cobertura total ou parcial (onde as ações da política ótima devem estar representadas nos dados), falham nesses cenários de "sem cobertura". Quando o preço ótimo está ausente, a demanda e as funções-Q deixam de ser identificadas pontualmente, tornando os estimadores padrão subótimos ou inaplicáveis. Os autores visam desenvolver um framework estatisticamente sólido para precificação dinâmica offline que opere sem qualquer suposição de cobertura de dados, aproveitando a regularidade econômica fundamental de que a demanda é não crescente em relação ao preço.

Metodologia
Os autores propõem um framework de identificação não paramétrica que explora a monotonicidade da demanda em relação ao preço para estabelecer limites para o valor de preços não observados.

1. Framework de Identificação Parcial:
   Em vez de extrapolar por meio de modelos paramétricos, o método constrói limites intervalares para a função de distribuição de demanda $F_t(d|a)$ em preços não observados $a$. Esses limites são derivados das distribuições de demanda observadas nos preços observados mais próximos inferiores ($a^L_t$) e superiores ($a^U_t$). Especificamente, para um preço não observado $a$, a função de distribuição acumulada (CDF) condicional é limitada por $F_t(d|a^L_t) \le F_t(d|a) \le F_t(d|a^U_t)$. Para contabilizar erros de amostragem, os autores refinam esses limites usando intervalos de confiança derivados da desigualdade de Dvoretzky–Kiefer–Wolfowitz, garantindo que a verdadeira CDF esteja dentro do intervalo construído com alta probabilidade.

2. Regras de Decisão:
   Dentro deste framework, os autores formulam duas regras de decisão dinâmica distintas adaptadas a ambientes sequenciais sem cobertura:

   • Política Pessimista: Esta política maximiza a receita no pior caso. Ela seleciona o preço que maximiza o limite inferior da função-Q, construído minimizando a função-Q sobre o conjunto de confiança de possíveis distribuições de demanda. Esta abordagem oferece proteção contra riscos de queda quando a incerteza sobre preços não observados é substancial.
   • Política Oportunista: Esta política minimiza o arrependimento no pior caso em relação à melhor alternativa viável. Diferentemente da abordagem pessimista, que foca no limite inferior da receita, a abordagem oportunista considera o máximo arrependimento que uma ação pode incorrer em comparação com a melhor ação alternativa sob a realização no pior caso da demanda desconhecida. Isso permite que as empresas busquem potenciais ganhos de preços subexplorados.

3. Algoritmos:
   Os autores desenvolvem algoritmos eficientes para ambas as políticas usando indução reversa (programação dinâmica). A etapa computacional central envolve resolver um programa linear para encontrar o valor-Q no pior caso (para a política pessimista) ou o arrependimento no pior caso (para a política oportunista) dentro dos conjuntos de confiança construídos.

Principais Contribuições

1. Framework Sem Cobertura: O artigo apresenta a primeira técnica de precificação dinâmica offline que permanece válida sem qualquer suposição de cobertura de dados. Introduz um framework de identificação parcial para aprendizado de políticas quando preços ótimos estão ausentes de dados offline, impondo nenhuma restrição paramétrica sobre a demanda, a classe de políticas ou a classe de funções-Q.
2. Garantias Teóricas: Os autores estabelecem limites de arrependimento de amostra finita para ambas as políticas pessimista e oportunista. Os limites decompõem-se em dois termos: um capturando o erro de estimação para preços observados e outro quantificando o custo adicional induzido por preços ótimos não observados.
   • Quando o preço ótimo está coberto, o arrependimento recupera a taxa padrão de $O_p(\sqrt{\log N / N})$.
   • Quando a cobertura falha, os resultados quantificam o custo preciso do aprendizado sob identificação parcial, mostrando que o limite é apertado (atingível).
3. Mapeamento Gerencial: O framework fornece um mapeamento prático da postura de risco de uma empresa para sua política de precificação. Distingue entre empresas que buscam estabilidade de receita (política pessimista) e aquelas dispostas a assumir risco medido por ganhos potenciais (política oportunista).

Resultados
Os autores avaliam seus métodos por meio de simulações e uma aplicação com dados reais envolvendo precificação de passagens aéreas.

• Simulações: Usando modelos de demanda Poisson e Binomial Negativa com vários mecanismos de dados ausentes, os métodos propostos são comparados a bases de RL offline padrão (Ganancioso, Pessimista Puro, Q-Learning Conservador e Batch-Constrained Q-learning). Os resultados mostram que o método oportunista proposto frequentemente supera as bases, particularmente em cenários onde a política de comportamento é subótima ou a cobertura de dados é esparsa. O método oportunista frequentemente alcança desempenho comparável a uma política ótima oráculo, mesmo com preços ausentes. O método pessimista refinado também supera a abordagem pessimista pura em vários casos. Notavelmente, o método oportunista é o único capaz de selecionar preços não observados que são ótimos, enquanto as bases pessimistas (incluindo a versão refinada na maioria dos casos) tendem a excluí-los.
• Aplicação com Dados Reais: Em uma análise de dados de passagens aéreas da Expedia (JFK para CLT), onde certos pontos de preço estavam sub-representados, o método oportunista alcançou a maior receita total empírica em simulações de Monte Carlo. O método pessimista refinado ficou em terceiro lugar, performando ligeiramente pior que o CQL, enquanto a abordagem pessimista pura rendeu a menor receita. A abordagem oportunista selecionou com sucesso o ponto de preço não observado em estados específicos, enquanto o CQL não o fez.

Significado e Alegações
O artigo alega preencher a lacuna entre precificação dinâmica offline e identificação parcial em um ambiente sequencial sem cobertura. Argumenta que os métodos existentes de RL offline são inadequados para problemas de precificação onde o preço ótimo pode estar totalmente ausente dos dados históricos. Ao aproveitar a monotonicidade da demanda, o framework proposto permite o aprendizado de políticas além do suporte dos dados observados sem depender de suposições paramétricas. Os autores enfatizam que seus limites de arrependimento são apertados e ótimos em termos de taxa. Gerencialmente, o trabalho oferece uma ferramenta matizada para tomadores de decisão, permitindo-lhes escolher entre uma estratégia conservadora (pessimismo) para proteção contra quedas e uma estratégia agressiva (oportunismo) para ganhos potenciais, dependendo de sua tolerância ao risco e disponibilidade de recursos. O artigo conclui que, embora nenhuma estratégia supere uniformemente a outra, a escolha depende do contexto específico e dos objetivos estratégicos da empresa em relação ao risco e à incerteza.