Post-Experiment Decisions: The Dual Adjustments for Rollout and Downstream Optimizations

O artigo propõe o método PATRO, uma abordagem prática que ajusta de forma independente as estimativas de efeitos experimentais para decisões de implementação e otimização operacional subsequente, oferecendo um desempenho próximo ao ótimo bayesiano com maior transparência e simplicidade computacional.

O essencial

Imagine que você é o dono de uma rede de restaurantes e decidiu testar uma nova tecnologia: pedidos por tablet.

Você fez um teste pequeno em 5 restaurantes. O resultado foi promissor: os clientes pediram mais rápido e a mesa girou mais vezes. Mas há um problema: o teste foi pequeno, então você não tem 100% de certeza se esse resultado é real ou apenas "sorte" (ruído estatístico).

Agora, você precisa tomar duas decisões difíceis:

1. A Grande Decisão (Rollout): Devo implantar os tablets em todas as 100 lojas da rede?
2. A Decisão Operacional (Otimização): Se eu implantar, quantos garçons devo contratar? Devo aumentar o número de mesas?

O Problema do "Método Padrão" (PTO)

A maioria das empresas faz o seguinte: pega o resultado do teste (digamos, "os tablets aumentaram a velocidade em 10%") e joga esse número direto nas decisões.

• Se o teste diz +10%, eles implantam em tudo e contratam para um aumento de 10%.

O erro aqui é que o teste é pequeno e incerto.

• Se você superestimar o sucesso (achar que é 10% quando é só 2%), você gasta dinheiro à toa implantando em tudo e contratando garçons demais.
• Se você subestimar o sucesso (achar que é 2% quando é 10%), você perde dinheiro por não implantar e fica com mesas vazias.

O problema é que o custo de errar para mais é diferente do custo de errar para menos. O "Método Padrão" trata os dois erros como iguais, o que é perigoso.

A Solução Criativa: PATRO (Ajuste Inteligente)

Os autores deste artigo propõem uma nova forma de pensar chamada PATRO (Prever-Ajustar-Depois-Rolagem-Otimizar).

Em vez de usar o número cru do teste, eles sugerem fazer um "ajuste de segurança" antes de tomar a decisão. Pense nisso como um filtro de realidade ou um óculos de proteção.

A ideia genial é que você precisa de dois óculos diferentes para as duas decisões:

1. O Óculos da "Porta de Entrada" (Decisão de Implantar)

Antes de abrir a porta para implantar em tudo, você deve ser mais cauteloso ou mais agressivo dependendo do risco.

• Analogia: Imagine que você está testando um novo remédio. Se o remédio for perigoso, você só o usa se tiver certeza absoluta (ajuste conservador). Se o remédio for muito barato e a doença grave, você pode ser mais agressivo e usá-lo mesmo com uma prova um pouco fraca (ajuste agressivo).
• No caso dos tablets, se o custo de implantar é alto, o ajuste diz: "Espere! O teste mostrou 10%, mas devido à incerteza, vamos agir como se fosse apenas 8% antes de decidir implantar." Isso evita implantar algo que não funciona.

2. O Óculos da "Operação Diária" (Quantos Garçons Contratar?)

Se você decidiu implantar, agora precisa definir o tamanho da operação. Aqui, o ajuste funciona de forma diferente.

• Analogia: Imagine que você está dirigindo um caminhão com uma carga precária. Se você acha que a estrada está boa, mas pode estar ruim, você não dirige na velocidade máxima. Você ajusta a velocidade (a operação) para se proteger do pior cenário.
• No caso dos tablets, se a tecnologia funciona, mas você não sabe exatamente quanto funciona, você pode ajustar o número de garçons para um nível que proteja o lucro mesmo se o aumento de clientes for menor que o esperado.

A Magia: Os Ajustes são "Parceiros" ou "Rivais"?

O artigo descobre algo surpreendente: esses dois ajustes (o da porta e o da operação) conversam entre si.

• Às vezes, eles são rivais (substitutos): Se você ajustar muito a operação para ser seguro, não precisa ajustar tanto a decisão de implantar.
• Às vezes, eles são parceiros (complementares): Se você for mais agressivo na operação, precisa ser ainda mais cauteloso na decisão de implantar, e vice-versa.

O método deles cria uma fórmula matemática simples para calcular exatamente quanto "empurrar" o número do teste para cima ou para baixo em cada etapa, garantindo que você não perca dinheiro.

Por que isso é importante?

1. Não precisa reinventar a roda: Você não precisa mudar como coleta os dados ou como calcula a média. Você só pega o resultado e aplica um "desconto" ou "bônus" inteligente antes de decidir.
2. Quase perfeito: O método é tão bom que chega perto de ser a decisão "divina" (a melhor possível matematicamente), mas é muito mais fácil de explicar para o chefe e de implementar.
3. Economia real: Em testes pequenos (que são comuns no mundo real), esse ajuste inteligente pode salvar milhões de dólares em erros de implantação ou oportunidades perdidas.

Resumo da Ópera:
Não confie cegamente no número que saiu do teste. Use a matemática para "temperar" esse número antes de decidir se vai fazer algo e como vai fazer. É como um piloto que, ao ver uma previsão de tempo incerta, decide não apenas se vai voar, mas também com que velocidade e altitude voar, para garantir que chegue seguro ao destino.

Resumo técnico

Resumo Técnico: Decisões Pós-Experimento e Ajustes Duais

1. O Problema

As empresas utilizam cada vez mais experimentos aleatorizados (como testes A/B) para decidir se devem escalar uma intervenção (ex: nova tecnologia, mudança de preço) e, em caso afirmativo, como re-otimizar escolhas operacionais subsequentes (ex: estoque, capacidade, precificação).

O desafio central reside no fato de que esses experimentos são frequentemente realizados em amostras pequenas, resultando em estimativas de efeito causal incertas. A prática comum, conhecida como paradigma Prever-Depois-Otimizar (PTO - Predict-Then-Optimize), consiste em inserir a estimativa pontual (geralmente a média posterior) diretamente nas regras de decisão.

No entanto, o PTO é sistematicamente subótimo neste contexto por duas razões principais:

1. Assimetria de Custos: Os custos de superestimar (implementar um tratamento ineficaz ou investir excessivamente) diferem dos custos de subestimar (perder uma oportunidade lucrativa). O PTO trata esses erros de forma simétrica.
2. Estrutura Não-Linear: A decisão pós-experimento é bifásica: (i) uma decisão binária de rollout (implementar ou não) e (ii) uma decisão contínua de otimização operacional. O PTO ignora a interação entre essas duas etapas e a amplificação do ruído de estimação pela otimização (a "maldição do otimizador").

2. Metodologia: PATRO

Os autores propõem uma abordagem alternativa chamada Predict-Adjust-Then-Rollout-Optimize (PATRO).

• Conceito Central: Manter a estimação causal padrão (Passo "P"), mas aplicar ajustes deliberados e independentes na estimativa do efeito antes de inseri-la nas regras de decisão de rollout e de otimização operacional.
• Mecanismo de Ajuste: No quadro Bayesiano com posterior Gaussiano, o estimador PTO corresponde à média (ou mediana, quantil 0.5). O PATRO substitui a média por quantis ótimos da distribuição posterior (equivalentes a um deslocamento aditivo $\delta$ da média).
• Ajuste Dual: O método reconhece que as decisões de rollout ($\hat{\tau}_r$) e operacionais ($\hat{\tau}_o$) podem exigir ajustes diferentes ($\delta_r$ e $\delta_o$).
  • O ajuste $\delta_r$ visa minimizar o risco de erro de Tipo I (falso positivo) e Tipo II (falso negativo) na decisão de implementação.
  • O ajuste $\delta_o$ visa corrigir o viés na otimização operacional condicional à implementação.
• Algoritmo: Os autores derivam condições de otimalidade de primeira ordem e propõem um método de iteração alternada para calcular o par de ajustes ótimos, provando sua convergência.

3. Contribuições Principais

O artigo oferece três insights teóricos fundamentais:

1. Direção dos Ajustes (Curvatura):

   • A direção do ajuste (positivo ou negativo) depende da curvatura da função de recompensa em relação ao efeito verdadeiro.
   • Se a função de recompensa é côncava (perdas de baixo lado dominam ganhos de cima), o rollout deve ser mais conservador ($\delta_r < 0$).
   • Se a função é convexa, o rollout deve ser mais agressivo ($\delta_r > 0$).

2. Interação entre Ajustes (Substitutos vs. Complementares):

   • Os ajustes para rollout e operação não são independentes. Eles podem atuar como substitutos (ajustar um reduz a magnitude necessária do outro) ou complementares (ajustar um aumenta a magnitude do outro).
   • Isso implica que decisões de implementação e operacionais não podem ser tratadas isoladamente; devem ser otimizadas conjuntamente.

3. Desempenho Próximo ao Ótimo Bayesiano:

   • Surpreendentemente, apesar de o PATRO usar apenas quantis fixos (regras de plug-in), seu desempenho em termos de arrependimento esperado (Bayes Risk) é equivalente ou negligenciavelmente inferior à regra Bayesiana ótima completa (que requer computação complexa e falta de transparência).
   • O PATRO oferece uma ponte prática entre o fluxo de trabalho padrão (PTO) e a otimização Bayesiana completa.

4. Resultados e Evidências Numéricas

Os autores validam a teoria através de três exemplos numéricos distintos:

• Gestão de Estoque (Modelo Newsvendor):

  • A função de recompensa é côncava.
  • Resultado: O ajuste de rollout é negativo (mais conservador) e os ajustes atuam como substitutos.
  • Melhoria no arrependimento: Até ~4.5% em amostras pequenas (n=10).

• Planejamento de Capacidade de Serviço (Upgrade Tecnológico):

  • A função de recompensa é convexa (devido à natureza logarítmica do tempo de serviço).
  • Resultado: O ajuste de rollout é positivo (mais agressivo) e os ajustes atuam como complementares.
  • Melhoria no arrependimento: Até ~8.2% em amostras pequenas.

• Precificação com Demanda Log-Linear:

  • A função de recompensa é convexa em relação ao efeito, mas independente do estimador operacional.
  • Resultado: Ajuste positivo no rollout, sem ajuste na operação.

Tabela de Resultados (Resumo):
A Tabela 1 do artigo demonstra que, à medida que o tamanho da amostra ($n$) aumenta, a taxa de melhoria do arrependimento diminui (convergência assintótica $O(n^{-1})$), mas em amostras pequenas (10-30 unidades), o PATRO reduz significativamente o arrependimento em comparação com o PTO padrão.

5. Significado e Implicações

• Praticidade: O PATRO não exige mudar o pipeline de estimação da empresa nem os modelos de decisão existentes. Apenas exige um pré-cálculo de um deslocamento aditivo (baseado na curvatura do problema e no tamanho da amostra) antes de usar a estimativa.
• Transparência: Diferente de regras de decisão Bayesiana complexas que dependem de toda a distribuição posterior, o PATRO mantém a simplicidade de usar um único número (estimativa ajustada), facilitando a adoção por gestores.
• Robustez: O método lida eficazmente com a incerteza de amostras pequenas, onde a otimização baseada em estimativas não ajustadas tende a gerar grandes perdas econômicas devido à assimetria de riscos.

Em suma, o artigo demonstra que, em ambientes de decisão em duas etapas com incerteza de estimação, a simples inserção de uma estimativa "significativa" é insuficiente. A aplicação de ajustes duais baseados na estrutura econômica do problema (PATRO) é uma solução simples, teoricamente fundamentada e altamente eficaz para converter evidências experimentais ruidosas em decisões operacionais superiores.