Two-Sided Prioritized Ranking: A Coherency-Preserving Design for Marketplace Experiments

1. O Problema: Interferência e Coerência em Mercados Online

O artigo aborda um desafio fundamental na avaliação de experimentos (A/B tests) em plataformas de mercado online (como e-commerce e reservas de hotéis), onde os usuários escolhem itens de uma lista ranqueada. Existem duas barreiras principais para a estimação causal precisa:

1. Interferência (Violação da SUTVA): Em listas ranqueadas, os itens competem pela atenção limitada do usuário. Alterar o preço ou a característica de um item (tratamento) afeta a demanda dos outros itens na mesma lista (substituição ou complementaridade). Isso viola a Stable Unit Treatment Value Assumption (SUTVA), tornando os testes A/B padrão (randomização por item) enviesados, pois o efeito do tratamento não é isolado.
2. Restrição de Coerência (Coherency): Para manter a integridade da plataforma e evitar riscos legais/reputacionais (como discriminação de preços visível), as plataformas exigem que:
   • Todos os usuários vejam os mesmos preços para um mesmo item (paridade de preços).
   • Todos os usuários tenham acesso ao catálogo completo de itens.
   • Isso inviabiliza designs comuns como randomização por usuário (que mostraria preços diferentes para usuários diferentes) ou remoção de itens do catálogo.

O Dilema: Como estimar o efeito total de uma mudança de preço (efeito global) quando não se pode mostrar preços diferentes para usuários diferentes, nem remover itens, e onde os itens interferem entre si?

2. Metodologia: Two-Sided Prioritized Ranking (TSPR)

Os autores propõem o TSPR, um design experimental que utiliza o viés de posição (position bias) como fonte de variação para identificar efeitos causais, sem violar a coerência.

Mecanismo de Funcionamento

O TSPR randomiza tanto os usuários quanto os itens e reordena as listas de resultados de busca de forma sistemática:

1. Divisão de Itens: Os itens são divididos em três subconjuntos:
   • Tratados (Treated): Recebem a intervenção (ex.: desconto).
   • Não Tratados (Untreated): Mantêm o status quo.
   • Placebo: Itens neutros que atuam como "tampão" entre os grupos tratados e não tratados para garantir equilíbrio estatístico.
2. Divisão de Usuários (Queries): Os usuários são randomizados em dois grupos, $Q_A$ e $Q_B$.
3. Reordenação Prioritária:
   • Grupo $Q_B$ (Tratamento Prioritário): Os itens tratados são movidos para o topo da lista, seguidos pelos placebo e, por fim, os não tratados.
   • Grupo $Q_A$ (Controle Prioritário): Os itens não tratados são movidos para o topo, seguidos pelos placebo e, por fim, os tratados.
4. Manutenção da Coerência: Todos os usuários veem o mesmo conjunto de itens e os mesmos preços. A única diferença é a exposição ao tratamento devido à posição na lista (itens no topo recebem muito mais cliques).

Estrutura Teórica e Identificação

O objetivo é estimar o Elevação Global ($\Phi$), que compara o resultado esperado se todos os itens fossem tratados versus se nenhum fosse.

• O método assume que a atenção do usuário decai rapidamente com a posição (viés de posição).
• Ao priorizar itens tratados no topo para um grupo e itens de controle para o outro, o TSPR cria uma variação exógena na exposição ao tratamento.
• O efeito parcial observado em diferentes profundidades da lista ($l$) converge para o efeito global à medida que o tamanho do bloco tratado aumenta.
• O modelo utiliza funções de distorção para corrigir o fato de que reordenar a lista pode alterar o comportamento de busca (ex.: usuários podem clicar menos se a lista parecer menos relevante), assumindo que essa distorção é simétrica entre os grupos.

Estimadores Propostos

Os autores propõem duas abordagens para recuperar $\Phi$ a partir dos dados observados:

1. Estimador Paramétrico (WLS): Assume uma forma funcional específica para a relação entre o efeito parcial e o efeito global (exponencial decaimento) e usa Mínimos Quadrados Ponderados.
2. Estimador Não Paramétrico (Isotonic Regression): Utiliza regressão isotônica para impor restrições de forma (monotonicidade) sem assumir uma função específica, sendo mais robusto a erros de especificação.

3. Contribuições Chave

1. Solução para Interferência sob Coerência: O TSPR preenche uma lacuna metodológica ao permitir a estimação de efeitos globais em mercados de dois lados sem violar restrições operacionais críticas (paridade de preços e catálogo completo).
2. Uso Estratégico do Viés de Posição: Transforma o viés de posição (geralmente um problema de confusão) em uma ferramenta de identificação causal, explorando a diferença de atenção entre o topo e o final da lista.
3. Validação Empírica Rigorosa: O método é testado em simulações semi-sintéticas baseadas em dados reais de busca de hotéis da Expedia, utilizando modelos comportamentais calibrados para cliques e reservas.

4. Resultados Principais

Os experimentos compararam o TSPR contra dois baselines comuns:

• Randomização Bernoulli (A/B Test padrão por item): Itens tratados e não tratados misturados aleatoriamente na lista.
• Randomização por Cluster: Agrupamento de itens relacionados para evitar interferência intra-cluster.

Desempenho do TSPR:

• Redução de Viés: O A/B test padrão sofre de um viés substancial (subestimação ou superestimação do efeito real) devido à interferência dentro da lista. O TSPR reduz drasticamente esse viés.
• Eficiência (Variância): A randomização por cluster reduz o viés, mas sofre de uma variância extremamente alta (baixo poder estatístico) porque o número de clusters independentes é pequeno. O TSPR mantém uma variância muito baixa, superando o cluster randomizado em precisão.
• Métricas de Desempenho (Simulação):
  • O estimador paramétrico do TSPR alcançou o menor Erro Quadrático Médio (RMSE) e o menor desvio padrão entre todos os métodos.
  • O estimador não paramétrico também apresentou viés muito baixo e variância controlada.
  • O TSPR foi robusto a diferentes probabilidades de tratamento ($p$), mantendo-se superior aos baselines.

5. Significado e Implicações

• Viabilidade Operacional: O TSPR pode ser implementado ajustando as prioridades de ranqueamento em sistemas de recomendação existentes, sem necessidade de alterar preços visíveis para usuários ou partitionar catálogos.
• Aplicabilidade: É ideal para ambientes com forte viés de posição (como busca e recomendação), oferta flexível (slack supply) e horizontes de experimento curtos.
• Mudança de Paradigma: O artigo demonstra que a estrutura da plataforma (neste caso, a atenção ranqueada) pode fornecer variação identificadora mesmo na presença de interferência complexa, oferecendo um guia prático para experimentação em plataformas que enfrentam restrições legais e de reputação rigorosas.

Em resumo, o TSPR oferece um equilíbrio favorável entre viés e variância, permitindo que plataformas de mercado estimem com credibilidade o impacto total de intervenções (como mudanças de preço) em um ambiente onde os itens competem entre si e a transparência para o usuário é obrigatória.