Personalizing Marketplace Policies with Competing Objectives and Constrained Experiments: Evidence from a Job Marketplace

Resumo Técnico: Personalização de Políticas de Marketplace com Objetivos Concorrentes e Experimentos com Restrições

1. Declaração do Problema

O artigo aborda o desafio de personalizar políticas em marketplaces de dois lados, especificamente uma plataforma de empregos que conecta empregadores e candidatos. A tensão central reside nas externalidades cruzadas (cross-side externalities): otimizar métricas para um lado (ex: monetização de empregadores via promoções pagas) frequentemente degrada a experiência do outro lado (ex: engajamento de candidatos).

Os autores focam em limiares de valor gratuito (free-value thresholds), um parâmetro de política que determina o escopo de serviços complementares para anúncios de vagas antes que a promoção paga seja necessária. Definir esses limiares de forma uniforme é subótimo devido à heterogeneidade nos segmentos de vagas. No entanto, o modelagem de uplift padrão enfrenta duas barreiras críticas neste cenário:

1. Otimização Multiobjetivo: As políticas afetam múltiplos grupos de stakeholders com respostas heterogêneas. Maximizar conversões de empregadores pode prejudicar o engajamento de candidatos, exigindo um equilíbrio que modelos de uplift de objetivo único não conseguem capturar.
2. Experimentos com Restrições (Violação de Positividade): Para evitar interferência (viés) causada pela competição no marketplace, os experimentos devem usar randomização em nível de cluster (ex: randomizando por empregador ou segmento de vaga) em vez de randomização em nível individual. Isso limita o número de níveis de tratamento disponíveis a poucos valores discretos. Consequentemente, métodos padrão de resposta à dose contínua (que assumem suporte denso em todo o espaço de tratamento) não podem ser aplicados, criando uma "violação de positividade".

2. Metodologia

Os autores propõem um framework integrado composto por três componentes para resolver esses desafios simultâneos:

A. Classificação Híbrida Multiobjetivo Baseada em Ensemble
Em vez de uma única função de objetivo ou navegação complexa em fronteira de Pareto, os autores empregam uma estratégia de classificação híbrida:

• Modelagem Separada: Eles estimam os Efeitos Médios Condicionais de Tratamento (CATE) separadamente para a métrica alvo (conversões de empregadores) e para a métrica de salvaguarda (engajamento de candidatos) usando um meta-aprendiz X-learner.
• Tratamento de Spillovers: Para abordar o desafio de agregação onde os resultados são medidos no nível do empregador, mas o direcionamento ocorre no nível do segmento de vaga, eles fazem o ensemble de duas estimativas de CATE: uma no nível da vaga (para empregadores de vaga única) e outra no nível do empregador (média dos resultados em todas as postagens). A estimativa final é uma soma ponderada baseada na composição do segmento.
• Lógica de Classificação (Ranking): As vagas são classificadas em duas metades. Os 50% superiores são classificados pelo uplift do alvo (decrescente). Os 50% inferiores são classificados pelo impacto na salvaguarda (ascendente, priorizando baixo risco).
• Atribuição de Política: As políticas são atribuídas com base nesses níveis (ex: políticas restritivas para segmentos de alto uplift/baixo risco; políticas flexíveis para segmentos de alto risco).
• Satisfação de Restrições: O sistema relaxa iterativamente as políticas para os segmentos de classificação inferior até que a restrição agregada de salvaguarda ($\sum \tau_V \geq -\delta$) seja satisfeita. Isso evita a necessidade de especificações de pesos contestadas entre equipes.

B. Extrapolação de Efeito de Tratamento
Como os experimentos fornecem apenas dois níveis de tratamento discretos (linha de base $c_0$ e tratamento $c_1$), o framework deve estimar efeitos em níveis de política não testados.

• Extrapolação Linear: Os autores assumem uma relação de dose-resposta linear: $\hat{\tau}(X, c) = \hat{\tau}(X, c_1) \cdot \frac{c - c_0}{c_1 - c_0}$.
• Justificativa: Isso é tratado como uma restrição de identificação imposta pelo design experimental (dois níveis) e não como uma preferência de modelagem. Os autores argumentam que, para o objetivo específico de classificação ordinal (que impulsiona a atribuição de política) em vez de estimativa precisa de magnitude cardinal, a linearidade é suficiente dentro de um intervalo limitado.
• Validação: A validade desta abordagem é testada via análise de sensibilidade offline e validação pós-implantação.

C. Arquitetura de Implantação em Produção
O sistema foi implantado usando tabelas de consulta de política baseadas em segmentos, em vez de inferência de modelo em tempo real. Isso garante tratamento consistente para vagas similares, reduz a latência para sub-segundos e simplifica a auditoria.

3. Principais Contribuições

1. Framework de Classificação Híbrida: Um método para otimizar uma métrica alvo enquanto restringe explicitamente uma métrica de salvaguarda sem exigir pesos contestados. Ele alcança mais de 10% menos risco de salvaguarda para ganhos equivalentes do alvo em comparação com a otimização de objetivo único.
2. Extrapolação sob Violação de Positividade: Uma abordagem fundamentada para estender as estimativas de CATE de níveis experimentais discretos limitados para valores de política contínuos, validada empiricamente como robusta para decisões de classificação ordinal dentro de intervalos delimitados.
3. Validação em Produção: Evidência de um sistema real que atende milhões de anúncios de vagas, confirmando que as previsões extrapoladas alinham-se com os efeitos observados e que as restrições de salvaguarda são atendidas.

4. Resultados

• Validação Offline: Os modelos CATE mostraram forte calibração (correlação de 0,95 para o alvo, 0,86 para a salvaguarda no nível de decil). A classificação híbrida melhorou o coeficiente Qini da salvaguarda em 91% (de 0,11 para 0,21) enquanto mantinha o Qini do alvo, demonstrando que a otimização de objetivo único falha em capturar riscos de engajamento.
• Análise de Sensibilidade: Sob suposições de curvatura alternativas (20% côncava ou convexa), o impacto da política estimada variou apenas 8–9%, confirmando que as recomendações de política são robustas a desvios da linearidade.
• Desempenho Pós-Lançamento:
  • Ganho do Alvo (Target Lift): O ganho observado foi estatisticamente significativo e dentro de 10% das previsões offline.
  • Conformidade da Salvaguarda: Todas as métricas de engajamento permaneceram dentro dos limites de segurança definidos.
  • Precisão da Extrapolação: Durante uma implementação gradual, os efeitos de tratamento observados em níveis de política intermediários correlacionaram-se altamente ($r=0,85$) com as previsões lineares, validando a suposição de extrapolação.

5. Significância e Alegações

O artigo afirma demonstrar que uma personalização significativa é alcançável em ambientes de marketplace caracterizados por severas restrições experimentais (randomização em cluster) e objetivos conflitantes, condições comuns em plataformas reais, mas que frequentemente carecem de soluções estabelecidas.

As principais conclusões enfatizadas pelos autores incluem:

• Ordinal vs. Cardinal: A personalização não requer estimativas cardinais precisas se as decisões de política dependerem de classificações ordinais; isso permite que a extrapolação linear tenha sucesso mesmo com variação de tratamento esparsa.
• Otimização com Restrições: Os trade-offs multiobjetivo podem ser gerenciados através de restrições de salvaguarda explícitas em vez de negociar parâmetros de peso complexos, alinhando-se melhor com estruturas organizacionais onde diferentes equipes detêm diferentes métricas.
• Necessidade de Ensemble: Em marketplaces onde o direcionamento e a agregação de resultados ocorrem em diferentes níveis (ex: segmento de vaga vs. empregador), métodos de ensemble são necessários para capturar corretamente os efeitos de transbordamento (spillover).

Os autores mantêm-se modestos quanto à generalização da suposição linear, observando que ela é válida dentro do intervalo de implantação (~50% da variação observada), mas pode falhar em extremos de política. Eles identificam trabalhos futuros em designs experimentais mais ricos (holdouts de múltiplos braços) e aprendizado online (bandidos contextuais) para relaxar essas restrições.