Personalizing Marketplace Policies with Competing Objectives and Constrained Experiments: Evidence from a Job Marketplace

Resumen Técnico: Personalización de Políticas de Marketplace con Objetivos Contrapuestos y Experimentos con Restricciones

1. Planteamiento del Problema

El artículo aborda el desafío de personalizar las políticas en marketplaces de dos lados, específicamente una plataforma de empleo que conecta a empleadores y buscadores de empleo. La tensión central reside en las externalidades cruzadas: optimizar las métricas para un lado (por ejemplo, la monetización de empleadores mediante promociones pagadas) a menudo degrada la experiencia del otro (por ejemplo, el compromiso o engagement de los buscadores de empleo).

Los autores se centran en los umbrales de valor gratuito, un parámetro de política que determina el alcance de los servicios de cortesía para las ofertas de empleo antes de que se requiera la promoción pagada. Establecer estos umbrales de manera uniforme es subóptimo debido a la heterogeneidad en los segmentos de empleo. Sin embargo, el modelado de uplift estándar enfrenta dos barreras críticas en este entorno:

1. Optimización Multiobjetivo: Las políticas afectan a múltiples grupos de partes interesadas con respuestas heterogéneas. Maximizar las conversiones de los empleadores corre el riesgo de dañar el compromiso de los buscadores, lo que requiere un equilibrio que los modelos de uplift de un solo objetivo no pueden capturar.
2. Experimentos con Restricciones (Violación de Positividad): Para evitar la interferencia (sesgo) causada por la competencia en el marketplace, los experimentos deben utilizar aleatorización a nivel de clúster (por ejemplo, aleatorizando por empleador o segmento de empleo) en lugar de la aleatorización a nivel individual. Esto limita el número de niveles de tratamiento disponibles a unos pocos valores discretos. En consecuencia, los métodos estándar de respuesta a la dosis continua (que asumen un soporte denso en todo el espacio de tratamiento) no pueden aplicarse, creando una "violación de positividad".

2. Metodología

Los autores proponen un marco integrado que consta de tres componentes para resolver estos desafíos simultáneos:

A. Clasificación Híbrida Multiobjetivo Basada en Ensembles
En lugar de una única función de objetivo o una navegación compleja de la frontera de Pareto, los autores emplean una estrategia de clasificación híbrida:

• Modelado Separado: Estiman los Efectos de Tratamiento Promedio Condicionales (CATE) de forma separada para la métrica objetivo (conversiones de empleadores) y la métrica de salvaguarda (guardrail) (compromiso de buscadores) utilizando un meta-aprendiz X-learner.
• Manejo de Spillovers: Para abordar el desafío de agregación donde los resultados se miden a nivel de empleador pero el objetivo se aplica a nivel de segmento de empleo, combinan dos estimaciones de CATE: una a nivel de empleo (para empleadores de un solo empleo) y otra a nivel de empleador (promedio de resultados en todas las publicaciones). La estimación final es una suma ponderada basada en la composición del segmento.
• Lógica de Clasificación: Los empleos se clasifican en dos mitades. El 50% superior se clasifica por uplift objetivo (descendente). El 50% inferior se clasifica por impacto de salvaguarda (ascendente, priorizando el bajo riesgo).
• Asignación de Políticas: Las políticas se asignan basándose en estos niveles (por ejemplo, políticas restrictivas para segmentos de alto uplift/bajo riesgo; políticas relajadas para segmentos de alto riesgo).
• Satisfacción de Restricciones: El sistema relaja iterativamente las políticas para los segmentos de menor rango hasta que se satisface la restricencia de salvaguarda agregada ($\sum \tau_V \geq -\delta$). Esto evita la necesidad de especificaciones de pesos disputadas entre equipos.

B. Extrapolación del Efecto de Tratamiento
Dado que los experimentos solo proporcionan dos niveles de tratamiento discretos (línea base $c_0$ y tratamiento $c_1$), el marco debe estimar los efectos en niveles de política no probados.

• Extrapolación Lineal: Los autores asumen una relación de dosis-respuesta lineal: $\hat{\tau}(X, c) = \hat{\tau}(X, c_1) \cdot \frac{c - c_0}{c_1 - c_0}$.
• Justificación: Esto se trata como una restricción de identificación impuesta por el diseño experimental (dos niveles) más que como una preferencia de modelado. Los autores argumentan que para el objetivo específico de clasificación ordinal (que impulsa la asignación de políticas) en lugar de la estimación precisa de la magnitud cardinal, la linealidad es suficiente dentro de un rango acotado.
• Validación: La validez de este enfoque se prueba mediante un análisis de sensibilidad offline y una validación tras el despliegue.

C. Arquitectura de Despliegue en Producción
El sistema se desplegó utilizando tablas de búsqueda de políticas basadas en segmentos en lugar de inferencia de modelo en tiempo real. Esto garantiza un tratamiento consistente para empleos similares, reduce la latencia a menos de segundos y simplifica la auditoría.

3. Contribuciones Clave

1. Marco de Clasificación Híbrida: Un método para optimizar una métrica objetivo mientras se restringe explícitamente una métrica de salvaguarda sin requerir pesos disputados. Logra un riesgo de salvaguarda un 10% menor para ganancias equivalentes del objetivo en comparación con la optimización de un solo objetivo.
2. Extrapolación bajo Violación de Positividad: Un enfoque fundamentado para extender las estimaciones de CATE desde niveles experimentales discretos limitados hacia valores de política continuos, validado empíricamente como robusto para decisiones de clasificación ordinal dentro de rangos acotados.
3. Validación en Producción: Evidencia de un sistema en vivo que sirve millones de ofertas de empleo, confirmando que las predicciones extrapoladas se alinean con los efectos observados y que las restricciones de salvaguarda se cumplen.

4. Resultados

• Validación Offline: Los modelos CATE mostraron una fuerte calibración (correlación de 0.95 para el objetivo, 0.86 para la salvaguarda al nivel de deciles). La clasificación híbrida mejoró el coeficiente Qini de la salvaguarda en un 91% (de 0.11 a 0.21) manteniendo el Qini del objetivo, demostrando que la optimización de un solo objetivo falla al capturar los riesgos de compromiso.
• Análisis de Sensibilidad: Bajo suposiciones de curvatura alternativas (20% cóncava o convexa), el impacto de la política estimada varió solo un 8–9%, confirmando que las recomendaciones de política son robustas ante desviaciones de la linealidad.
• Desempeño Post-Lanzamiento:
  • Incremento del Objetivo (Target Lift): El incremento observado fue estadísticamente significativo y se mantuvo dentro del 10% de las predicciones offline.
  • Cumplimiento de Salvaguarda: Todas las métricas de compromiso se mantuvieron dentro de los umbrales de seguridad definidos.
  • Precisión de la Extrapolación: Durante un despliegue gradual, los efectos de tratamiento observados en niveles de política intermedios correlacionaron altamente ($r=0.85$) con las predicciones lineales, validando la suposición de extrapolación.

5. Significado y Reivindicaciones

El artículo afirma que la personalización significativa es alcanzable en entornos de marketplace caracterizados por severas restricciones experimentales (aleatorización por clúster) y objetivos contrapuestos, condiciones comunes en plataformas del mundo real pero que suelen carecer de soluciones establecidas.

Las conclusiones clave enfatizadas por los autores incluyen:

• Ordinal vs. Cardinal: La personalización no requiere estimaciones cardinales precisas si las decisiones de política dependen de clasificaciones ordinales; esto permite que la extrapolación lineal tenga éxito incluso con una variación de tratamiento escasa.
• Optimización con Restricciones: Los compromisos multiobjetivo pueden gestionarse mediante restricciones de salvaguarda explícitas en lugar de negociar parámetros de peso complejos, lo que se alinea mejor con las estructuras organizativas donde diferentes equipos poseen diferentes métricas.
• Necesidad de Ensembles: En los marketplaces donde el objetivo y la agregación de resultados ocurren en diferentes niveles (por ejemplo, segmento de empleo vs. empleador), los métodos de ensemble son necesarios para capturar correctamente los efectos de desbordamiento (spillover).

Los autores mantienen la modestia respecto a la generalizabilidad de la suposición lineal, señalando que es válida dentro del rango de despliegue (~50% de la variación observada) pero puede romperse en los extremos de la política. Identifican como trabajo futuro el uso de diseños experimentales más ricos (holdouts de múltiples brazos) y aprendizaje en línea (bandidos contextuales) para relajar estas restricciones.