Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making

Aquí se presenta un resumen técnico detallado del artículo "Asignación de Tratamientos con Restricciones Presupuestarias: Uniendo el Modelado de Incremento y la Toma de Decisiones Secuencial."

1. Formulación del Problema

El artículo aborda el desafío de la asignación de tratamientos con restricciones presupuestarias en publicidad digital, específicamente en escenarios de inicio en frío donde los datos históricos son escasos o inexistentes (por ejemplo, nuevas campañas, nuevos mercados).

• Objetivo Central: Maximizar las conversiones totales (resultados del tratamiento) seleccionando un subconjunto de usuarios a los que mostrar anuncios, sujeto a una restricción presupuestaria total $B$.
• Restricciones y Desafíos Clave:
  1. Efectos de Tratamiento Heterogéneos (HTE): Los usuarios responden de manera diferente a los anuncios. El objetivo es dirigirse a usuarios con altos efectos causales positivos ($\tau(x)$) mientras se evitan aquellos que no se ven afectados o que resultan afectados negativamente.
  2. Restricciones Presupuestarias: Cada usuario tiene un costo específico $c_t$ (por ejemplo, precio de subasta de anuncios). El costo acumulado no debe exceder $B$.
  3. Inicio en Frío / Escasez de Datos: Los métodos tradicionales fuera de línea requieren grandes conjuntos de datos históricos para entrenar modelos de incremento. En nuevos escenarios, estos datos no están disponibles, lo que conduce al problema de "inicio en frío".
  4. Toma de Decisiones Secuencial: Los usuarios llegan uno por uno. El sistema debe aprender los efectos del tratamiento en línea mientras gestiona simultáneamente el ritmo del presupuesto (evitando el agotamiento prematuro o el gasto insuficiente ineficiente).

Definición Formal:
El problema se modela como un proceso secuencial sobre $T$ rondas. En cada ronda $t$, el agente observa un usuario con características $x_t$ y costo $c_t$, y elige una acción $a_t \in \{0, 1\}$ (tratar o no). El objetivo es:
$$\max \sum_{t=1}^T a_t \cdot Y_t(1) \quad \text{sujeto a} \quad \sum_{t=1}^T a_t \cdot c_t \le B$$
donde $Y_t(1)$ es el resultado potencial si se trata.

2. Metodología: Bandidos Causales con Restricciones Presupuestarias (BCCB)

Los autores proponen BCCB, un marco unificado en línea que integra tres componentes distintos en un único proceso de decisión secuencial. A diferencia de las tuberías de dos etapas fuera de línea (entrenar y luego optimizar) o los bandidos estándar (que ignoran los HTE), BCCB aprende, explora y ajusta el ritmo simultáneamente.

A. Estimación de HTE en Línea

• Enfoque: Utiliza un enfoque de dos modelos para estimar los efectos individuales del tratamiento en línea.
  • Modelo 1: Estima $P(Y=1 | x, T=1)$ (Probabilidad de conversión si se trata).
  • Modelo 2: Estima $P(Y=1 | x, T=0)$ (Probabilidad de conversión si es control).
• Mecanismo: Ambos modelos se actualizan incrementalmente utilizando Descenso de Gradiente Estocástico (SGD) con pérdida logística después de cada observación.
• Manejo del Inicio en Frío: Antes de recopilar datos suficientes (menos de 50 observaciones tratadas/de control), se utiliza un prior optimista ($\hat{\tau} = 0.002$) para fomentar la exploración inicial.

B. Exploración por Muestreo de Thompson

• Objetivo: Equilibrar la exploración (aprender sobre usuarios inciertos) y la explotación (dirigirse a usuarios de alto valor conocidos).
• Mecanismo: Mantiene distribuciones posteriores Beta para las tasas globales de éxito del tratamiento y del control.
• Bono de Exploración: En cada paso, el algoritmo muestrea de las posteriores para calcular un bono de exploración:
  $$\text{bono\_exploración}_t = (\theta_t^{(1)} - \theta_t^{(0)}) \cdot \eta$$
  Este bono se suma al HTE estimado, incentivando al algoritmo a tratar usuarios con efectos inciertos incluso si la estimación actual del HTE es ambigua.

C. Ajuste de Ritmo Presupuestario Adaptativo

• Objetivo: Prevenir el agotamiento prematuro del presupuesto o el gasto insuficiente ineficiente.
• Mecanismo: Calcula una razón de presión presupuestaria ($pace_t$) en cada ronda:
  $$pace_t = \frac{B_t / B_0}{(T - t) / T}$$
  • Si $pace_t > 1$: El presupuesto es abundante en relación con el tiempo; el algoritmo gasta más libremente.
  • Si $pace_t < 1$: El presupuesto se agota demasiado rápido; el algoritmo se vuelve más selectivo.
• Modulación del Umbral: La razón de ajuste dinámicamente ajusta el umbral de decisión. Cuando el presupuesto es escaso, el umbral para el tratamiento aumenta, asegurando que solo se seleccionen usuarios con alta rentabilidad.

D. Regla de Decisión Combinada

Para cada usuario $t$, el algoritmo calcula una puntuación y una métrica de valor por dólar:

1. Puntuación: $s_t = \hat{\tau}(x_t) + \text{bono\_exploración}_t$
2. Valor: $v_t = s_t / c_t$
3. Decisión: Tratar ($a_t=1$) si $v_t > \frac{\lambda}{\max(pace_t, \epsilon)}$, donde $\lambda$ es un umbral base.

3. Contribuciones Clave

1. Marco Unificado: Propone BCCB, el primer marco que unifica el aprendizaje de HTE, la exploración por Muestreo de Thompson y el ajuste de ritmo presupuestario adaptativo en un único proceso en línea sin requerir datos históricos pre-recopilados.
2. Punto de Cruce de Eficiencia de Datos: Identifica empíricamente un umbral crítico (~10,000 observaciones históricas). Por debajo de este, los métodos fuera de línea fallan o son altamente inestables; por encima, los métodos fuera de línea pueden superar a los en línea. BCCB opera efectivamente desde el primer usuario.
3. Estabilidad del Rendimiento: Demuestra que BCCB tiene una varianza de rendimiento 3–5 veces menor en comparación con los métodos fuera de línea a través de ejecuciones repetidas, haciéndolo más confiable para la planificación de campañas.
4. Rendimiento Superior en Línea: Entre los métodos puramente en línea, BCCB supera consistentemente al Muestreo de Thompson Estándar, al Muestreo de Thompson con Presupuesto y a la estimación HTE Codiciosa en todos los niveles de presupuesto.

4. Resultados Experimentales

El estudio se evaluó en el conjunto de datos de incremento de Criteo (1.4M de usuarios) con costos sintéticos generados mediante una distribución log-normal.

• Comparación En Línea vs. En Línea:
  • Con un presupuesto alto ($8,000), BCCB logró 46 conversiones, superando al Muestreo de Thompson Estándar (37) y a HTE Codicioso (29).
  • Con presupuestos ajustados ($1,000), BCCB y TS con Presupuesto funcionaron mejor, destacando la importancia de la conciencia presupuestaria.
• Punto de Cruce de Eficiencia de Datos (Fuera de Línea vs. En Línea):
  • < 2,000 observaciones: Los métodos fuera de línea fallaron completamente (el modelo no pudo ajustarse debido a ejemplos positivos cero en el grupo de control). BCCB operó con éxito.
  • 2,000 – 10,000 observaciones: Los métodos fuera de línea mostraron una varianza extrema (Coeficiente de Variación > 100%). BCCB permaneció estable.
  • > 50,000 observaciones: Los métodos fuera de línea eventualmente superaron a BCCB (104 vs. 25 conversiones), confirmando que los métodos fuera de línea son superiores cuando existe abundante y representativa data.
• Estabilidad: BCCB exhibió desviaciones estándar de 7–13 conversiones, mientras que los métodos fuera de línea oscilaron entre 35–65. Esta reducción de 3–5 veces en la varianza es crucial para la previsión de ROI predecible.
• Escalabilidad: BCCB mantuvo un rendimiento superior a través de escalas de conjuntos de datos (100K, 500K, 1.4M de usuarios), mientras que los métodos HTE Codiciosos fueron altamente inconsistentes.

5. Significado y Limitaciones

Significado:

• Resuelve el Problema de Inicio en Frío: Proporciona una solución viable para nuevas campañas publicitarias donde no hay datos históricos disponibles, un escenario donde las tuberías estándar de la industria fallan.
• Mitigación de Riesgos: La alta estabilidad de BCCB reduce el riesgo de fracaso de la campaña debido a la varianza de la semilla aleatoria, un problema común con modelos fuera de línea entrenados en conjuntos de datos pequeños.
• Cambio de Paradigma: Mueve el campo de "entrenar-desplegar" a "aprender-y-asignar-simultáneamente" para la inferencia causal con restricciones de recursos.

Limitaciones:

• Abundancia de Datos: Si una empresa tiene 50,000+ observaciones históricas de la misma población, los métodos fuera de línea siguen siendo superiores.
• Costos Sintéticos: El estudio utilizó costos sintéticos basados en una distribución log-normal. Las dinámicas de subasta del mundo real podrían ser más complejas.
• Complejidad del Modelo: La implementación actual utiliza clasificadores lineales para HTE. Modelos en línea más expresivos (por ejemplo, redes neuronales en línea) podrían mejorar la precisión, pero se dejaron para trabajos futuros.

Conclusión:
BCCB cierra la brecha entre el modelado de incremento y la toma de decisiones secuencial, ofreciendo una solución robusta y eficiente en datos para la asignación de tratamientos con restricciones presupuestarias en publicidad digital, particularmente en escenarios caracterizados por la escasez de datos y la necesidad de un rendimiento inmediato y estable.