When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

Todo negocio que vende productos se enfrenta a un problema silencioso y persistente: la gente deja de comprar. En el mundo de las relaciones con los clientes, el momento más peligroso es justo después de la primera compra. Muchos clientes nuevos desaparecen antes de volver jamás, escapándose mientras la empresa aún intenta descubrir quiénes son. Retener a estos primeros clientes es vital, porque una sola compra recurrente suele ser señal de una relación mucho más larga y valiosa. Durante décadas, las empresas han intentado solucionar esto enviando notas de agradecimiento o cupones, pero a menudo lo han hecho a ciegas, enviando el mismo mensaje a todo el mundo al mismo tiempo, sin importar si el cliente está listo para comprar de nuevo o si ya ha perdido el interés.

El desafío es que los clientes no son estáticos; cambian día tras día. Una persona puede estar ansiosa por volver una semana después de comprar una camisa, pero indiferente un mes después. Esto se conoce como la "trampa de la recencia", donde cuanto más tiempo ha pasado desde una compra, menos probable es que el cliente regrese. Sin embargo, enviar una recompensa demasiado pronto puede ser un desperdicio de dinero si el cliente iba a volver de todos modos. La solución ideal sería un sistema que observe el comportamiento de cada cliente, espere el momento adecuado y luego decida si ofrecer una recompensa. Pero hay un inconveniente: las empresas tienen presupuestos limitados. No pueden enviar cupones a todo el mundo, por lo que deben elegir a quién enviarle uno y cuándo, asegurando que cada dólar gastado aporte el mayor valor.

Este es precisamente el rompecabezas que un equipo de investigadores se propuso resolver utilizando datos de un importante minorista de moda en línea japonés. Desarrollaron un método para aprender el momento perfecto para la retención de clientes, creando una estrategia que se adapta al comportamiento cambiante de cada individuo mientras respeta estrictamente un límite de gasto. En lugar de adivinar cuándo enviar un cupón, su sistema aprende de miles de experimentos del mundo real para determinar el momento exacto en que un cliente específico tiene más probabilidades de responder a un incentivo. El resultado es una política dinámica que no solo es más efectiva para retener clientes, sino también significativamente más barata de ejecutar que los métodos estándar utilizados hoy en día por las empresas.

Los investigadores trabajaron con una plataforma que vende ropa a mujeres jóvenes, un lugar donde los compradores primerizos son abundantes pero a menudo fugaces. La estrategia original de la empresa era simple y estática: enviar un correo electrónico de agradecimiento genérico con un cupón exactamente dos, diez y treinta días después de la primera compra del cliente. Este enfoque trataba a cada cliente por igual, ignorando el hecho de que algunos ya podrían haber comprado un segundo artículo para el día diez, mientras que otros podrían estar completamente desinteresados. La empresa quería mejorar. Necesitaban una forma de personalizar estas interacciones, pero también tenían una restricción estricta: no podían gastar dinero ilimitado en cupones. Necesitaban una estrategia que maximizara el número de clientes que regresaban, sin exceder su presupuesto.

Para encontrar la respuesta, el equipo diseñó un experimento masivo en el mundo real. Tomaron a miles de clientes nuevos y los asignaron aleatoriamente a diferentes grupos. Algunos recibieron un cupón dos días después de su primera compra, otros diez días después, y otros treinta días después. Algunos no recibieron ningún cupón, solo un mensaje de agradecimiento. Crucialmente, el experimento fue diseñado para que cada cliente recibiera, como máximo, un cupón durante todo el periodo. Esto imitaba la restricción del mundo real de que una empresa no puede permitirse bombardear a un solo cliente con descuentos interminables. Al observar cómo se comportaban estos diferentes grupos durante los meses siguientes, los investigadores recopilaron un rico conjunto de datos que mostraba exactamente cómo el momento de una oferta influía en la decisión del cliente de regresar.

Con estos datos en mano, los investigadores aplicaron un método de aprendizaje sofisticado para construir un "régimen de tratamiento dinámico". En términos sencillos, se trata de un conjunto de reglas que cambian con el tiempo. A diferencia de un plan estático que decide todo al principio, un plan dinámico espera y observa. Observa lo que un cliente ha hecho desde su primera compra —qué ha navegado, qué ha hecho clic y cuánto tiempo ha pasado— y luego decide si enviar un cupón ahora mismo, esperar o no enviar nada en absoluto. Los investigadores extendieron las herramientas matemáticas existentes para manejar el límite de presupuesto, asegurando que las reglas aprendidas nunca gastaran más dinero del permitido. Probaron dos enfoques principales: uno que intentaba predecir el valor futuro de un cliente basándose en su historial, y otro que aprendía directamente qué acciones conducían a los mejores resultados tratando el problema como una serie de tareas de clasificación.

Los resultados fueron sorprendentes. Cuando los investigadores probaron sus nuevas políticas dinámicas en un grupo de clientes diferente, descubrieron que la estrategia con mejor rendimiento era aquella que respetaba la restricción presupuestaria. Esta política no se limitaba a enviar cupones a todos el segundo día. En su lugar, aprendió a ser selectiva. Para algunos clientes, enviaba un cupón inmediatamente porque su comportamiento sugería que estaban a punto de irse. Para otros, esperaba, enviando un cupón el día diez o el día treinta, o quizás no enviaba ninguno, porque esos clientes probablemente volverían por su cuenta. Al retener los cupones de los clientes que habrían vuelto de todos modos, la política ahorraba dinero. Luego utilizaba esos fondos ahorrados para dirigirse a los clientes que realmente necesitaban un incentivo para volver.

Los datos demostraron que este enfoque dinámico y consciente del presupuesto era mucho más eficiente que los antiguos métodos estáticos. Si bien la estrategia tradicional de enviar cupones a todos el segundo día aumentaba la tasa de retorno en una cierta cantidad, lo hacía a un alto costo. La nueva política dinámica lograba un aumento similar o incluso mejor en las tasas de retorno invirtiendo significativamente menos dinero. De hecho, cuando se midió cuánto mejoraba la tasa de retorno por cada yen gastado, la nueva política superó a todos los puntos de referencia. Resultó que el enfoque de "talla única" era un desperdicio. Al esperar y observar, el sistema podía identificar el momento preciso en que un incentivo marcaría la diferencia, evitando la trampa de pagar a personas para que hicieran lo que ya iban a hacer.

Los investigadores también exploraron una versión más compleja del problema, donde el sistema podía elegir no solo cuándo enviar un cupón, sino también si enviar un simple correo electrónico de agradecimiento o no enviar nada. En este escenario, el sistema aprendió a sustituir los costosos cupones por correos electrónicos de bajo costo cuando era apropiado. Enviaba un correo electrónico gratuito a un cliente que parecía interesado pero que no necesitaba un impulso financiero, reservando el cupón para alguien que sí lo necesitaba. Esta flexibilidad mejoró aún más la eficiencia de costos de la estrategia. La empresa llevó entonces estos hallazgos al mundo real, realizando pruebas a gran escala donde se aplicaron las nuevas políticas a clientes reales. Los resultados en línea confirmaron las predicciones fuera de línea: la política dinámica con restricción presupuestaria generó el mayor retorno de inversión, entregando más clientes retenidos por dólar gastado que cualquier otra estrategia que la empresa hubiera probado.

Este trabajo demuestra que la clave para una retención de clientes eficaz no es solo tener datos, sino saber cómo usarlos a lo largo del tiempo. Los investigadores demostraron que, al tratar la retención de clientes como una secuencia de decisiones en lugar de un evento único, y al contabilizar rigurosamente los límites de presupuesto, las empresas pueden lograr resultados mucho mejores. El estudio sugiere que la "trampa de la recencia" es real, pero se puede navegar con el momento adecuado. La estrategia más eficaz no es gritar más fuerte o más a menudo, sino hablar en el momento adecuado a la persona adecuada. Para el minorista japonés, esto significó una política que no solo fue más inteligente, sino también más rentable, generando millones de dólares en valor adicional durante un solo año en comparación con sus métodos anteriores. La lección se extiende más allá de la venta de moda: en cualquier negocio donde la atención del cliente es fugaz y los recursos son finitos, la capacidad de adaptarse y esperar es tan importante como la oferta misma.