Knowledge-informed Bidding with Dual-process Control for Online Advertising

Each language version is independently generated for its own context, not a direct translation.

Imagina que gestionar una campaña de publicidad en internet es como conducir un coche de carreras en una pista muy complicada. Tu objetivo es llegar a la meta (vender mucho) gastando la menor cantidad de gasolina posible (tu presupuesto), pero sin chocar contra las paredes (no gastar de más ni quedarse corto).

El problema es que, hasta ahora, la mayoría de los sistemas automáticos que hacían esto funcionaban como un piloto novato que solo mira el espejo retrovisor. Solo veían lo que pasó hace un segundo y tomaban decisiones rápidas basadas en eso. Si la pista cambiaba de repente (por ejemplo, una lluvia repentina o un nuevo competidor), el piloto se perdía porque no tenía experiencia ni un mapa mental.

Este paper presenta una solución llamada KBD, que es como darle al coche un piloto experto con dos cerebros trabajando juntos.

Aquí te explico cómo funciona, paso a paso:

1. El problema: Los "pilotos" antiguos fallaban

Los sistemas anteriores eran como máquinas que aprendían a conducir solo viendo videos de carreras pasadas.

El fallo: Si aparecía algo nuevo (como un lanzamiento de producto o una oferta especial), la máquina se confundía porque nunca había visto eso antes.
La visión corta: A veces, la máquina gastaba toda la gasolina en el primer kilómetro porque pensaba que era lo mejor, y luego se quedaba sin combustible para el resto de la carrera.

2. La solución: KBD (El piloto con dos cerebros)

Los autores crearon un sistema que combina la inteligencia humana con la potencia de la máquina. Lo llaman "Control de Doble Proceso", inspirado en cómo pensamos los humanos:

Cerebro Lento (Sistema 2): El Estratega

Qué es: Es un modelo de Inteligencia Artificial muy avanzado (llamado Decision Transformer).
Su trabajo: Es como el capitán del barco que mira el mapa completo. No solo piensa en el siguiente minuto, sino en toda la carrera de 24 horas. Calcula: "Si gasto un poco más ahora, podré ganar más ventas mañana".
La ventaja: Es muy bueno planeando a largo plazo y adaptándose a situaciones complejas.
El riesgo: A veces es demasiado lento o se confunde si la situación cambia muy rápido (como una tormenta repentina).

Cerebro Rápido (Sistema 1): El Mecánico Instintivo

Qué es: Es un controlador simple y rápido basado en reglas (llamado PID), que funciona como un reflejo humano.
Su trabajo: Es como el pedal del freno o el acelerador. Si ve que el coche se está yendo de la pista (gastando demasiado dinero), lo corrige al instante. Si ve que va muy lento, lo acelera.
La ventaja: Es extremadamente rápido y nunca falla en situaciones de emergencia.
El riesgo: Es "tonto". Solo mira lo que pasa ahora mismo y no entiende el plan a largo plazo.

3. La Magia: ¡Trabajando en equipo!

La gran innovación de este paper es cómo unen a estos dos cerebros:

El Estratega (Lento) aprende del Mecánico (Rápido): Durante el entrenamiento, el cerebro lento escucha al cerebro rápido para aprender a no cometer errores tontos.
La decisión final: Cuando llega el momento de conducir:
- Si todo va bien y el Estratega está seguro, sigue su plan a largo plazo.
- Pero, si el Estratega se pone nervioso (porque la situación es nueva o rara) y su "confianza" baja, el sistema cambia automáticamente al Mecánico. El Mecánico toma el control con sus reglas simples y seguras para que el coche no se estrelle.

4. El "Mapa" con Experiencia Humana (Aprendizaje Informado)

Además de los dos cerebros, el sistema tiene una ventaja extra: no empieza de cero.

Los expertos humanos saben ciertas reglas de la publicidad (por ejemplo: "si subes mucho el precio, las ventas bajan, pero no de golpe, sino poco a poco").
En lugar de dejar que la máquina adivine todo, les dieron estas reglas como un manual de instrucciones. Esto ayuda a la máquina a entender mejor las situaciones donde hay pocos datos (como cuando lanzan un producto nuevo).

En resumen

Imagina que KBD es un sistema de navegación GPS inteligente para tu publicidad:

Tiene un piloto experto que planea la ruta más eficiente para todo el día.
Tiene un asistente de seguridad que corrige el volante si te sales de la carretera.
Si el experto duda, el asistente toma el mando inmediatamente.
Además, el experto ya leyó el manual de instrucciones antes de salir, así que sabe cómo conducir en la lluvia o en la nieve.

El resultado: Las empresas gastan su presupuesto de manera más inteligente, venden más (más GMV) y evitan desastres cuando el mercado cambia de repente. ¡Es como tener un piloto de Fórmula 1 con un copiloto experto y un sistema de seguridad de última generación!

Each language version is independently generated for its own context, not a direct translation.

Resumen Técnico: KBD (Ofertas Informadas por Conocimiento con Control de Doble Proceso)

1. Planteamiento del Problema

La optimización de ofertas (bid optimization) en publicidad en línea depende actualmente de modelos de aprendizaje automático (ML) de "caja negra" que aprenden de datos históricos. Sin embargo, estos enfoques presentan limitaciones críticas frente a la toma de decisiones de expertos humanos:

Mala generalización en datos escasos: Fallan cuando hay poca información estructurada o en escenarios de distribución de datos dispersa.
Visión miope: Optimizan decisiones paso a paso ignorando las interdependencias a largo plazo y las recompensas futuras.
Falta de adaptabilidad: Tienen dificultades para ajustarse a cambios abruptos en la distribución de datos (ej. lanzamientos de nuevos productos o promociones de ventas), situaciones donde los expertos humanos suelen tener éxito.

El objetivo es maximizar el Volumen de Mercancía Bruta (GMV) bajo restricciones de presupuesto y objetivos de costo por acción (tCPA), evitando que los modelos de ML pierdan eficacia en entornos dinámicos.

2. Metodología: El Marco KBD

Los autores proponen KBD, un método de optimización de ofertas en dos etapas que integra conocimiento experto y teoría de doble proceso (Sistema 1 y Sistema 2).

A. Etapa Macro (Diaria): IEFormer (Informed Machine Learning)
En esta etapa, se establece una línea base de tCPA (Costo por Acción Objetivo) diaria robusta. Se utiliza el paradigma de Aprendizaje Automático Informado (IML) para incrustar la experiencia humana en el modelo a tres niveles:

Nivel de Hipótesis (Arquitectura Híbrida): Se combina un módulo conexionista (un Transformer que extrae características de datos históricos) con un módulo simbólico (un intérprete de precio-volumen).
- El módulo simbógico utiliza una función de interpretación basada en segmentos de costos con pesos interpretables ( $W$ ).
- Se implementa una estrategia de partición adaptativa impulsada por la entropía (usando el Algoritmo Generalizado de Lloyd - GLA) para asegurar una distribución uniforme de las muestras en los segmentos, mejorando la generalización en datos escasos.
Nivel de Algoritmo (Priors de Dominio): Se imponen restricciones de conocimiento experto sobre la relación precio-volumen:
- Monotonía: El tCPA no debe disminuir a medida que aumenta el costo.
- Suavidad: Evitar discontinuidades abruptas.
- Rendimientos marginales decrecientes: La tasa de aumento del tCPA debe ralentizarse a medida que crece el costo.
- Estas restricciones se aplican mediante funciones de activación (SoftPlus) y términos de regularización específicos en la función de pérdida.
Nivel de Datos: Se transfieren conocimientos de otras estrategias de oferta (tROI, tCPC) convirtiendo sus métricas a valores equivalentes de tCPA para enriquecer el conjunto de datos de entrenamiento.

B. Etapa Micro (Horaria): Control de Doble Proceso (PID + Decision Transformer)
En esta etapa, se realizan ajustes horarios para maximizar el GMV a largo plazo, abordando la miopía de las optimizaciones de un solo paso.

Sistema 2 (Decision Transformer - DT): Se modela la oferta como un Proceso de Decisión de Markov (MDP) de 24 pasos (una hora por paso). El DT optimiza secuencias de decisiones futuras para maximizar la recompensa acumulada (GMV), considerando la dinámica temporal.
Sistema 1 (Controlador PID): Se utiliza un controlador PID basado en reglas heurísticas de expertos. Este sistema reacciona rápidamente a las desviaciones entre el gasto real y el presupuesto ideal, proporcionando estabilidad y baja latencia.
Fusión Dual-Process:
- Durante el entrenamiento: Se utiliza un prior de Longitud Mínima de Descripción (MDL) para regularizar al DT, penalizando desviaciones excesivas del comportamiento conservador del PID.
- Durante la inferencia: Se emplea un mecanismo de fusión ponderado por la incertidumbre. Si el DT muestra alta incertidumbre (medida por el error de predicción reciente), el sistema confía más en el PID robusto. Si el DT es seguro, se aprovecha su capacidad de planificación a largo plazo.

3. Contribuciones Clave

Propuesta de KBD: Un marco de dos etapas que combina la calibración diaria basada en expertos (IEFormer) con el control secuencial horario (DT+PID) para optimizar recompensas a largo plazo.
Controlador de Doble Proceso: Una arquitectura innovadora que guía y fusiona un modelo complejo de deliberación (DT) con un controlador de reglas robusto (PID), mejorando significativamente la robustez ante cambios en la distribución de datos.
Validación Empírica: Demostración de la efectividad y aplicabilidad general de KBD en diversos entornos y estrategias de oferta, superando a los métodos actuales.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos: el público iPinYou y un conjunto de datos privado de Comercio Electrónico (ECA) de Alibaba.

Rendimiento General (iPinYou): KBD superó consistentemente a los métodos de vanguardia (como PUROS, GCB-safe, ARTEO) tanto en la relación de retorno ( $R/R^*$ $R / R^{*}$ ) como en el cumplimiento de restricciones.
- KBD logró un $R/R^*$ de 0.730 (vs 0.723 de PUROS) y un cumplimiento de restricciones del 82.78%.
Análisis de Componentes (ECA):
- El uso de IEFormer (etapa macro) mejoró la tasa de agotamiento del costo en un 8.44%.
- La adición del DT (etapa micro) aportó una mejora adicional del 2.3%.
- La combinación de ambos (KBD completo) resultó en un aumento del GMV del 13.01% y una mejora en la duración de las campañas en comparación con el grupo de control.
Robustez: Los estudios de ablación confirmaron que la eliminación de cualquier componente (módulo IE, regularización de rendimientos decrecientes, o el controlador PID) resultó en una degradación inmediata del rendimiento.
Adaptabilidad: En escenarios de distribución cambiante (promociones, nuevos productos), la fusión con PID permitió que el sistema mantuviera la estabilidad mientras el DT ajustaba la estrategia a largo plazo.

5. Significado e Impacto

Este trabajo es significativo porque:

Cierra la brecha entre IA y Expertos Humanos: No reemplaza al experto, sino que codifica su conocimiento heurístico dentro de modelos de ML, permitiendo que la IA opere con la intuición y robustez de un humano en situaciones críticas.
Resuelve el problema de la "Caja Negra": Al utilizar arquitecturas híbridas (conexionista-simbólica) y controladores interpretables (PID), el sistema es más transparente y fácil de depurar que los modelos puramente neuronales.
Aplicabilidad Industrial: Demuestra que es posible desplegar sistemas de oferta automatizada que no solo maximizan métricas a corto plazo, sino que gestionan riesgos y adaptabilidad en entornos de publicidad reales y volátiles, superando las limitaciones de los enfoques puramente basados en datos históricos.

En conclusión, KBD representa un avance hacia sistemas de publicidad autónomos que combinan la potencia de la planificación deliberativa (Sistema 2) con la velocidad y fiabilidad de las reglas heurísticas (Sistema 1), logrando un equilibrio óptimo entre exploración y explotación en la compra de impresiones publicitarias.