🤖 machine learning

CADET: Context-Conditioned Ads CTR Prediction With a Decoder-Only Transformer

Este artículo presenta CADET, un transformador de solo decodificador condicionado por contexto implementado en LinkedIn que supera desafíos clave en la predicción de CTR de anuncios mediante innovaciones como el modelado de post-puntuación multi-torre y la atención de compuerta propia, logrando un aumento del 11.04% en el CTR sobre la línea base de producción.

Autores originales: David Pardoe, Neil Daftary, Miro Furtado, Aditya Aiyer, Yu Wang, Liuqing Li, Tao Song, Lars Hertel, Young Jin Yun, Senthil Radhakrishnan, Zhiwei Wang, Tommy Li, Khai Tran, Ananth Nagarajan, Ali Naqvi

Publicado 2026-08-12

📖 9 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: David Pardoe, Neil Daftary, Miro Furtado, Aditya Aiyer, Yu Wang, Liuqing Li, Tao Song, Lars Hertel, Young Jin Yun, Senthil Radhakrishnan, Zhiwei Wang, Tommy Li, Khai Tran, Ananth Nagarajan, Ali Naqvi, Yue Zhang, Renpeng Fang, Avi Romascanu, Arjun Kulothungun, Deepak Kumar, Praneeth Boda, Fedor Borisyuk, Ruoyan Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás caminando por un mercado digital masivo y bullicioso. Cada segundo, miles de carteles digitales aparecen parpadeando, tratando de captar tu atención. Algunos carteles son para zapatos, otros para ofertas de empleo y algunos para café. Las personas que gestionan este mercado tienen un trabajo difícil: necesitan adivinar en qué cartel te detendrás a mirar antes de que siquiera lo veas. Este juego de adivinanzas se llama predicción de la "Tasa de Clics" (CTR, por sus siglas en inglés). Durante mucho tiempo, los mejores adivinadores fueron como contables súper inteligentes que miraban una lista de tus hábitos pasados y los detalles del cartel para hacer un cálculo. Pero recientemente, un nuevo tipo de IA "generativa" ha empezado a aparecer en otras áreas, como la recomendación de películas o canciones. Estas nuevas IA son como narradores de historias; en lugar de solo procesar números, leen toda una historia de lo que has hecho antes y predicen qué pasará después. La gran pregunta para los dueños del mercado era: ¿Podemos usar esta nueva IA de "narración de historias" para adivinar en qué anuncios harás clic, incluso cuando las reglas del juego cambian después de que se realiza la suposición?

Esto es exactamente lo que el equipo de LinkedIn se propuso resolver con su nuevo sistema, llamado CADET. Construyeron un "transformer de solo decodificador" (decoder-only transformer), que es una forma elegante de decir que crearon una IA que lee una secuencia de eventos (como tus clics y visualizaciones pasadas) y predice el futuro en un solo paso fluido. Pero los anuncios son complicados. A diferencia de recomendar una película, el éxito de un anuncio a menudo depende de cosas que no se conocen hasta después de que la IA hace su suposición, como exactamente dónde terminará el anuncio en la pantalla. Si la IA se equivoca porque no sabía que el anuncio estaría en la parte inferior de la página en lugar de la superior, todo el sistema se confunde.

Los investigadores descubrieron que, al dotar a su IA de un conjunto especial de herramientas, podían resolver este rompecabezas. Enseñaron al modelo a imaginar diferentes escenarios de "¿qué pasaría si..." para donde podría aterrizar el anuncio, y construyeron un mecanismo de "autocontrol" (self-gating) que actúa como un portero, evitando que la IA se distraiga con información ruidosa o confusa. También le dieron a la IA un sentido especial del tiempo, permitiéndole entender que un clic de hace cinco minutos es diferente a uno de hace cinco meses. Lo más importante es que se aseguraron de que la IA no utilizara información que no tendría en el mundo real durante su entrenamiento. Cuando probaron este nuevo sistema en el mercado real de LinkedIn, no solo funcionó; funcionó significativamente mejor que los antiguos y complejos sistemas que reemplazaron. La nueva IA sugirió que los usuarios tenían un 11.04% más de probabilidades de hacer clic en los anuncios, demostando que un enfoque unificado de narración de historias puede superar a la antigua máquina de múltiples partes.

La Historia de CADET: Un Narrador para Anuncios

Entonces, ¿cómo lo construyeron? Desglosemos la magia de CADET (Context-Conditioned Ads Decoder-Only Transformer) en conceptos sencillos y cotidianos.

El problema del "Huevo o la Gallina"
Imagina que eres un chef intentando adivinar cuánto disfrutará un cliente una comida. Pero aquí está el truco: tienes que adivinar el disfrute antes de saber dónde está sentada la mesa. Si la mesa está justo al lado de la cocina, el cliente podría estar hambriento y emocionado. Si está en un rincón oscuro, podrían estar de mal humor. En el mundo de los anuncios, la "mesa" es la posición del anuncio en la pantalla. La IA tiene que predecir si harás clic en un anuncio, pero aún no sabe si ese anuncio estará en la parte superior (donde todos lo ven) o muy abajo en la parte inferior. Este es el problema del "huevo o la gallina": la predicción depende de la posición, pero la posición depende de la predicción.

CADET resuelve esto siendo un maestro de los escenarios de "¿qué pasaría si...". En lugar de hacer una sola suposición, tiene múltiples "cabezales de predicción" (piensa en ellos como diferentes chefs en la cocina). Un chef adivina: "Si este anuncio está arriba, ¿harás clic?". Otro chef adina: "Si está abajo, ¿harás clic?". El modelo aprende a producir todas estas respuestas a la vez. Cuando el anuncio se coloca realmente, el sistema simplemente elige la respuesta del chef que acertó sobre la ubicación. De esta manera, la IA nunca se confunde por el misterio de dónde terminará el anuncio.

El Portero (Atención de Autocontrol / Self-Gated Attention)
En una habitación concurrida, a veces una persona ruidosa ahoga a todas las demás. En la IA, esto se llama "sumidero de atención" (attention sink), donde el modelo se enfoca demasiado en un token (una pieza de datos) e ignora el resto, lo que lleva a malas suposiciones. Los investigadores dotaron a CADET de un "portero" llamado mecanismo de atención de autocontrol (self-gated attention mechanism).

Piensa en el cerebro de la IA como un pasillo concurrido. Cada vez que una pieza de información intenta pasar, el portero la revisa. Si la información es ruidosa o no es muy útil, el portero atenúa sus luces (la controla hacia abajo) para que no distraiga al modelo. Si la información es importante, el portero deja que brille. Esto sucede dos veces: una cuando la información llega por primera vez (nivel de representación) y otra cuando la IA intenta conectar diferentes piezas de información (nivel de interacción). Esto mantiene el entrenamiento suave y estable, evitando que la IA se vuelva loca o se quede estancada en patrones erróneos.

La Máquina del Tiempo (Timestamp RoPE)
La mayoría de los modelos de IA cuentan pasos: "Paso 1, Paso 2, Paso 3". Pero en el mundo real, el tiempo no es solo cuestión de pasos; se trata de cuándo sucedieron las cosas. Un clic que ocurrió hace 10 segundos es muy diferente a uno que ocurrió hace 10 meses.

CADET utiliza un tipo especial de "máquina del tiempo" llamada Codificación Posicional Rotatoria basada en marcas de tiempo (Timestamp-based Rotary Positional Embedding - RoPE). En lugar de contar pasos, la IA mira la hora real del reloj (timestamps de Unix) de cada evento. Puede entender que la brecha entre dos eventos es corta (como segundos) o larga (como meses). Esto ayuda al modelo a darse cuenta de que tu comportamiento cambia con el tiempo. Si hiciste clic en un anuncio de empleo ayer, podrías seguir interesado hoy, pero si hiciste clic en él hace seis meses, probablemente ya no lo estés. Este sentido del tiempo permite a la IA aprender patrones en diferentes escalas, desde el momento inmediato hasta las tendencias a largo plazo.

La Regla de "No Hacer Trampa" (Enmascaramiento de Sesión)
Cuando entrenas una IA, quieres que aprenda como un estudiante, no como un tramposo. En el mundo real, cuando se muestra un anuncio, el sistema no sabe inmediatamente si hiciste clic en él; hay un pequeño retraso (como unos segundos o minutos) mientras los datos viajan. Si la IA se entrena con datos donde puede "ver" el clic antes de lo que debería, aprende a usar información que no debería tener. Pensará: "¡Ah, sabía que hiciste clic porque vi el resultado!", pero en el mundo real, no tendrá esa información.

Para evitar esto, los investigadores utilizaron el enmascaramiento de sesión (session masking). Imagina a un profesor cubriendo la clave de respuestas en un examen. Durante el entrenamiento, la IA se ve obligada a mirar solo la información que habría estado disponible en ese momento exacto. Si un clic ocurre 30 segundos después, la IA es ciega a él durante el entrenamiento del momento actual. Esto asegura que cuando la IA vaya al mundo real (servicio en línea), no se confunda ni haga malas suposiciones porque esté dependiendo de información que realmente no puede ver.

El Impulso de Velocidad (Ingeniería de Producción)
Finalmente, construir una IA inteligente es una cosa; hacerla lo suficientemente rápida para manejar miles de millones de anuncios cada día es otra. El equipo utilizó algunos trucos ingeniosos de ingeniería. "Empaquetaron" los datos de forma compacta, como organizar una maleta para que no haya espacio desperdiciado, lo que hizo que el entrenamiento fuera mucho más rápido. También construyeron motores de "FlashAttention" personalizados (partes de software especializadas) que permiten a la IA calificar cientos de anuncios a la vez en una sola pasada ultrarrápida, en lugar de revisarlos uno por uno.

Los Resultados: Una Gran Victoria para LinkedIn

Cuando el equipo puso a prueba a CADET en el feed principal de LinkedIn, los resultados fueron impresionantes. Compararon su modelo contra su antiguo sistema altamente optimizado (una mezcla de diferentes modelos trabajando juntos). El nuevo modelo CADET no solo estuvo a la altura; aplastó a la competencia.

En una prueba en línea a gran escala, CADET logró un aumento del 11.04% en las tasas de clics en comparación con el sistema anterior. Esto significa que, por cada 100 anuncios mostrados, significativamente más personas se detuvieron a mirar. Curiosamente, debido a que los anunciantes en LinkedIn suelen gastar sus presupuestos de forma automática, el gasto total no cambió mucho, pero el valor de esos clics aumentó. El costo por clic cayó un 10.9%, lo que significa que los anunciantes obtuvieron un mejor retorno de su inversión.

El artículo sugiere que este éxito proviene de combinar una IA de "narración de historias" unificada con correcciones inteligentes para los problemas específicos de los anuncios (como la posición y el tiempo). Demuestra que un modelo único y bien diseñado puede vencer a un equipo complejo de modelos más antiguos. Aunque los investigadores señalan que aún queda trabajo por hacer —como manejar incluso más tipos de escenarios de "¿qué pasaría si..."—, su trabajo demuestra que los transformers de solo decodificador están listos para tomar el mando en el mundo de la publicidad en línea.

Resumen Técnico: CADET (Transformer de solo decodificador condicionado al contexto para la predicción del CTR de anuncios)

Planteamiento del Problema

La predicción de la tasa de clics (CTR) es el mecanismo central que impulza la entrega de anuncios y la experiencia del usuario en el feed principal de LinkedIn. Aunque los modelos de aprendizaje profundo para recomendación (DLRM), como DCN y DIN, han dominado históricamente este dominio mediante interacciones explícitas de características, adaptar arquitecturas de transformer generativas de solo decodificador a la clasificación de anuncios industrial presenta desafíos únicos:

El problema del "huevo y la gallina": Las señales contextuales post-escoreo (por ejemplo, la posición final del anuncio) influyen significativamente en el comportamiento del usuario, pero no están disponibles en el momento de la puntuación. Los métodos existentes suelen tratar la posición como una característica de mitigación de sesgo o utilizan modelos secundarios, lo que crea un bucle de dependencia entre el CTR predicho y el ranking final.
Consistencia Offline-Online: Los datos de entrenamiento suelen contener información (por ejemplo, interacciones dentro de la misma sesión) que no está disponible durante la inferencia debido a retrasos en el sistema o latencias de seguimiento, lo que genera un desajuste entre el entrenamiento y el servicio (train-serve skew).
Escalabilidad y Estabilidad: Las cargas de trabajo industriales requieren entrenar con miles de millones de impresiones diarias con presupuestos estrictos de latencia (p99 < 50 ms) y una convergencia estable, lo cual puede ser difícil con las arquitecturas de transformer estándar propensas a comportamientos de atención patológicos.

Metodología

Los autores presentan CADET (Context-Conditioned Ads Decoder-Only Transformer), un transformer de solo decodificador diseñado específicamente para la predicción del CTR de anuncios. La arquitectura procesa secuencias entrelazadas de características estáticas del usuario, impresiones de anuncios y acciones contextualizadas.

Innovaciones Arquitectónicas Principales

1. Arquitectura de Decodificación Condicionada al Contexto
Para resolver la dependencia entre el CTR predicho y el contexto post-escoreo (como la posición del anuncio), CADET emplea un bloque de decodificación de múltiples torres.

Mecanismo: El modelo particiona el espacio de contexto en $K$ cubetas discretas (por ejemplo, posiciones 1–4 frente a 5+). Para cada impresión, la salida compartida del transformer se alimenta a $K$ cabezales de predicción paralelos.
Entrenamiento: Solo el cabezal correspondiente al cubeta de contexto real (ground-truth) contribuye a la pérdida.
Inferencia: Todos los $K$ cabezales generan predicciones en una única pasada hacia adelante (forward pass). El sistema de servicio selecciona la predicción apropiada basándose en el contexto de renderizado real, eliminando la necesidad de un re-escoreo iterativo.

2. Mecanismo de Atención con Auto-Gating (Self-Gated Attention)
Para estabilizar el entrenamiento y mitigar los comportamientos de atención patológicos (por ejemplo, sumideros de atención), los autores introducen un módulo de atención con auto-gating que regula el flujo de información en dos niveles:

Gating a Nivel de Representación: Un módulo ligero aplica un gate sigmoide a las representaciones de los tokens de entrada ( $X$ ) antes de la proyección, actuando como una selección de características adaptativa para suprimir dimensiones ruidosas.
Gating a Nivel de Interacción: Las consultas ( $Q$ ) y llaves ( $K$ ) proyectadas se someten a un gating individual antes del cálculo de la atención de producto punto. Esto restringe la magnitud de las interacciones, evitando que los tokens dominantes monopolicen la atención.

3. Codificación Temporal mediante RoPE Modificado
Los embeddings posicionales rotatorios (RoPE) estándar dependen de la posición en la secuencia. Para los anuncios, las diferencias temporales son más críticas.

Modificación: Los autores reemplazan la posición de la secuencia $p$ por marcas de tiempo Unix $t$ .
Adaptación: El ángulo de rotación se define como $\alpha_i(t) = t \cdot \theta_i$ , donde $\theta_i$ se escala para manejar diferencias de tiempo que van desde segundos hasta meses. Esto permite que el modelo capture relaciones temporales a través de diversos escalafones de tiempo sin descartar el orden causal (impuesto por la máscara causal).

4. Enmascaramiento Sensible a la Sesión (Session-Aware Masking)
Para asegurar la consistencia offline-online, el modelo emplea estrategias de enmascaramiento personalizadas durante el entrenamiento.

Problema: El entrenamiento estándar podría permitir que los tokens atiendan a eventos futuros dentro de la misma sesión que aún no son observables durante la inferencia debido a la latencia.
Solución: Se aplica una máscara $M$ donde $M_{i,j} = -\infty$ si $t_j > t_i - \Delta_{delay}$ . Esto evita que el modelo aprenda dependencias de eventos de la sesión que no están disponibles, alineando las condiciones de entrenamiento con las de servicio.

5. Ingeniería de Producción

Empaquetado de Tensores (Tensor Packing): Para manejar la dispersión de las secuencias de usuario, el sistema compacta los lotes en un búfer de tokens contiguo, eliminando los tokens de relleno (padding) y aumentando el tamaño efectivo del lote aproximadamente 4 veces.
FlashAttention Personalizado: Un kernel personalizado integra la lógica de enmascaramiento directamente en el cómputo de atención por bloques (tiled attention). Esto permite un scoring eficiente de múltiples elementos (clasificar cientos de candidatos en una sola pasada) con complejidad lineal respecto al número de candidatos, en lugar de cuadrática.

Contribuciones Clave

Decodificación Condicionada al Contexto: Una novedosa arquitectura de múltiples torres que modela explícitamente las señales post-escoreo (ej. posición del anuncio) en una sola pasada, resolviendo el bucle de dependencia de ranking.
Atención con Auto-Gating: Un diseño de atención mejorado con gating de doble nivel que estabiliza el entrenamiento y asegura una convergencia fiable a escala.
RoPE Basado en Marcas de Tiempo: Una variante de codificación temporal que captura diferencias de tiempo desde segundos hasta meses, reemplazando la posición de la secuencia por marcas de tiempo de eventos.
Enmascaramiento de Sesión: Estrategias que evitan el desajuste entre entrenamiento y servicio al enmascarar eventos de la sesión no disponibles durante el entrenamiento.
Sistema de Producción Escalable: Optimizaciones que incluyen empaquetado de tensores y kernels de FlashAttention personalizados que permiten un entrenamiento eficiente en conjuntos de datos a gran escala y un servicio de baja latencia.

Resultados

Experimentos Offline

Los estudios de ablación en el conjunto de datos de actualizaciones patrocinadas de LinkedIn (1 año de datos) demostraron la contribución de cada componente:

Modelado Condicionado al Contexto: Eliminar esto redujo el AUC en un 0.61%, resaltando su papel crítico.
Enmascaramiento de Sesión: Eliminar esto redujo el AUC en un 0.31%, confirmando la importancia de la consistencia offline-online.
RoPE Temporal: Eliminar esto redujo el AUC en un 0.13%.
Atención con Auto-Gating: El gating combinado a nivel de representación e interacción proporcionó la convergencia más estable en comparación con las líneas base sin gating o con gating de un solo nivel.
Comparación de Backbone: Las variantes de CADET (usando ya sea HSTU o backbones de Transformer) se comportaron de manera casi idéntica (dentro de 0.0001 AUC), lo que sugiere que las ganancias provienen de los componentes de modelado y no de la elección del backbone. El modelo CADET completo logró un AUC de 0.8554.

Pruebas A/B Online

CADET se desplegó en las actualizaciones patrocinadas del feed principal de LinkedIn, reemplazando la línea base de producción LiRank (un ensamble híbrido de DCNv2 y TransAct).

Incremento de CTR: CADET logró un incremento estadísticamente significativo del 11.04% en la Tasa de Clics (CTR).
Ingresos y ROI: Aunque los ingresos totales se mantuvieron aproximadamente neutros (debido a que los anunciantes gastan sus presupuestos completos bajo la puja automática), las ganancias en relevancia resultaron en una reducción del 10.9% en el Costo por Clic (CPC), indicando un mayor ROI para el anunciante.
Eficiencia: El sistema sirve el tráfico principal con una latencia p99 inferior a 50 ms, procesando ~330 solicitudes por segundo por GPU.

Significancia

El artículo afirma que CADET demuestra que un transformer de solo decodificador unificado, cuando se combina con innovaciones de modelado específicas (específicamente la decodificación condicionada al contexto y la atención con auto-gating) y optimizaciones de producción, puede superar eficazmente a los sistemas híbridos de DLRM multicomponente altamente optimizados en la clasificación de anuncios industrial. Aborda los desafíos específicos de aplicar transformers autorregresivos a la publicidad, particularmente el manejo de señales post-escoreo y el mantenimiento de la consistencia offline-online, marcando una transición exitosa de los DLRM tradicionales hacia los paradigmas generativos en sistemas de anuncios a gran escala.