🤖 machine learning

AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization

Este artículo presenta AIGB-R1, un marco de auto-licitación jerárquico y autoevolutivo que aprovecha los Modelos de Lenguaje Extensos con una arquitectura de planificador-ejecutor y un novedoso algoritmo de Optimización de Política Relativa de Grupo Desacoplada (D-GRPO) para superar las limitaciones de los métodos de licitación generados por IA existentes mediante la mejora del razonamiento estratégico, la precisión numérica y la optimización autónoma a través de un bucle impulsado por la experiencia.

Autores originales: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

Publicado 2026-07-21

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde cada vez que te desplazas por tu teléfono, está ocurriendo una subasta silenciosa y de alta velocidad. Los anunciantes luchan por tu atención, lanzando dinero digital a la pantalla para mostrarte sus anuncios. Esta es la frontera salvaje de la publicidad en línea, un lugar donde miles de millones de oportunidades pasan de largo en un abrir y cerrar de ojos. Para ganar estas batallas, las empresas solían depender de humanos ajustando las pujas manualmente, pero eso es como intentar atrapar una bala a gran velocidad con una red hecha de espagueti: es demasiado lento y desordenado. Por ello, recurrieron a las computadoras. Primero llegó el "Auto-bidding" (pujas automáticas), donde los algoritmos ajustan automáticamente los precios para obtener el mejor trato. Luego llegó la "IA Generativa", que intenta aprender de subastas pasadas para predecir el movimiento perfecto. Pero aquí está el truco: estos modelos de IA son como estudiantes que solo estudiaron de un único libro de texto desactualizado. Se confunden cuando el mundo real cambia y a menudo tienen problemas con las matemáticas, "alucinando" (inventando) números que no tienen sentido.

Entra la nueva estrella del espectáculo: los Modelos de Lenguaje de Gran Escala (LLM). Tal vez los conozcas como los chatbots que pueden escribir poemas o resolver acertijos. Son increíblemente inteligentes para entender el contexto y planificar con antelación, pero son terribles haciendo cálculos rápidos y precisos, y son demasiado lentos para las subastas en tiempo real. La gran pregunta que los científicos se plantean es: ¿Podemos combinar la capacidad cerebral de un planificador inteligente con la velocidad de una calculadora rápida para ganar estas subastas digitales? Esto es exactamente lo que un equipo de investigadores se propuso resolver, con el objetivo de construir una IA que no solo adivine, sino que realmente piense su camino hacia la victoria.

El Cerebro y el Músculo: AIGB-R1

Los investigadores proponen un nuevo sistema llamado AIGB-R1. Piensa en ello como un equipo de trading de alto riesgo donde los roles están perfectamente divididos. En el pasado, la gente intentaba usar una sola IA gigante para hacerlo todo: pensar, calcular y actuar. Pero los autores argumentan que esto es una mala idea porque la IA es mala con los números precisos y lenta para reaccionar. En su lugar, AIGB-R1 utiliza un enfoque jerárquico, dividiendo el trabajo en dos partes distintas: un Planificador y un Ejecutor.

El Planificador es el "Gran Cerebro". Es un Modelo de Lenguaje de Gran Escala potente que actúa como un general experimentado o un gran maestro de ajedrez. Antes de que la subasta siquiera comience, este general analiza el presupuesto del anunciante, sus objetivos y su rendimiento pasado. No se preocupa por los detalles minúsculos del siguiente segundo; en su lugar, formula una estrategia a nivel macro. Podría decir: "Hoy vamos a ser agresivos y gastar rápido", o "Necesitamos ser conservadores y ahorrar nuestro dinero". Escribe esta estrategia como un prompt claro y estructurado.

El Ejecutor es el "Músculo". Este es un modelo de IA ligero y superrápido (específicamente un Prompt Decision Transformer) que realiza la puja real. Recibe el prompt de estrategia del general y luego se enfoca en el momento inmediato. Observa el estado actual de la subasta, el presupuesto restante y la competencia, e instantáneamente calcula el número exacto a pujar. Debido a que el Ejecutor es un modelo matemático especializado, no alucina números y reacciona en milisegundos. El Planificador da el "qué" y el "por qué", y el Ejecutor se encarga del "cómo" y el "cuándo".

Aprendiendo de la Experiencia, No Solo de Libros

El artículo también introduce una forma ingeniosa para que este sistema se vuelva más inteligente con el tiempo, lo que llaman un bucle de autoevolución. La mayoría de los sistemas de IA se entrenan con datos viejos y estáticos, como estudiar para un examen usando un libro de texto de hace diez años. Si el mercado cambia, la IA se confunde. AIGB-R1, sin embargo, construye un entorno de simulación llamado AuctionNetEnv. Imagina un videojuego donde la IA puede jugar contra miles de otros bots, probando diferentes estrategias una y otra vez.

Aquí es donde se pone realmente interesante. El sistema no solo adivina al azar. Mantiene un banco de memoria de sus mejores movimientos pasados. Si una cierta estrategia funcionó bien ayer, el Planificador la recuerda e intenta refinarla hoy. Si una estrategia falló, aprende de ese error. Esto es la parte de "autoevolución": el sistema aprende de su propia experiencia acumulada, ajustando constantemente su enfoque para acercarse a la puja perfecta.

La Fórmula Secreta: D-GRPO

Uno de los mayores desafíos en esta configuración es determinar quién recibe el crédito (o la culpa) cuando el equipo gana o pierde. ¿Fue el General (Planificador) quien dio una mala orden, o el Soldado (Ejecutor) quien no siguió la instrucción? Para resolver esto, los autores inventaron un nuevo truco matemático llamado Optimización de Política Relativa de Grupo Desacoplada (D-GRPO).

Imagina a un entrenador observando una carrera de relevos. Si el equipo pierde, el entrenador necesita saber si el primer corredor fue lento o si el segundo dejó caer el testigo. D-GRPO actúa como un entrenador superinteligente que puede separar el desempeño del Planificador del del Ejecutor. Observa los resultados y dice: "La estrategia fue buena, pero la ejecución falló", o "La ejecución fue perfecta, pero la estrategia estaba mal". Al separar estas dos señales, el sistema puede entrenar ambas partes simultáneamente sin que se confundan, lo que conduce a un proceso de aprendizaje mucho más estable y efectivo.

Lo Que Encontraron

Los investigadores probaron AIGB-R1 en un conjunto de datos masivo y real de Alibaba que contiene alrededor de 480,000 trayectorias de puja. Compararon su sistema con muchos otros métodos de alto nivel, incluyendo aquellos basados en Aprendizaje por Refuerzo y otros modelos Generativos.

Los resultados fueron claros: AIGB-R1 ganó. Superó consistentemente a todos los demás métodos, logrando las puntuaciones más altas tanto en escenarios de subasta estándar como en los desafiantes de tipo "disperso" (sparse). El artículo sugiere que simplemente usar un Modelo de Lenguaje de Gran Escala como tomador de decisiones no es suficiente debido a sus limitaciones matemáticas, pero usarlo como un planificador estratégico mientras se deja que un modelo especializado maneje los números es un cambio radical.

El estudio también demostró que cada parte de su sistema era necesaria. Cuando eliminaron el entrenamiento de "autoevolución" (dejando que la IA aprendiera de sus propias simulaciones), el rendimiento cayó. Cuando eliminaron al Planificador y dejaron que el Ejecutor simplemente adivinara, el desempeño fue peor. Y cuando congelaron al Planificador para que no pudiera aprender de nuevas experiencias, el sistema no era tan bueno como cuando podía adaptarse. Esto demuestra que la combinación de un planificador inteligente, un ejecutor veloz y un bucle que aprende de la experiencia es la clave para desbloquear el siguiente nivel de la puja automática.

En resumen, AIGB-R1 sugiere que el futuro de la publicidad automatizada no se trata de construir un único robot gigante y omnisciente. Se trata de construir un equipo: un estratega sabio que planea la ruta y un conductor ágil que conduce el coche, ambos aprendiendo juntos de cada milla que recorren.

Resumen Técnico: AIGB-R1

Planteamiento del Problema

La puja automática (auto-bidding) es crítica en la publicidad en línea, donde los agentes deben ajustar automáticamente las pujas para maximizar los objetivos del anunciante (por ejemplo, conversiones) bajo restricciones como el presupuesto y el Costo por Acción (CPA). Aunque el paradigma emergente de la Puja Generativa por IA (AIGB, por sus siglas en inglés) utiliza modelos generativos (por ejemplo, Decision Transformers) para aprender de datos offline, estos métodos enfrentan tres limitaciones principales:

Cobertura de Datos: El rendimiento se degrada en estados fuera de la distribución (OOD) debido a la limitada cobertura de modos de los conjuntos de datos offline.
Comprensión del Estado: Los métodos existentes condicionan las políticas al "retorno por venir" (return-to-go) sin comprender plenamente los estados de tareas específicas o los valores de acción, lo que dificulta la planificación de estrategias óptimas.
Adaptabilidad: Las distribuciones de preferencia fijas en el entrenamiento dificultan la adaptación a diversas preferencias de los anunciantes sin un costoso reentrenamiento.

Si bien los Modelos de Lenguaje Grande (LLMs) ofrecen un razonamiento y conocimiento de mundo superiores para abordar estas brechas, su aplicación directa a la puja automática se ve obstaculizada por:

Precisión Numérica: Los LLMs tienen dificultades con el control numérico continuo y preciso requerido para los parámetros de puja, sufriendo a menudo de alucinaciones e insuficiencia de precisión.
Latencia: La puja en línea requiere respuestas de milisegundos, mientras que los LLMs grandes enfrentan un compromiso entre la calidad de la decisión y la velocidad de inferencia.
Asignación de Crédito: Los intentos jerárquicos existentes suelen fallar al optimizar tanto el razonamiento de alto nivel como la ejecución de bajo nivel de forma end-to-end, dependiendo de funciones de valor offline que sufren de errores de extrapolación.

Metodología: Marco de Trabajo AIGB-R1

Los autores proponen AIGB-R1, un marco de trabajo de puja automática jerárquico y autoevolutivo que desacopla la planificación de estrategia a nivel macro del proceso de toma de decisiones detallado.

1. Arquitectura de Planificador-Ejecutor Jerárquica

Planificador de Alto Nivel: Utiliza un LLM de gran tamaño para razonar sobre estrategias de nivel macro (por ejemplo, preferencia de riesgo, ritmo de gasto de presupuesto) para un periodo de puja basado en el contexto del anunciante y el rendimiento histórico. Este genera un prompt de estrategia estructurado que contiene etiquetas de estrategia enumeradas y razonamiento semántico. Esta planificación ocurre de forma asíncrona antes de que comience el periodo de puja.
Ejecutor de Bajo Nivel: Emplea un Prompt Decision Transformer (PDT), un transformador causal ligero. El Ejecutor toma el prompt de estrategia del Planificador como un prefijo condicional y genera parámetros de puja precisos en cada paso de tiempo basados en secuencias numéricas observadas (estados, acciones, retorno por venir). Este diseño aprovecha el razonamiento del LLM mientras utiliza un modelo especializado para el control numérico preciso y la ejecución de baja latencia.

2. Pipeline de Entrenamiento de Dos Etapas

Pre-entrenamiento Offline: El Ejecutor es pre-entrenado en trayectorias de puja offline. Los prompts de estrategia son anotados por un LLM avanzado. El Ejecutor aprende una política estocástica (modelada mediante una distribución log-normal) para maximizar la verosimilitud del conjunto de datos, condicionado tanto al prompt como a las secuencias históricas.
Alineación de Post-entrenamiento (Bucle de Autoevolución): Para superar las limitaciones de los datos offline, el marco emplea un entorno de simulación de puja interactivo (AuctionNetEnv) para el despliegue de estrategias en línea.
- Despliegue Guiado por Experiencia: Para cada tarea, el Planificador genera $M$ prompts de estrategia diversos. Para cada prompt, el Ejecutor realiza $K$ despliegues en la simulación.
- Búfer de Experiencia: Un búfer mantiene un "ancla de mejor estrategia" y una ventana de memoria deslizante de trayectorias recientes para cada tarea, lo que permite al Planificador refinar las estrategias basándose en la experiencia acumulada en lugar de un muestreo aleatorio.

3. Optimización de Política Relativa de Grupo Desacoplada (D-GRPO)

Para permitir la optimización end-to-end tanto del Planificador como del Ejecutor, los autores proponen D-GRPO. La Optimización de Política Relativa de Grupo (GRPO) estándar falla aquí porque la señal de recompensa acopla las contribuciones de ambos módulos. D-GRPO aborda esto mediante la desacoplamiento de la ventaja:

La matriz de recompensa ( $M$ $M$ estrategias $\times$ $\times$ $K$ $K$ despliegues) se descompone en dos componentes ortogonales:
- Componente Inter-grupo: La desviación de la recompensa media de una estrategia respecto a la media global. Esta señal se utiliza para actualizar el Planificador, reflejando la calidad de la selección de la estrategia.
- Componente Intra-grupo: La desviación de la recompensa de una trayectoria específica respecto a la media de su estrategia. Esta señal se utiliza para actualizar el Ejecutor, reflejando el rendimiento de la toma de decisiones bajo una estrategia fija.
Esta descomposición permite una asignación de crédito estable y end-to-end sin atribuir erróneamente las recompensas entre las capas.

Contribuciones Clave

Marco AIGB-R1: Una arquitectura jerárquica que aprovecha plenamente el razonamiento de los LLM para la planificación macro, mientras evita las limitaciones de precisión numérica y latencia mediante un Ejecutor PDT dedicado.
Bucle de Autoevolución Guiado por Experiencia: Un mecanismo que permite la exploración y optimización autónoma de estrategias a partir de la experiencia acumulada de los desplieges, yendo más allá del muestreo aleatorio ciego.
Algoritmo D-GRPO: Un método de optimización novedoso que logra la asignación de crédito inter-capa mediante el desacoplamiento de la ventaja, permitiendo el entrenamiento estable y end-to-end del sistema jerárquico.
Entorno de Simulación Interactivo: La construcción de AuctionNetEnv para facilitar un despliegue de estrategia en línea fiable y mitigar los errores de extrapolación offline.

Resultados Experimentales

El marco fue evaluado en conjuntos de datos públicos a gran escala (AuctionNet y AuctionNet-Sparse) que contienen aproximadamente 480K trayectorias de puja.

Rendimiento: AIGB-R1 superó significativamente a las líneas base de vanguardia, incluyendo métodos de RL (USCB, CQL, IQL), modelos generativos (Decision Transformers, modelos de Difusión) y otros enfoques basados en LLM (LBM).
- En AuctionNet, AIGB-R1 alcanzó una puntuación de 385, superando a la siguiente mejor línea base (GAS con 359).
- En AuctionNet-Sparse, alcanzó 39.0, superando a la siguiente mejor (GAVE con 37.2).
Generalización: El modelo demostró un rendimiento robusto a través de diversos ajustes de presupuesto (del 50% al 150% de la línea base), superando consistentemente a las líneas base generativas avanzadas.
Estudios de Ablación:
- Eliminar el Planificador o la etapa de post-entrenamiento resultó en caídas significativas de rendimiento, confirmando la necesidad de ambos componentes.
- La optimización end-to-end (actualizando tanto el Planificador como el Ejecutor) mediante D-GRPO produjo resultados superiores en comparación con congelar el Planificador, validando la importancia del entrenamiento conjunto.

Significancia

El artículo afirma que AIGB-R1 proporciona una solución prometedora para la puja automática potenciada por LLM, cerrando eficazmente la brecha entre las capacidades de razonamiento de los LLM y los requisitos de precisión y latencia de los sistemas de puja en tiempo real. Al introducir un bucle de autoevolución y un algoritmo de optimización desacoplado, el marco aborda los cuellos de botella críticos de la cobertura de datos offline, la precisión numérica y la asignación de crédito en la toma de decisiones jerárquica. Los resultados sugieren que el desacoplamiento de la planificación de la estrategia de la ejecución, combinado con la automejora guiada por la experiencia, es un camino viable hacia sistemas de puja automatizados más adaptables y óptimos.