🤖 machine learning

AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization

Questo articolo introduce AIGB-R1, un framework di auto-bidding gerarchico e auto-evolutivo che sfrutta i Large Language Models con un'architettura planner-executor e un nuovo algoritmo Decoupled Group Relative Policy Optimization (D-GRPO) per superare i limiti degli esistenti metodi di offerta generati dall'IA, potenziando il ragionamento strategico, la precisione numerica e l'ottimizzazione autonoma attraverso un ciclo guidato dall'esperienza.

Autori originali: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

Pubblicato 2026-07-21

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui ogni volta che scorrete il vostro telefono, si sta svolgendo un'asta silenziosa e ad alta velocità. Gli inserzionisti combattono per la vostra attenzione, lanciando denaro digitale sullo schermo per mostrare i loro annunci. Questa è la frontiera selvaggia della pubblicità online, un luogo dove miliardi di opportunità sfrecciano via in un battito di ciglia. Per vincere queste battaglie, le aziende un tempo si affidavano a esseri umani che regolavano manualmente le offerte, ma questo è come cercare di afferrare un proiettile veloce con una rete fatta di spaghetti: è troppo lento e disordinato. Così, si sono rivolte ai computer. Prima è arrivato il "bid automatizzato" (Auto-bidding), dove gli algoritmi regolano automaticamente i prezzi per ottenere l'offerta migliore. Poi è arrivata l'"IA Generativa", che cerca di imparare dalle aste passate per prevedere la mossa perfetta. Ma ecco il problema: questi modelli di IA sono come studenti che hanno studiato solo da un singolo libro di testo obsoleto. Si confondono quando il mondo reale cambia e spesso faticano con la matematica, a volte "allucinando" (inventando) numeri che non hanno senso.

Entra in scena la nuova stella dello spettacolo: i Large Language Models (LLM). Potreste conoscerli come i chatbot in grado di scrivere poesie o risolvere indovinelli. Sono incredibilmente intelligenti nel comprendere il contesto e nel pianificare in anticipo, ma sono terribili nel fare calcoli rapidi e precisi e sono troppo lenti per le aste in tempo reale. La grande domanda che gli scienziati si pongono è: possiamo combinare la potenza cerebrale di un pianificatore intelligente con la velocità di una calcolatrice rapida per vincere queste aste digitali? È esattamente ciò che un team di ricercatori si è proposto di risolvere, puntando a costruire un'IA che non si limiti a indovinare, ma che sappia effettivamente pensare la propria strada verso la vittoria.

Il Cervello e il Muscolo: AIGB-R1

I ricercatori propongono un nuovo sistema chiamato AIGB-R1. Pensatelo come una squadra di trading ad alto rischio dove i ruoli sono perfettamente divisi. In passato, le persone cercavano di usare una singola IA gigante per fare tutto: pensare, calcolare e agire. Ma gli autori sostengono che questa sia una cattiva idea perché l'IA è scarsa con i numeri precisi e lenta nel reagire. Invece, AIGB-R1 utilizza un approccio gerarchico, dividendo il lavoro in due parti distinte: un Pianificatore (Planner) e un Esecutore (Executor).

Il Pianificatore è il "Grande Cervello". È un potente Large Language Model che agisce come un generale esperto o un grande maestro di scacchi. Prima ancora che l'asta inizi, questo generale esamina il budget dell'inserzionista, i suoi obiettivi e le prestazioni passate. Non si preoccupa dei minuscoli dettagli del secondo successivo; invece, formula una strategia a livello macro. Potrebbe dire: "Oggi saremo aggressivi e spenderemo velocemente", oppure "Dobbiamo essere conservativi e risparmiare i nostri soldi". Scrive questa strategia sotto forma di un prompt chiaro e strutturato.

L'Esecutore è il "Muscolo". Questa è un'IA leggera e super veloce (specificamente un Prompt Decision Transformer) che compie l'effettiva offerta. Riceve il prompt strategico del generale e poi si concentra sul momento immediato. Osserva lo stato attuale dell'asta, il budget rimanente e la competizione, e calcola istantaneamente l'esatto numero da offrire. Poiché l'Esecutore è un modello matematico specializzato, non allucina numeri e reagisce in millisecondi. Il Pianificatore fornisce il "cosa" e il "perché", e l'Esecutore gestisce il "come" e il "quando".

Imparare dall'Esperienza, non solo dai Libri

Il documento introduce anche un modo intelligente per rendere questo sistema più intelligente nel tempo, che chiamano un ciclo di auto-evoluzione (self-evolving loop). La maggior parte dei sistemi di IA viene addestrata su dati vecchi e statici — come studiare per un esame usando un libro di testo di dieci anni fa. Se il mercato cambia, l'IA si confonde. AIGB-R1, invece, costruisce un ambiente di simulazione chiamato AuctionNetEnv. Immaginate un videogioco in cui l'IA può giocare contro migliaia di altri bot, provando diverse strategie ancora e ancora.

Ecco dove la cosa diventa davvero interessante. Il sistema non tira a indovinare casualmente. Conserva una banca della memoria delle sue migliori mosse passate. Se una certa strategia ha funzionato bene ieri, il Pianificatore la ricorda e cerca di perfezionarla oggi. Se una strategia è fallita, impara da quell'errore. Questa è la parte "auto-evolutiva": il sistema impara dalla propria esperienza accumulata, perfezionando costantemente il proprio approccio per avvicinarsi all'offerta perfetta.

La Formula Segreta: D-GRPO

Una delle sfide più grandi in questa configurazione è capire a chi dare il merito (o la colpa) quando la squadra vince o perde. È stato il Generale (Pianificatore) a dare un ordine sbagliato, o l'Esecutore a non seguire l'ordine? Per risolvere questo, gli autori hanno inventato un nuovo trucco matematico chiamato Decoupled Group Relative Policy Optimization (D-GRPO).

Immaginate un allenatore che guarda una staffetta. Se la squadra perde, l'allenatore deve sapere se il primo corridore è stato lento o se il secondo ha fatto cadere il testimone. Il D-GRPO agisce come un allenatore super intelligente capace di separare la prestazione del Pianificatore da quella dell'Esecutore. Guarda i risultati e dice: "La strategia era buona, ma l'esecuzione è stata errata", oppure "L'esecuzione è stata perfetta, ma la strategia era sbagliata". Separando questi due segnali, il sistema può addestrare entrambe le parti simultaneamente senza che si confondano, portando a un processo di apprendimento molto più stabile ed efficace.

Cosa Hanno Scoperto

I ricercatori hanno testato AIGB-R1 su un enorme dataset del mondo reale proveniente da Alibaba, contenente circa 480.000 traiettorie di offerta. Hanno confrontato il loro sistema con molti altri metodi di alto livello, inclusi quelli basati sul Reinforcement Learning e altri modelli generativi.

I risultati sono stati chiari: AIGB-R1 ha vinto. Ha superato costantemente tutti gli altri metodi, ottenendo i punteggi più alti sia negli scenari d'asta standard che in quelli più difficili e "sparsi" (sparse). Lo studio suggerisce che usare semplicemente un Large Language Model come decisore non è sufficiente a causa dei suoi limiti matematici, ma usarlo come pianificatore strategico lasciando che un modello specializzato gestisca i numeri è una svolta decisiva.

Lo studio ha anche dimostrato che ogni parte del loro sistema era necessaria. Quando hanno rimosso l'addestramento "auto-evolutivo" (lasciando che l'IA imparasse dalle proprie simulazioni), le prestazioni sono calate. Quando hanno rimosso il Pianificatore lasciando che l'Esecutore tirasse a indovinare, il risultato è stato peggiore. E quando hanno "congelato" il Pianificatore impedendogli di imparare dalle nuove esperienze, il sistema non era buono come quando poteva adattarsi. Questo prova che la combinazione di un pianificatore intelligente, un esecutore veloce e un ciclo che impara dall'esperienza è la chiave per sbloccare il livello successivo dell'auto-bidding.

In breve, AIGB-R1 suggerisce che il futuro della pubblicità automatizzata non riguarda la costruzione di un unico robot gigante e onnisciente. Si tratta di costruire una squadra: un esperto stratega che pianifica il percorso e un pilota agile che guida l'auto, entrambi che imparano insieme da ogni miglio che percorrono.

Sintesi Tecnica: AIGB-R1

Definizione del Problema

L'auto-bidding è fondamentale per la pubblicità online, dove gli agenti devono regolare automaticamente le offerte per massimizzare gli obiettivi dell'inserzionista (ad esempio, le conversioni) sotto vincoli come il budget e il Cost-Per-Action (CPA). Sebbene il paradigma emergente dell'AI-Generated Bidding (AIGB) utilizzi modelli generativi (ad esempio, i Decision Transformer) per apprendere da dati offline, questi metodi affrontano tre limitazioni primarie:

Copertura dei Dati: Le prestazioni degradano in stati fuori distribuzione (OOD) a causa della limitata copertura di modalità dei dataset offline.
Comprensione dello Stato: I metodi esistenti condizionano le policy sul "return-to-go" senza comprendere appieno gli stati specifici del task o i valori delle azioni, ostacolando una pianificazione strategica ottimale.
Adattabilità: Le distribuzioni di preferenza fisse durante l'addestramento rendono difficile l'adattamento a diverse preferenze degli inserzionisti senza un costoso riaddestramento.

Sebbene i Large Language Models (LLM) offrano un ragionamento e una conoscenza del mondo superiori per affrontare queste lacune, la loro applicazione diretta all'auto-bidding è ostacolata da:

Precisione Numerica: Gli LLM faticano con il controllo numerico continuo e preciso richiesto dai parametri di bidding, soffrendo spesso di allucinazioni e precisione insufficiente.
Latenza: Il bidding online richiede risposte nell'ordine dei millisecondi, mentre i grandi LLM affrontano un compromesso tra qualità decisionale e velocità di inferenza.
Assegnazione del Credito (Credit Assignment): I tentativi gerarchici esistenti spesso falliscono nel ottimizzare sia il ragionamento di alto livello che l'esecuzione end-to-end, affidandosi a funzioni di valore offline che soffrono di errori di estrapolazione.

Metodologia: Framework AIGB-R1

Gli autori propongono AIGB-R1, un framework di auto-bidding gerarchico e auto-evolutivo che decoppia la pianificazione strategica di macro-livello dal processo decisionale fine-grained.

1. Architettura Planner-Executor Gerarchica

High-Level Planner (Pianificatore di alto livello): Utilizza un LLM di grandi dimensioni per ragionare su strategie di macro-livello (ad esempio, preferenza al rischio, pacing del budget) per un periodo di bidding basandosi sul contesto dell'inserzionista e sulle prestazioni storiche. Genera un prompt strategico strutturato contenente etichette di strategia enumerate e ragionamento semantico. Questa pianificazione avviene in modo asincrono prima dell'inizio del periodo di bidding.
Low-Level Executor (Esecutore di basso livello): Impiega un Prompt Decision Transformer (PDT), un transformer causale leggero. L'Esecutore prende il prompt strategico del Pianificatore come prefisso condizionale e genera parametri di bidding precisi ad ogni timestep basandosi su sequenze numeriche osservate (stati, azioni, return-to-go). Questo design sfrutta il ragionamento dell'LLM utilizzando al contempo un modello specializzato per il controllo numerico preciso e l'esecuzione a bassa latenza.

2. Pipeline di Addestramento a Due Stadi

Pre-addestramento Offline: L'Esecutore viene pre-addestrato su traiettorie di bidding offline. I prompt strategici sono annotati da un LLM avanzato. L'Esecutore apprende una policy stocastica (modellata tramite distribuzione log-normale) per massimizzare la verosimiglianza del dataset, condizionata sia dal prompt che dalle sequenze storiche.
Allineamento Post-training (Ciclo Auto-evolutivo): Per superare i limiti dei dati offline, il framework impiega un ambiente di simulazione di bidding interattivo (AuctionNetEnv) per il rollout strategico online.
- Rollout Guidato dall'Esperienza: Per ogni task, il Pianificatore genera $M$ prompt strategici diversificati. Per ogni prompt, l'Esecutore esegue $K$ rollout nella simulazione.
- Experience Buffer: Un buffer mantiene un "ancoraggio della migliore strategia" (best-strategy anchor) e una finestra di memoria scorrevole delle traiettorie recenti per ogni task, permettendo al Pianificatore di affinare le strategie basandosi sull'esperienza accumulata piuttosto che su un campionamento casuale.

3. Decoupled Group Relative Policy Optimization (D-GRPO)

Per consentire l'ottimizzazione end-to-end sia del Pianificatore che dell'Esecutore, gli autori propongono D-GRPO. La standard Group Relative Policy Optimization (GRPO) fallisce qui perché il segnale di reward accoppia i contributi di entrambi i moduli. D-GRPO affronta questo problema tramite il decoupling del vantaggio (advantage decoupling):

La matrice dei reward ( $M$ $M$ strategie $\times$ $\times$ $K$ $K$ rollout) viene decomposta in due componenti ortogonali:
- Componente Inter-gruppo: La deviazione del reward medio di una strategia dalla media globale. Questo segnale viene utilizzato per aggiornare il Pianificatore, riflettendo la qualità della selezione della strategia.
- Componente Intra-gruppo: La deviazione del reward di una specifica traiettoria dalla media della sua strategia. Questo segnale viene utilizzato per aggiornare l'Esecutore, riflettendo le prestazioni decisionali sotto una strategia fissa.
Questa decomposizione permette un'assegnazione del credito end-to-end stabile senza attribuire erroneamente i reward tra i livelli.

Contributi Chiave

Framework AIGB-R1: Un'architettura gerarchica che sfrutta appieno il ragionamento degli LLM per la macro-pianificazione, aggirando al contempo i limiti di precisione numerica e latenza tramite un dedicato Esecutore PDT.
Ciclo Auto-evolutivo Guidato dall'Esperienza: Un meccanismo che consente l'esplorazione e l'ottimizzazione autonoma delle strategie a partire dall'esperienza di rollout accumulata, andando oltre il semplice campionamento casuale cieco.
Algoritmo D-GRPO: Un metodo di ottimizzazione innovativo che ottiene l'assegnazione del credito tra i livelli attraverso il decoupling del vantaggio, consentendo un addestramento end-to-end stabile del sistema gerarchico.
Ambiente di Simulazione Interattivo: La costruzione di AuctionNetEnv per facilitare un rollout strategico online affidabile e mitigare gli errori di estrapolazione offline.

Risultati Sperimentali

Il framework è stato valutato su dataset pubblici di grandi dimensioni (AuctionNet e AuctionNet-Sparse) contenenti circa 480K traiettorie di bidding.

Performance: AIGB-R1 ha superato significativamente i baseline allo stato dell'arte, inclusi i metodi RL (USCB, CQL, IQL), i modelli generativi (Decision Transformers, modelli di Diffusione) e altri approcci basati su LLM (LBM).
- Su AuctionNet, AIGB-R1 ha ottenuto un punteggio di 385, superando il miglior baseline successivo (GAS con 359).
- Su AuctionNet-Sparse, ha ottenuto 39.0, superando il miglior baseline successivo (GAVE con 37.2).
Generalizzazione: Il modello ha dimostrato prestazioni robuste attraverso diverse impostazioni di budget (dal 50% al 150% del baseline), superando costantemente i modelli generativi avanzati.
Studi di Ablazione:
- La rimozione del Pianificatore o della fase di post-training ha portato a cali significativi delle prestazioni, confermando la necessità di entrambi i componenti.
- L'ottimizzazione end-to-end (aggiornamento sia del Pianificatore che dell'Esecutore) tramite D-GRPO ha prodotto risultati superiori rispetto al congelamento del Pianificatore, validando l'importanza del training congiunto.

Significato

Il paper sostiene che AIGB-R1 fornisca una soluzione promettente per l'auto-bidding potenziato da LLM, colmando efficacemente il divario tra le capacità di ragionamento degli LLM e i requisiti di precisione e latenza dei sistemi di bidding in tempo reale. Introducendo un ciclo auto-evolutivo e un algoritmo di ottimizzazione disaccoppiato, il framework affronta i colli di bottiglia critici della copertura dei dati offline, della precisione numerica e dell'assegnazione del credito nel decision-making gerarchico. I risultati suggeriscono che il decoupling della pianificazione strategica dall'esecuzione, combinato con l'auto-miglioramento guidato dall'esperienza, sia una via percorribile verso sistemi di auto-bidding più adattivi e ottimali.