LBM: Hierarchical Large Auto-Bidding Model via Reasoning and Acting

Il paper presenta LBM, un modello gerarchico di auto-offerta pubblicitaria che combina un modulo di ragionamento (LBM-Think) e uno di azione (LBM-Act) potenziati da un meccanismo di embedding duale e da un fine-tuning offline (GQPO) per migliorare le prestazioni e la generalizzazione nelle aste competitive.

L'essenziale

Immagina di essere il capitano di una nave mercantile (un annunciatore pubblicitario) che deve attraversare un oceano tempestoso pieno di altri capitani (la concorrenza). Il tuo obiettivo è arrivare a destinazione con il massimo carico possibile (le conversioni o le vendite), ma hai due regole ferree: non puoi superare il budget di carburante e non puoi spendere troppo per ogni singola merce caricata (il costo per azione o CPA).

In passato, c'era un capitano esperto che guardava la mappa e regolava manualmente la rotta e la velocità. Ma oggi, l'oceano è così vasto e le altre navi così veloci che un umano non riesce a reagire abbastanza in fretta. Serve un pilota automatico.

Il problema è che i piloti automatici attuali (i modelli di intelligenza artificiale tradizionali) sono come robot che hanno solo visto le mappe di ieri. A volte fanno cose strane, come accelerare quando stanno per finire il carburante, perché non "capiscono" davvero la situazione, ma solo i numeri.

Gli autori di questo paper hanno creato un nuovo tipo di pilota automatico chiamato LBM (Large Auto-Bidding Model), che funziona come una squadra di due esperti che lavorano insieme: un "Stratega" e un "Esecutore".

Ecco come funziona, spiegato con analogie semplici:

1. La Squadra: Pensare vs. Agire (LBM-Think e LBM-Act)

Invece di avere un unico robot che deve sia pensare che agire (il che lo confonde), hanno diviso il lavoro in due:

• LBM-Think (Lo Stratega): È come un capitano esperto o un consulente che ha letto tutti i libri di navigazione della storia. Il suo compito non è toccare il timone, ma pensare. Analizza la situazione, guarda i dati storici (quanto carburante è rimasto, quanto abbiamo speso finora) e scrive un "promemoria" o un piano d'azione (chiamato Chain-of-Thought).

  • Esempio: Lo Stratega legge i dati e dice: "Ehi, stiamo spendendo troppo poco rispetto al budget rimanente e il nostro costo per merce è basso. Dobbiamo aumentare la velocità (la offerta) per non perdere opportunità!"
  • Questo stratega è un modello linguistico grande (LLM) che sa ragionare come un umano.

• LBM-Act (L'Esecutore): È il timoniere o il meccanico di bordo. È più piccolo e veloce. Non deve ragionare su "perché" fare qualcosa, ma solo su "come" farlo. Riceve il piano dello Stratega e i numeri esatti del momento (la posizione della nave, la velocità del vento) e calcola il movimento preciso del timone (il prezzo esatto da offrire per l'annuncio).

  • Il trucco: L'Esecutore è stato addestrato per capire sia i numeri che le istruzioni scritte dallo Stratega. Immagina che lo Stratega gli passi un foglietto con scritto "Aumenta la velocità" e l'Esecutore sappia esattamente di quanto girare la manopola per farlo.

2. Il Problema dell'Allucinazione (GQPO)

C'era un rischio: lo Stratega (LLM) potrebbe allucinare, ovvero inventare cose o dare consigli sbagliati perché non ha mai navigato davvero in questo oceano specifico.

Per risolvere questo, gli autori hanno inventato un metodo di allenamento chiamato GQPO.
Immagina di addestrare lo Stratega non facendogli navigare la nave vera (che sarebbe pericoloso e costoso), ma facendogli fare simulazioni su carta.

• Gli fai scrivere 10 piani diversi.
• Poi, usi un "giudice" (un modello matematico chiamato Q-value) che guarda i piani e dice: "Questo piano avrebbe portato a più merci, questo invece no".
• Lo Stratega impara a scrivere solo i piani che il giudice approva, senza mai rischiare di affondare la nave reale. Questo si chiama apprendimento offline: impara dai dati passati senza fare errori nel mondo reale.

3. Perché è meglio degli altri?

• I vecchi robot (RL tradizionale): Sono come un cane che ha imparato a fare il trucco solo con la ricompensa. Se la ricompensa è sbagliata, il cane fa cose strane. Non capiscono il "perché".
• I nuovi robot (LLM diretti): Sono come un genio che parla benissimo ma non sa guidare un camion. Se gli chiedi di guidare, potrebbe dire cose assurde perché non ha mai visto i numeri di guida.
• Il nostro LBM: È la combinazione perfetta. Lo Stratega usa la sua intelligenza umana (ragionamento, logica, esperienza) per capire il contesto. L'Esecutore usa la sua precisione matematica per fare il lavoro sporco.

In sintesi

Il paper presenta un sistema intelligente per le aste pubblicitarie online che:

1. Divide il lavoro: Uno pensa (capisce il contesto e le regole), l'altro agisce (calcola il prezzo esatto).
2. Unisce linguaggi e numeri: Lo Stratega parla, l'Esecutore traduce le parole in numeri precisi.
3. Impara senza rischi: Si allena su dati vecchi per evitare errori nel mondo reale, migliorando la sua capacità di ragionare prima di prendere decisioni.

È come avere un equipaggio dove il capitano esperto guarda la mappa e dice "andiamo a nord", e il timoniere esperto sa esattamente quanto girare la ruota per seguire quella rotta, tutto senza mai sbagliare strada.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "LBM: Hierarchical Large Auto-Bidding Model via Reasoning and Acting" in italiano.

1. Il Problema

Il mercato della pubblicità online è caratterizzato da aste di impressioni su larga scala e altamente competitive. In questo contesto, la gestione manuale delle offerte (bidding) da parte degli inserzionisti è diventata impraticabile a causa della velocità e del volume delle transazioni.
Le soluzioni attuali di Auto-Bidding si basano principalmente su:

• Reinforcement Learning (RL) Offline: Metodi che apprendono politiche ottimali da dati storici (es. Decision Transformer, IQL, CQL).
• Metodi Generativi: Approcci che "cuciono" traiettorie sub-ottimali per generare azioni ottimali.

Limitazioni delle soluzioni attuali:

• Natura "Black-box": Spesso agiscono in modo controintuitivo (es. aumentando le offerte quando il costo per azione - CPA - supera già il vincolo), rendendo difficile comprendere lo stato del task.
• Copertura limitata dei dati: Faticano a generalizzare in ambienti dinamici o in situazioni non presenti nei dataset di addestramento (corner cases).
• Applicazione diretta degli LLM: L'uso diretto dei Large Language Models (LLM) per il bidding è problematico a causa della necessità di azioni numeriche precise in spazi continui. Gli LLM standard tendono a soffrire di "allucinazioni" e mancano di conoscenze specialistiche sul bidding, portando a decisioni sub-ottimali che possono sprecare budget o perdere impressioni.

2. Metodologia Proposta: LBM

Gli autori propongono LBM (Hierarchical Large Auto-Bidding Model), un modello gerarchico che sfrutta le capacità di ragionamento degli LLM separando il processo decisionale in due moduli distinti:

A. Architettura Gerarchica

1. LBM-Think (Alto livello - Ragionamento):
   • Responsabile della comprensione dello stato del task e del ragionamento strategico.
   • Genera una Chain-of-Thought (CoT) in linguaggio naturale che riassume le performance storiche (budget, conversioni, CPA) e deduce la direzione di aggiustamento futura (es. "aumentare" o "diminuire" i parametri).
   • Può operare in modo asincrono prima del timestep decisionale, sfruttando modelli LLM più grandi (es. Qwen2.5-3B).
2. LBM-Act (Basso livello - Azione):
   • Responsabile della generazione precisa dell'azione numerica (il parametro di offerta).
   • Riceve in input lo stato corrente (numerico) e la CoT generata da LBM-Think.
   • Utilizza un modello LLM più piccolo e specializzato per l'esecuzione immediata.

B. Meccanismi Chiave

• Dual Embedding Mechanism (Meccanismo di Doppio Embedding):
  • Per evitare l'inefficienza del convertire sequenze numeriche lunghe in token linguistici (che consumerebbe migliaia di token), LBM-Act utilizza due layer di embedding distinti:
    1. Un layer per il linguaggio (CoT).
    2. Un layer decisionale (MLP) che proietta le sequenze numeriche in vettori della stessa dimensione dei token linguistici.
  • Questo permette al modello di fondere efficientemente le due modalità (linguaggio e numeri) tramite l'attenzione Transformer, mantenendo la precisione numerica necessaria per le aste competitive.
• GQPO (Group relative-Q Policy Optimization):
  • Una tecnica di fine-tuning offline per LBM-Think.
  • Poiché non è possibile fare rollout nel mondo reale per evitare rischi economici, GQPO utilizza un valore Q offline (addestrato con IQL) per valutare l'efficacia della CoT.
  • Il metodo genera un gruppo di possibili CoT, calcola il Relative-Q ($\Delta Q$) confrontando l'azione risultante con l'azione del dataset, e seleziona la CoT che massimizza il miglioramento del valore Q.
  • Questo permette di addestrare il ragionamento dell'LLM in modo stabile e offline, riducendo le allucinazioni e migliorando la capacità decisionale.

3. Contributi Principali

1. Modello Gerarchico LBM: Introduzione di un framework che disaccoppia il ragionamento (Think) dall'azione (Act), sfruttando al meglio le capacità cognitive degli LLM per il bidding.
2. Dual Embedding: Un meccanismo innovativo per fondere input linguistici e numerici in modo efficiente, superando i limiti di lunghezza delle sequenze e la perdita di precisione.
3. GQPO: Una tecnica di ottimizzazione della politica basata su Q-value relativo per il fine-tuning offline dei modelli di ragionamento, eliminando la necessità di simulazioni costose o pericolose nel mondo reale.
4. Validazione Sperimentale: Dimostrazione che un backbone generativo basato su LLM supera i metodi RL tradizionali e generativi esistenti, specialmente in termini di efficienza di addestramento e capacità di generalizzazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su AuctionNet, un benchmark realistico per aste pubblicitarie su larga scala.

• Prestazioni Superiori: LBM (specialmente la variante con GQPO, LBM(GQPO)) ha ottenuto i risultati migliori sia in termini di Conversioni che di Punteggio (che bilancia conversioni e rispetto del vincolo CPA).
  • Su dati densi, LBM(GQPO) ha raggiunto 382 conversioni contro i 371 del miglior metodo non-LLM (DT-Q) e 329 del metodo DiffBid.
  • Ha dimostrato una migliore Utilizzazione del Budget (93.8% vs 90.2% di LLM-DT) e un controllo più preciso del CPA Ratio.
• Generalizzazione: Il modello ha mostrato una forte capacità di adattamento a diversi scenari di budget (da 0.5x a 1.5x del budget base), superando costantemente i modelli basati su Decision Transformer (DT).
• Comportamento Razionale: A differenza dei modelli DT che spesso agiscono in modo controintuitivo, LBM ha dimostrato di seguire i principi economici di base (es. ridurre le offerte quando il CPA supera il vincolo), grazie al ragionamento guidato dalla CoT.
• Efficienza: L'uso di un modello Think asincrono e di un Act più piccolo (0.5B parametri) garantisce una latenza di inferenza accettabile per le applicazioni industriali (aggiustamenti ogni 30 minuti).

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'integrazione dell'Intelligenza Artificiale Generativa nei sistemi di advertising automatizzati.

• Superamento del "Black-box": L'uso della Chain-of-Thought rende il processo decisionale interpretabile e allineato alla logica umana, aumentando la fiducia degli inserzionisti.
• Sicurezza e Stabilità: La metodologia GQPO risolve il problema critico di addestrare agenti decisionali complessi in ambienti ad alto rischio (come le aste pubblicitarie) senza dover esporre il sistema a rischi reali durante l'apprendimento.
• Futuro dell'Auto-Bidding: Dimostra che gli LLM, se strutturati correttamente (separando ragionamento e azione) e addestrati con tecniche ibride (RL offline + linguaggio), possono superare i metodi tradizionali di Reinforcement Learning, offrendo soluzioni più robuste, generalizzabili e comprensibili per la complessità delle aste moderne.