💬 NLP

Efficient LLM-based Advertising via Model Compression and Parallel Verification

Questo articolo propone un framework di targeting generativo efficiente che combina quantizzazione adattiva di gruppo, sparsificazione gerarchica adattiva per livello e verifica parallela basata su alberi dei prefissi per accelerare significativamente l'inferenza di LLM per applicazioni pubblicitarie in tempo reale, mantenendo al contempo una qualità di generazione accettabile.

Autori originali: Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente brillante e super-intelligente (un Modello Linguistico di grandi dimensioni, o LLM) che è incredibilmente bravo a scrivere annunci pubblicitari e a selezionare i prodotti perfetti per i clienti. Il problema è che questo assistente è come un'enciclopedia gigante e pesante: richiede molto tempo per sfogliare le pagine e trovare una risposta, e necessita di una quantità enorme di energia per rimanere attivo. Nel mondo frenetico della pubblicità online, dove è necessario ottenere una risposta in una frazione di secondo, questo approccio da "enciclopedia pesante" è troppo lento e costoso.

Gli autori di questo articolo, provenienti da Baidu, hanno costruito un nuovo sistema per rendere questo assistente più veloce e leggero senza ridurne l'intelligenza. Lo hanno fatto utilizzando due trucchi principali: ridurre le dimensioni dell'assistente e fornirgli una mappa di scorciatoie.

Trucco 1: Ridurre le dimensioni dell'assistente (Compressione del modello)

Immagina il modello di intelligenza artificiale come una massiccia biblioteca di conoscenze. La maggior parte dei libri in questa biblioteca è raramente utilizzata e alcune pagine sono piene di numeri che non cambiano molto.

Il "Packing Intelligente" (Quantizzazione): Immagina di avere una valigia piena di foto pesanti ad alta definizione (i dati originali). Invece di trasportare gli originali pesanti, il team ha capito come comprimerli in JPEG più piccoli e leggeri (numeri a precisione inferiore) senza perdere la chiarezza dell'immagine. Non hanno semplicemente compresso tutto allo stesso modo; sono stati "adattivi". Hanno imballato le parti più importanti e sensibili della biblioteca con grande cura, ma hanno compresso le parti meno importanti in modo più aggressivo. Questo ha trasformato la valigia pesante in uno zaino leggero.
La Strategia dello "Scaffale Vuoto" (Sparsità): Immagina che la biblioteca abbia migliaia di scaffali vuoti. Il team ha deciso di rimuovere i libri dagli scaffali che nessuno visita mai. Non hanno rimosso i libri a caso; hanno esaminato quali scaffali erano critici (i livelli "sensibili") e li hanno mantenuti pieni, svuotando invece quelli meno importanti. Questo ha reso la biblioteca molto più piccola e veloce da navigare.
Lo Strumento Personalizzato: Per assicurarsi che questi scaffali compressi e svuotati potessero ancora essere letti rapidamente, hanno costruito uno "scanner" personalizzato (un kernel di computer specializzato) in grado di leggere questi libri leggeri e sparsi molto più velocemente di quanto potessero fare gli strumenti standard.

Trucco 2: La Mappa di Scorciatoie (Verifica parallela dell'albero dei prefissi)

Di solito, quando l'IA genera un annuncio, lo scrive una parola alla volta, come una persona che digita una frase lentamente. "Io... mi... piace... questa... auto..." Questo è lento.

La Mappa ad Albero: Il team ha organizzato tutte le possibili opzioni di annuncio in una gigantesca struttura ad albero ramificato (come un albero genealogico o un albero decisionale). La parte superiore dell'albero è ampia (molte opzioni), ma man mano che si scende, i rami si restringono fino alle scelte più probabili.
La Gara "Indovina e Verifica": Invece di scrivere una parola alla volta, l'IA ora guarda l'intero albero. Fa una "ipotesi" su diverse parole contemporaneamente (decodifica parallela) e poi controlla rapidamente se queste ipotesi hanno senso sulla mappa.
L'Interruttore Temporale: La parte più intelligente è sapere quando usare questa scorciatoia. Il sistema calcola costantemente: "È più veloce scrivere parola per parola, o indovinare un mucchio di cose e verificarle?" Se il metodo "indovina e verifica" è più veloce, passa immediatamente a quella modalità. Questo permette all'IA di "saltare" alla fine della frase in un singolo passaggio invece di arrivarci passo dopo passo.

I Risultati

Il team ha testato questo sistema in due scenari reali:

Scrittura di Creatività Pubblicitarie: Creazione di testi accattivanti per gli annunci.
Pubblicità Mirata: Selezione dell'annuncio giusto per un utente specifico.

L'Esito:

Velocità: Il nuovo sistema è stato 1,8 volte più veloce nei test reali. In alcuni test specifici, l'aumento di velocità è stato ancora più alto (oltre il 78% più veloce).
Qualità: Nonostante sia molto più leggero e veloce, gli annunci generati erano ancora buoni quanto la versione pesante e lenta. La "qualità" (precisione) non è diminuita in modo significativo.
Utilizzo Reale: Non si tratta solo di una teoria; è stato implementato sulla piattaforma pubblicitaria reale di Baidu, gestendo il traffico reale proprio ora.

In Sintesi

L'articolo descrive un modo per prendere un'IA lenta e pesante e trasformarla in una veloce e leggera comprimendo la sua memoria (rendendo i dati più piccoli) e organizzando il suo processo di pensiero (utilizzando una mappa ad albero per indovinare più esiti contemporaneamente). Il risultato è un sistema pubblicitario che consegna l'annuncio giusto alla persona giusta quasi istantaneamente, senza sacrificare la qualità della raccomandazione.

Riepilogo Tecnico: Pubblicità Efficiente Basata su LLM tramite Compressione del Modello e Verifica Parallela

Enunciato del Problema

L'integrazione dei Large Language Models (LLM) nella pubblicità online, in particolare per il targeting generativo (generazione end-to-end di annunci in tempo reale basata sulle query degli utenti), ha introdotto un significativo dilemma tra scalabilità ed efficienza. Sebbene gli LLM offrano capacità di generalizzazione e ragionamento superiori rispetto ai modelli discriminatori tradizionali, il loro crescente numero di parametri e i rigorosi requisiti di latenza in tempo reale creano un collo di bottiglia critico per le prestazioni.

La ricerca esistente si è concentrata prevalentemente sulle ottimizzazioni lato precisione (ad esempio, strategie di addestramento, prompting), trascurando spesso le ottimizzazioni lato efficienza. Questa omissione è dannosa per scenari commerciali sensibili al tempo come la distribuzione di annunci online, dove l'alta latenza di inferenza e i costi computazionali rendono impraticabili le distribuzioni standard degli LLM. La sfida principale consiste nell'ottimizzare la velocità di inferenza senza compromettere la qualità o la precisione delle raccomandazioni.

Metodologia

Gli autori propongono un framework completo composto da due componenti principali: Compressione del Modello e Verifica Parallela Basata su Albero dei Prefissi.

1. Compressione del Modello

Questa componente mira a ridurre le dimensioni del modello e l'overhead computazionale attraverso una combinazione di quantizzazione e sparsità, ottimizzata per i carichi di lavoro GEMV (General Matrix-Vector Multiply).

Quantizzazione Adattiva a Gruppi: Invece di utilizzare strategie di raggruppamento predefinite, gli autori propongono un metodo adattivo che adatta la granularità della quantizzazione alla sensibilità dei singoli livelli lineari.
- Livelli/canali sensibili: Assegnati a più gruppi per una quantizzazione più fine (minimizzando l'errore).
- Livelli/canali non sensibili: Assegnati a meno gruppi per ridurre l'overhead computazionale.
- Questo approccio comprime il modello da FP16 a INT4.
Sparsità Semi-Strutturata Adattiva al Livello: Il framework impiega una strategia di pruning $N:M$ $N : M$ a livello di layer basata sull'importanza relativa dei parametri.
- I livelli critici mantengono una densità più elevata (ad esempio, sparsità 2:4).
- I livelli meno significativi vengono potati in modo più aggressivo (ad esempio, sparsità 1:4).
- L'importanza degli elementi di peso è quantificata utilizzando uno sviluppo di Taylor del secondo ordine dell'errore di approssimazione, considerando sia la magnitudine del peso che la norma dell'attivazione di input.
Kernel SparseGemv Personalizzato: Per affrontare l'overhead dei dati di indice sparsi e della larghezza di banda della memoria, gli autori hanno sviluppato un kernel personalizzato:
- Compressione dell'Indice: Hanno introdotto una struttura 2bit-CSR con indice compresso. Gli indici vengono riordinati, convertiti in binario e codificati (ad esempio, esadecimale) per ridurre le dimensioni dell'indice e dei pesi al 30% della dimensione CSR originale.
- Ottimizzazione della Memoria: Le attivazioni vengono spostate dalla Memoria Locale alla Memoria Condivisa utilizzando un layout dei dati basato su shuffle per eliminare i conflitti di banca. La condivisione dei dati a livello di blocco viene utilizzata per migliorare l'efficienza del trasferimento da HBM a Memoria Condivisa.
- Ottimizzazione Computazionale: Il kernel utilizza l'istruzione assembly lop3.b32 per una dequantizzazione efficiente da INT4 a FP16 e ottimizza l'indicizzazione CSR con operazioni bitwise per un accesso rapido.

2. Verifica Parallela Basata su Albero dei Prefissi

Questa componente accelera la decodifica sfruttando i modelli di dati specifici dei target pubblicitari.

Costruzione dell'Albero dei Prefissi: Utilizzando il clustering gerarchico (ispirato all'Indice di Ricerca Differenziabile, DSI), gli identificatori degli inserzionisti in testo semplice vengono trasformati in un albero dei prefissi (trie) strutturato semanticamente. L'albero è ampio in alto e stretto in basso, riducendo lo spazio di ricerca dei candidati man mano che la decodifica procede.
Meccanismo di Attivazione Dinamica: Il sistema determina dinamicamente il momento ottimale per passare dalla verifica sequenziale a quella parallela. Calcola il compromesso tra l'overhead della verifica parallela e il tempo richiesto per i passaggi autoregressivi sequenziali, attivando il parallelismo quando il beneficio previsto è massimizzato.
Decodifica Basata sull'Albero: Il processo prevede:
1. Costruzione delle sequenze di input tramite Depth-First Search (DFS) sul trie.
2. Decodifica parallela di queste sequenze con vincoli basati sull'albero (solo percorsi validi).
3. Ricerca a Fascio (Beam Search): Utilizzo della somma logaritmica per combinare i punteggi dei nodi genitori con i punteggi dei token ( $T_{score}$ ) per calcolare i punteggi dei nodi ( $B_{score}$ ), selezionando le sequenze migliori.
4. Ricostruzione della sequenza finale tracciando all'indietro i nodi con il punteggio più alto.

Contributi Chiave

Il paper rivendica i seguenti contributi specifici:

2bit-CSR con Indice Compresso: Una struttura dati ottimizzata per sparsità mista che riduce le dimensioni dell'indice e dei pesi al 30% della CSR originale.
Kernel SparseGemv Personalizzato: Un kernel accelerato dall'hardware che supporta la moltiplicazione di matrici sparse INT4, colmando un vuoto lasciato dalle librerie NVIDIA esistenti (cuSPARSE/cuSparseLT) per le operazioni GEMV efficienti.
Quantizzazione Adattiva a Gruppi: Una strategia di quantizzazione innovativa che aumenta flessibilità e precisione regolando le dimensioni dei gruppi in base alla sensibilità del layer.
Ricerca a Fascio Vincolata dall'Albero dei Prefissi: Il primo workflow proposto che combina la decodifica vincolata all'albero dei prefissi con la ricerca a fascio, applicata specificamente a compiti generativi nel targeting pubblicitario.
Deployment in Produzione: Il framework è stato distribuito nella piattaforma pubblicitaria di Baidu, gestendo traffico in tempo reale.

Risultati Sperimentali

Il framework è stato valutato utilizzando il modello ERNIE 1.5B su due scenari: Generazione di Creatività Pubblicitaria e Pubblicità Mirata.

Pubblicità Mirata:
- Il framework completo (Sparsità + Quantizzazione + Verifica Parallela ad Albero) ha raggiunto un Recall di 0,081 con una lunghezza media di 6, rispetto a un recall di base di 0,084.
- La combinazione di tecniche ha garantito un significativo aumento di velocità mantenendo livelli di recall accettabili adatti al deployment online.
Generazione di Creatività Pubblicitaria:
- Valutato sul dataset CSL (metadati di riviste accademiche).
- L'approccio ibrido (Sparsità + Quantizzazione) ha raggiunto il miglior compromesso tra efficienza e qualità.
- Studi di Ablazione:
  - Quantizzazione (INT4): Ha ridotto la latenza da 6,6s a 4,8s (1,37× di velocità) con un impatto minimo su BLEU (0,4247 $\to$ 0,4178) e punteggi Meteor.
  - Sparsificazione (2:4): Ha fornito guadagni moderati (1,25× di velocità) con una leggera perdita di qualità.
  - Sparsificazione Aggressiva (1:4): Ha fornito un alto aumento di velocità (1,43×) ma ha causato un degrado della qualità evidente.
  - Combinato (Sparsità 2:4 + Quant): Ha raggiunto un aumento di velocità di 1,65× con un punteggio Meteor di 0,6195.
  - Combinato (Sparsità 1:4 + Quant): Ha raggiunto un aumento di velocità di 1,89× ma con un significativo calo di qualità.
  - Sparsità Mista + Quant: Ha raggiunto un aumento di velocità di 1,78× con un punteggio Meteor di 0,6127.
Deployment nel Mondo Reale:
- In produzione sulla piattaforma pubblicitaria di Baidu, il sistema ha raggiunto un aumento di velocità superiore a 1,8× negli esperimenti nel mondo reale, mantenendo una precisione competitiva.

Significato e Revendicazioni

Il paper posiziona questo lavoro come una soluzione pionieristica al problema del "Targeting Generativo" nella pubblicità di ricerca. Il suo significato risiede in:

Colmare il Divario di Efficienza: Affronta il collo di bottiglia critico della latenza di inferenza nei sistemi di raccomandazione potenziati da LLM, rendendo gli approcci generativi praticabili per ambienti commerciali in tempo reale rigorosi.
Ottimizzazione Olistica: A differenza di lavori precedenti focalizzati esclusivamente sull'accuratezza o sulla semplice compressione, questo framework integra innovazioni algoritmiche (quantizzazione adattiva, sparsità gerarchica) con ingegneria di sistema a basso livello (kernel personalizzati, compressione degli indici) e logica specifica per il business (costruzione dell'albero dei prefissi).
Fattibilità Industriale: Il deployment riuscito in una piattaforma pubblicitaria leader dimostra che strategie aggressive di compressione del modello e verifica parallela possono essere applicate su larga scala senza sacrificare la qualità richiesta per la distribuzione commerciale di annunci.

Gli autori osservano che, sebbene il framework sia altamente efficace per il targeting pubblicitario commerciale, le sue strategie di ottimizzazione sono adattate ai modelli di dati e ai vincoli specifici di questo dominio, suggerendo che sarebbe necessaria un'ulteriore adattamento per altri contesti applicativi.