Riepilogo Tecnico: LLM Affinato come Predittore Complementare per Migliorare il Sistema di Pubblicità

Enunciato del Problema

Sebbene i Modelli Linguistici su Larga Scala (LLM) abbiano fatto rapidi progressi, la loro integrazione diretta in Sistemi di Raccomandazione (RecSys) su scala industriale, in particolare per la pubblicità, rimane una sfida. I sistemi pubblicitari industriali fanno affidamento su caratteristiche sparse e incentrate sugli ID (ID utente, ID inserzionista) che non si allineano naturalmente con le rappresentazioni semantiche basate sui token. Inoltre, le applicazioni esistenti degli LLM nei RecSys rientrano tipicamente in tre categorie: recupero generativo, riordinamento in fase avanzata o arricchimento di segnali ausiliari. Tuttavia, questi approcci spesso faticano a rispettare i vincoli specifici dei sistemi pubblicitari, inclusi i budget di latenza rigorosi, il predominio delle caratteristiche sparse e la necessità di modellare vincoli complessi di targeting e storie di conversione. Il problema centrale affrontato è come sfruttare la conoscenza del mondo e la capacità predittiva degli LLM per migliorare il recupero e il ranking degli annunci senza sostituire gli stack industriali esistenti, altamente ottimizzati, o incorrere in costi di inferenza proibitivi.

Metodologia

Gli autori propongono un paradigma complementare in cui un LLM open-source affinato non agisce come un classificatore diretto, ma come un predittore ausiliario specifico per la pubblicità. Il sistema prevede inserzionisti probabili e interessi degli utenti condizionati a profili utente strutturati e storie di conversione. Queste previsioni servono come prior informativi per le fasi di recupero e ranking a valle.

Architettura del Sistema

La pipeline è composta da quattro fasi:

1. Selezione dell'Utente: L'inferenza è limitata a segmenti ad alto valore (utenti statunitensi attivi con conversioni recenti) per gestire latenza e costi.
2. Compilazione delle Caratteristiche: Dati eterogenei (ricerche onsite/offsite, conversioni attribuite/matchate, URL, dati demografici) sono compilati in una rappresentazione testuale compatta.
3. Previsione degli Inserzionisti Basata su Prompt: L'LLM viene post-addestrato per prevedere una lista ordinata di inserzionisti e interessi utente.
4. Consumo a Valle: Gli inserzionisti previsti vengono utilizzati come filtri di targeting nella fase di recupero (Generazione dei Candidati) e come caratteristiche nei modelli di conversione (Ranking).

Strategie di Post-Addestramento

Il documento esplora due approcci principali di post-addestramento:

• Affinamento Supervisionato (SFT): Il modello viene addestrato per prevedere un singolo "prossimo inserzionista" basandosi su un prompt strutturato contenente profili utente, conversioni passate e un pool predefinito di inserzionisti.
• GRPO (Ottimizzazione della Politica Relativa di Gruppo): Dopo l'SFT, il modello viene ottimizzato utilizzando l'apprendimento per rinforzo. Il prompt richiede una lista ordinata di 20 inserzionisti e 5 interessi utente. La funzione di ricompensa ($R_{total}$) bilancia la corrispondenza con l'inserzionista ground-truth (con bonus per le posizioni di vertice) contro le penalità di lunghezza per la deviazione dal formato di output richiesto (20 inserzionisti, 5 interessi). Questo incoraggia sia l'accuratezza sia l'aderenza rigorosa al formato di output XML strutturato necessario per l'integrazione produttiva.

Potenziamento tramite ID Semantici (SID)

Per colmare il divario tra la semantica testuale e i sistemi pubblicitari basati su ID, gli autori incorporano ID Semantici (SID) derivati da embedding multimodali (PinCLIP) tramite RQ-VAE. Viene utilizzato un approccio di addestramento multi-fase per prevenire la dimenticanza catastrofica:

1. Fase 1: Allineamento dei token SID con lo spazio testuale aggiornando solo gli embedding SID mentre il resto del modello rimane congelato.
2. Fase 2: Pre-addestramento con tutti i parametri per incorporare la conoscenza di raccomandazione mescolando dati di dominio generale.
3. Fase 3: Affinamento specifico per il compito (SFT/GRPO) in cui i prompt includono sia caratteristiche testuali sia sequenze SID recenti.

Integrazione a Valle

• Recupero: Gli inserzionisti previsti dall'LLM agiscono come un generatore di candidati (CG) complementare, filtrando lo spazio di recupero per dare priorità agli inserzionisti con alta intenzione di conversione. Ciò è particolarmente efficace per gli utenti con una copertura di segnali esistenti debole.
• Ranking: Gli inserzionisti e gli interessi previsti vengono trasformati in caratteristiche e immessi nei modelli di conversione a valle (ctcvr, vtcvr).

Risultati Chiave

Prestazioni Offline

• Qualità della Previsione: Sul dataset V1 (allineato al traffico produttivo), la combinazione di SFT (prompt a 1 inserzionista) seguita da GRPO ha superato significativamente il prompting zero-shot. L'inclusione degli ID Semantici ha fornito guadagni sostanziali, migliorando Recall@1, Recall@5 e Recall@20 di oltre il 10% rispetto ai modelli basati solo su testo.
• Ablazione delle Caratteristiche: La caratteristica di input più critica è stata "inserzionisti attivi con conversioni passate". Gli URL offsite e le ricerche offsite sono state le caratteristiche successive più influenti. Interessantemente, le catene di ragionamento esplicite si sono rivelate meno utili rispetto all'addestramento diretto in stile SFT per questo specifico compito di aggregazione delle intenzioni.
• Modelli di Conversione: L'aggiunta di caratteristiche degli inserzionisti derivate dall'LLM ai modelli di conversione ha portato a miglioramenti offline misurabili, in particolare nella PR-AUC (Precision-Recall AUC), che è cruciale per impostazioni di conversione sparse.

Impatto Aziendale Online

• Recupero: I test A/B sugli Annunci Shopping negli Stati Uniti hanno mostrato che il generatore di candidati basato su LLM ha aumentato il Ritorno sulla Spesa Pubblicitaria (RoAS) del 4,94% per la fetta generale di trattamento e del 6,69% per la fetta opt-in.
• Meccanismo: I guadagni sono stati guidati dal sistema che ha portato alla luce traffico da inserzionisti con alta intenzione di conversione che erano precedentemente sottorappresentati dai canali standard di filtraggio collaborativo.
• Vincoli Operativi: Lo studio ha evidenziato che un'attenta regolamentazione della quota del generatore di candidati e dell'obiettivo di addestramento (utilizzando clic con pesi basati sulla durata piuttosto che impressioni grezze o conversioni sparse) era essenziale per bilanciare la sopravvivenza del funnel e l'engagement.

Significato e Affermazioni

Il documento afferma di dimostrare un percorso pratico per la raccomandazione potenziata da LLM su larga scala ridefinendo il ruolo degli LLM nei sistemi pubblicitari industriali. Invece di tentare di sostituire gli stack esistenti di recupero e ranking multistadio o di utilizzare gli LLM esclusivamente come riordinatori costosi, gli autori dimostrano che gli LLM affinati possono fungere da predittori complementari.

I contributi chiave includono:

1. Cambiamento di Paradigma: La formulazione riuscita di un compito di previsione degli inserzionisti che sfrutta la conoscenza del mondo degli LLM per colmare il divario tra semantica testuale e caratteristiche ID sparse nella pubblicità.
2. Ricetta Pratica: Fornire un flusso di lavoro validato per la compilazione dei dati, la progettazione dei prompt (inclusa l'integrazione SID) e l'affinamento (SFT + GRPO) che produce segnali stabili e a bassa latenza utilizzabili in tutta la pipeline pubblicitaria.
3. Validazione End-to-End: Dimostrare che questi segnali derivati dagli LLM possono sbloccare un valore aziendale misurabile (miglioramenti del RoAS) migliorando sia la copertura del recupero sia la precisione del ranking senza interrompere l'infrastruttura di base.

Gli autori rimangono modesti, notando che, sebbene l'estensione SID multimodale abbia mostrato forti risultati offline, non è ancora stata pienamente validata in ambienti di produzione online ed è quindi esclusa dalle principali affermazioni empiriche. Il lavoro sottolinea che il successo di questo approccio dipende dalla progettazione specifica del compito di previsione ausiliaria e dalla sua stretta integrazione con i vincoli industriali esistenti.