Riepilogo Tecnico: Scalabilità Selettiva del Calcolo al Momento del Test per la Predizione del CTR tramite Esplorazione di Percorsi di Caratteristica Attivata dall'Incertezza

1. Enunciato del Problema

Il documento affronta un'asimmetria fondamentale nella predizione industriale del Click-Through Rate (CTR): mentre l'addestramento espone i modelli a combinazioni di caratteristiche diversificate, l'inferenza spesso incontra combinazioni sparse o inedite che portano a previsioni inaffidabili. Le soluzioni esistenti nella fase di addestramento (ad esempio, gating adattivo, architetture di interazione delle caratteristiche) apprendono una funzione di selezione fissa che è essa stessa soggetta alla stessa sparsità dei dati, offrendo alcun ricorso per istanze specifiche al momento del dispiegamento.

I tentativi attuali di ottimizzazione al momento del test nei sistemi di raccomandazione si concentrano principalmente sull'aumento del comportamento sequenziale (ad esempio, dropout degli elementi), che è inapplicabile ai campi di caratteristiche categoriali sparsi del CTR. Inoltre, il trasferimento diretto delle tecniche di scalabilità al momento del test dei Modelli Linguistici di Grande Dimensione (LLM) è non fattibile a causa dell'assenza di probabilità di generazione a livello di token nella classificazione binaria del CTR. La sfida fondamentale è sviluppare un framework senza addestramento, agnostico rispetto al modello, che scalì la profondità dell'inferenza proporzionalmente all'incertezza per istanza senza violare i vincoli industriali di latenza rigorosi.

2. Metodologia: Framework UTTSI

Gli autori propongono UTTSI (Uncertainty-Triggered Test-Time Selective Inference), un framework che opera al di sopra di qualsiasi modello CTR pre-addestrato senza modificarne i parametri o richiedere un riaddestramento. UTTSI alloca dinamicamente le risorse computazionali basandosi su un punteggio di incertezza stimato per ogni istanza.

Il framework è composto da tre componenti strettamente integrati:

A. Stima della Priorità di Frequenza

Per quantificare l'affidabilità dei valori delle caratteristiche, UTTSI mantiene una struttura di hashing probabilistica (ispirata a Count-Min Sketch) che traccia la frequenza di ogni valore di caratteristica nei dati di addestramento. Ciò fornisce un segnale di affidabilità offline a livello di dati. I conteggi sono normalizzati su una soglia di saturazione per produrre un punteggio di frequenza $\tilde{s}_{freq}(f_i) \in [0, 1]$.

B. Stima dell'Incertezza a Doppio Segnale

UTTSI stima l'incertezza per istanza $u(x)$ combinando due segnali complementari:

1. Confidenza Interna al Modello ($s_{model}$): Derivata dal logit di previsione, normalizzata da una costante $\gamma$ (il 95° percentile dei logit su un insieme di validazione). Ciò cattura l'ambiguità aleatoria vicino al confine decisionale.
2. Confidenza di Frequenza a Livello di Dati ($s_{freq}$): Una media ponderata per attribuzione delle frequenze delle caratteristiche. L'attribuzione è calcolata tramite la norma del gradiente del logit rispetto a ciascun embedding di caratteristica ($\|\nabla_{e_i} \text{logit}(x)\|^2$). Ciò garantisce che la frequenza delle caratteristiche che guidano effettivamente la previsione sia ponderata più pesantemente rispetto alle caratteristiche irrilevanti.

Il punteggio di incertezza finale è calcolato come:
$$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$$
Il numero di percorsi di esplorazione aggiuntivi $K(x)$ è allocato proporzionalmente a questa incertezza: $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$.

C. Filtraggio delle Caratteristiche ed Esplorazione dei Percorsi

Il processo di inferenza procede in due fasi:

1. Filtraggio Adattivo delle Caratteristiche (Tutte le Istanze): Prima di qualsiasi esplorazione, viene calcolato un punteggio composito $w(f_i)$ che combina frequenza e attribuzione per ogni caratteristica. Le caratteristiche che scendono sotto una soglia per campo $\tau_i$ (calcolata offline dai quantili dei dati di addestramento) vengono scartate. Ciò rimuove embedding inaffidabili per tutte le istanze.
2. Esplorazione Stocastica dei Percorsi (Solo Istanze Incerte): Per le istanze dove $K(x) > 0$, UTTSI genera $K(x)$ percorsi di inferenza aggiuntivi. Ogni percorso è costruito campionando stocasticamente sottoinsiemi dell'insieme di caratteristiche raffinato. Le probabilità di campionamento sono guidate dal punteggio composito $w(f_i)$, garantendo che le caratteristiche rare informative siano preferenzialmente mantenute.
3. Aggregazione Ponderata per Coerenza: Le previsioni dal percorso di raffinamento di base e da tutti i $K(x)$ percorsi di esplorazione vengono aggregate. Uno schema di votazione ponderato per coerenza assegna pesi più alti alle previsioni allineate con la media dell'insieme, riducendo il peso dei percorsi anomali che probabilmente hanno mascherato caratteristiche critiche.

Le istanze confidenti ($K(x)=0$) bypassano completamente la fase di esplorazione, sostenendo solo il costo del passaggio in avanti iniziale e del filtraggio.

3. Contributi Chiave

• Primo Framework al Momento del Test Senza Addestramento per il CTR: UTTSI è presentato come il primo framework agnostico rispetto al modello che scala selettivamente la profondità dell'inferenza basandosi sull'incertezza per istanza senza riaddestramento o cambiamenti architetturali.
• Stimatore dell'Incertezza a Doppio Segnale: Il documento introduce uno stimatore innovativo che combina la confidenza del logit del modello con una priorità basata sulla frequenza, distinguendo efficacemente tra incertezza epistemica (copertura sparsa) e ambiguità aleatoria.
• Design di Inferenza Asimmetrico: Il framework impiega una strategia asimmetrica in cui tutte le istanze subiscono un filtraggio leggero delle caratteristiche, ma solo le istanze incerte ricevono una costosa esplorazione multi-percorso. Ciò bilancia i guadagni di prestazioni con l'efficienza computazionale.
• Validazione Empirica: L'approccio è validato su quattro dataset (Criteo, Avazu, KDD12 e un dataset industriale) utilizzando tre architetture di base, insieme a un test A/B online di sette giorni.

4. Risultati Sperimentali

• Prestazioni Offline: UTTSI supera costantemente i modelli CTR all'avanguardia (inclusi DeepFM, HSTU, PLE e OptFu) su tutti i dataset. Quando applicato al backbone OptFu, ha ottenuto miglioramenti AUC da +0,0037 a +0,0048 e riduzioni LogLoss da -0,0116 a -0,0142. I guadagni sono stati più pronunciati sui dataset con alta sparsità delle caratteristiche (KDD12 e Industriale).
• Studi di Ablazione: La rimozione della stima a doppio segnale, del campionamento guidato dall'attribuzione o dell'aggregazione multi-percorso ha portato a un degrado costante delle prestazioni, confermando la necessità di ciascun componente.
• Calibrazione dell'Incertezza: Il punteggio di incertezza stimato ha mostrato una forte correlazione di rango di Spearman ($\rho=0,91$) con l'errore di previsione effettivo sul dataset industriale, validando che il sistema identifica correttamente le istanze difficili.
• Test A/B Online: In un dispiegamento di sette giorni su una grande piattaforma di e-commerce, UTTSI ha ottenuto un miglioramento relativo del 5,3% nel Click-Through Rate (CTR) rispetto a una baseline di produzione, con significatività statistica ($p < 0,01$).
• Sovraccarico Computazionale: Il costo computazionale medio è di circa 2,8 volte il costo del modello di base. Tuttavia, poiché la maggior parte delle istanze (circa il 62%) è confidente e bypassa l'esplorazione, e poiché i percorsi sono parallelizzabili, la latenza nel caso peggiore rimane equivalente a un singolo passaggio in avanti.

5. Significato e Affermazioni

Il documento afferma che UTTSI stabilisce l'inferenza selettiva al momento del test come una direzione principiale e complementare ai progressi nella fase di addestramento. Rimandando l'allocazione di calcoli aggiuntivi fino all'osservazione dell'istanza effettiva, il framework massimizza il rendimento dei parametri già addestrati. Affronta specificamente il "divario di affidabilità" nella predizione del CTR causato dalla sparsità delle caratteristiche, offrendo una soluzione che è sia efficace nel migliorare l'accuratezza delle previsioni sia fattibile per il dispiegamento industriale grazie al suo sovraccarico gestibile e alla sua natura parallelizzabile. Gli autori sottolineano che questo approccio non compete con le ottimizzazioni della fase di addestramento, ma le potenzia adattando il comportamento di inferenza all'affidabilità specifica di ogni istanza di input.