Sintesi Tecnica: PIT-SUN

Definizione del Problema

Nei sistemi di raccomandazione orientati al valore, la previsione di metriche di business continue come il tempo di permanenza (dwell time), il GMV (Gross Merchandise Value) e l'LTV (Lifetime Value) è centrale per il ranking e l'allocazione. Questi target sono caratteristicamente sparsi, a coda pesante (heavy-tailed), multimodali e con eccesso di zeri (zero-inflated).

Il dilemma centrale identificato nel paper è il compromesso tra stabilità di ottimizzazione e coerenza dell'aspettativa:

1. MSE nello Spazio Originale: Sebbene la minimizzazione dell'Errore Quadratico Medio (MSE) nello spazio originale miri teoricamente all'aspettativa condizionale $m(x) = E[Y|X=x]$, i gradienti su campioni finiti sono instabili a causa di valori estremi e plateau di zeri. Ciò porta al "collasso della media" (mean collapse) o alla "contrazione della coda" (tail shrinkage).
2. Spazio Trasformato: L'applicazione di trasformazioni monotone (es. log, sqrt, Box-Cox) stabilizza la coordinata di apprendimento ma introduce un bias di ritrasformazione. L'inversione diretta della previsione trasformata, $T^{-1}(E[T(Y)|x])$, non è uguale all'aspettativa originale $E[Y|x]$ a meno che $T^{-1}$ non sia affine. Tuttavia, le trasformazioni affini non possono fornire la necessaria compressione della coda per dati a coda pesante.

I metodi di recupero esistenti (es. TranSUN/GTS) ripristinano la coerenza dell'aspettativa tramite un recupero condizionalmente lineare, ma si affidano alla selezione manuale di trasformazioni e basi di recupero. Il paper sostiene che sostituire semplicemente una trasformazione manuale con una trasformazione integrale di probabilità (PIT) empirica sia insufficiente senza un framework unificato per la coordinata, la ricerca dell'inverso, la base di recupero e il monitoraggio del drift.

Metodologia: PIT-SUN

Gli autori propongono PIT-SUN (Probability-Integral-TranSformed Unbiased recovery), un framework di recupero marginale empirico implementabile. Esso tratta la tabella marginale empirica non solo come una trasformazione, ma come una "chiusura" (closure) unificata che definisce simultaneamente la coordinata, la ricerca dell'inverso, la base di recupero e il meccanismo di monitoraggio.

1. Fondamento Teorico

Il paper stabilisce due risultati chiave di impossibilità:

• Inversione Diretta Non Lineare: Una trasformazione non lineare con compressione della coda non può essere universalmente preservante l'aspettativa sotto inversione diretta.
• Bias del Solo PIT: Anche con una coordinata PIT perfetta, l'inversione diretta $C^{-1}(E[C(Y)|x])$ presenta un bias sistematico di Taylor dovuto alla curvatura della funzione quantile inversa.

2. La Chiusura PIT-SUN

Il framework consiste in tre componenti accoppiate derivate da un'unica tabella della Funzione di Distribuzione Cumulativa (CDF) empirica:

• Coordinata PIT Empirica (Apprendimento a Scala Limitata):
  Inveve di trasformazioni manuali, il modello apprende in uno spazio di punteggio normale limitato. Il target viene trasformato tramite la CDF empirica $\hat{F}_Y$ troncata a $[\delta, 1-\delta]$ e mappata in un quantile normale standard:
  $$C(y) = \Phi^{-1}(\text{clip}(\hat{F}_Y(y), \delta, 1-\delta))$$
  Questo converte le ampiezze a coda pesante in coordinate limitate, stabilizzando i gradienti.

• Base Quantile-Inversa (Recupero Stabilizzato):
  La coordinata PIT predetta viene mappata nuovamente sulla scala originale per formare una base di recupero $b(x)$:
  $$b(x) = \max(C^{-1}(\bar{f}(x)), b_{min}) + \epsilon$$
  Qui, $C^{-1}$ è la ricerca del quantile inverso empirico. Fondamentalmente, $b_{min}$ (un limite inferiore basato sul quantile dei target positivi) previene il collasso del denominatore nelle regioni con eccesso di zeri e controlla la varianza del label di recupero.

• Recupero SUN (Condizionalmente Lineare):
  Un secondo ramo apprende il target proporzionale $z(x) \approx E[Y/b(x) | x]$ utilizzando un operatore stop-gradient sulla base $b(x)$. La perdita è:
  $$L_{SUN} = E\left[ \left( z_\psi(x) - \frac{y}{\text{sg}[b(x)]} \right)^2 \right]$$
  Ciò assicura che il percorso di recupero sia condizionalmente lineare rispetto alla base fissa, ripristinando la coerenza dell'aspettativa senza corrompere la geometria PIT con residui ad alta varianza.

• Predizione Finale:
  $$\hat{y}(x) = z_\psi(x) \cdot b(x)$$

3. Gestione di Target Sparsi e con Eccesso di Zeri

Per i target con estremo eccesso di zeri (es. GMV), il paper introduce PIT-SUN-ZI, che fattorizza il problema:

1. Un ramo hurdle stima $P(Y > 0 | x)$.
2. PIT-SUN stima $E[Y | x, Y > 0]$ sui campioni positivi.
3. La predizione finale è il prodotto della probabilità di occorrenza e dell'importo positivo.

Contributi Chiave

1. Formulazione Guidata dall'Impossibilità: Il paper dimostra formalmente che le coordinate stabili non lineari non possono preservare l'aspettativa sotto inversione diretta, rendendo necessario un percorso di recupero separato invece di una semplice migliore trasformazione scalare.
2. La Chiusura PIT-SUN: Introduce un framework unificato dove una singola tabella CDF empirica definisce la coordinata stabile, la ricerca dell'inverso, la base di recupero controllata dalla varianza e il monitor del drift. Questo sostituisce le scelte euristiche manuali con una chiusura empirica implementabile.
3. Validazione Empirica: Il metodo è validato su distribuzioni sintetiche, benchmark pubblici (CIKM16, DTMart), dataset industriali su larga scala (Dwell Time, GMV) e test A/B online.

Risultati Sperimentali

• Benchmark Sintetici e Pubblici: PIT-SUN dimostra una calibrazione robusta (misurata tramite SRE, TRE, MRE) e una qualità di ranking (xAUC, Gini) attraverso varie forme marginali (coda pesante, eccesso di zeri, multimodali). Supera i modelli distribuzionali (ZILN, EGMN), i modelli discretizzati (TPM, CREAD) e i baseline di recupero manuale (TranSUN).
• Risultati Offline Industriali: Su dataset di Dwell Time e GMV con eccesso di zeri su larga scala, PIT-SUN raggiunge i più bassi errori di punto (NMAE, NRMSE) e la migliore calibrazione aggregata. Le varianti diagnostiche (es. PIT-SUN-w/o SUN, PIT-TranSUN) confermano che l'intera chiusura (coordinata limitata + base stabilizzata + isolamento del gradiente) è necessaria; inserire semplicemente il PIT empirico in framework esistenti produce risultati inferiori.
• Test A/B Online: Implementato in un sistema di allocazione degli incentivi, PIT-SUN ha mostrato miglioramenti statisticamente significativi in tempo di permanenza (dwell time), conteggi delle visualizzazioni video e utenti altamente coinvolti. Gli utenti attivi giornalieri (DAU) e i ricavi pubblicitari sono rimasti stabili, indicando che il modello migliora l'engagement senza danneggiare altre metriche di business.
• Efficienza: PIT-SUN riduce il tempo di addestramento e la latenza di inferenza (P50/P99) rispetto ai baseline in due fasi, rendendolo adatto ad ambienti di produzione ad alto QPS.

Significato e Rivendicazioni

Il paper sostiene che PIT-SUN riformula la trasformazione del target da un passaggio euristico di pre-processing a una chiusura marginale empirica implementabile. Il suo significato risiede nel risolvere il dilemma "stabilità vs aspettativa" senza fare affidamento su complesse assunzioni distribuzionali o sulla sintonizzazione manuale degli iperparametri delle trasformazioni.

Gli autori sottolineano che il framework è agnostico rispetto al modello e interpretabile, fungendo da allineatore di scala pratico per target continui eterogenei (dwell time, GMV, LTV) nei sistemi di raccomandazione industriale. Il lavoro dimosta che una chiusura completa e guidata dai dati — che integri coordinata, base e recupero — è essenziale per ottenere sia l'accuratezza del punto che la coerenza dell'aspettativa in compiti di regressione complessi e reali.