Technische Samenvatting: PIT-SUN

Probleemstelling

In waarde-gedreven aanbevelingssystemen is het voorspellen van continue zakelijke metrieken zoals verblijftijd (dwell time), Gross Merchandise Value (GMV) en Lifetime Value (LTV) centraal voor ranking en allocatie. Deze doelvariabelen zijn kenmerkend voor schaarste, zijn heavy-tailed, multimodal en bevatten veel nulwaarden (zero-inflated).

Het kerndilemma dat in het paper wordt geïdentificeerd, is de afruil tussen optimalisatiestabiliteit en verwachtingsconsistentie:

1. Original-Space MSE: Hoewel het minimaliseren van de Mean Squared Error (MSE) in de oorspronkelijke ruimte theoretisch streeft naar de conditionele verwachting $m(x) = E[Y|X=x]$, zijn gradiënten met een eindige steekproef onstabiel door extreme waarden en nul-plateaus. Dit leidt tot "mean collapse" of "tail shrinkage".
2. Transformed Space: Het toepassen van monotone transformaties (bijv. log, sqrt, Box-Cox) stabiliseert de leercoördinaat, maar introduceert retransformatiebias. Het direct inverteren van de getransformeerde voorspelling, $T^{-1}(E[T(Y)|x])$, is niet gelijk aan de oorspronkelijke verwachting $E[Y|x]$, tenzij $T^{-1}$ affien is. Affiene transformaties kunnen echter niet de benodigde begrensde staartcompressie bieden voor heavy-tailed data.

Bestaande herstelmethoden (bijv. TranSUN/GTS) herstellen de verwachtingsconsistentie via conditioneel lineair herstel, maar vertrouwen op handmatige selectie van transformaties en herstelbases. Het paper betoogt dat het simpelweg vervangen van een handmatige transformatie door een empirische Probability Integral Transform (PIT) onvoldoende is zonder een verenigd framework voor de coördinaat, inverse lookup, herstelbasis en drift-monitoring.

Methodologie: PIT-SUN

De auteurs stellen PIT-SUN voor (Probability-Integral-TranSformed Unbiased recovery), een inzetbaar framework voor empirische marginale herstel. Het behandelt de empirische marginale tabel niet louter als een transformatie, maar als een verenigde "closure" die simultaan de coördinaat, inverse lookup, herstelbasis en monitoringmechanisme definieert.

1. Theoretische Fundering

Het paper stelt twee belangrijke onmogelijkheidsresultaten vast:

• Niet-lineaire directe inversie: Een niet-lineaire, staart-comprimerende transformatie kan niet universeel verwachtings-behoudend zijn onder directe inversie.
• PIT-Only Bias: Zelfs met een perfecte PIT-coördinaat vertoont directe inversie $C^{-1}(E[C(Y)|x])$ een systematische Taylor-bias vanwege de kromming van de inverse kwantielfunctie.

2. De PIT-SUN Closure

Het framework bestaat uit drie gekoppelde componenten afgeleid van één enkele empirische Cumulatieve Distributiefunctie (CDF) tabel:

• Empirische PIT Coördinaat (Scale-Bounded Learning):
  In plaats van handmatige transformaties, leert het model in een begrensde normaal-score ruimte. De doelvariabele wordt getransformeerd via de empirische CDF $\hat{F}_Y$, afgeknipt naar $[\delta, 1-\delta]$ en gemapt naar een standaard normale kwantiel:
  $$C(y) = \Phi^{-1}(\text{clip}(\hat{F}_Y(y), \delta, 1-\delta))$$
  Dit zet heavy-tailed amplitudes om in begrensde coördinaten, wat de gradiënten stabiliseert.

• Inverse-Quantile Base (Gestabiliseerd Herstel):
  De voorspelde PIT-coördinaat wordt teruggemapt naar de oorspronkelijke schaal om een herstelbasis $b(x)$ te vormen:
  $$b(x) = \max(C^{-1}(\bar{f}(x)), b_{min}) + \epsilon$$
  Hier is $C^{-1}$ de empirische inverse kwantiel lookup. Cruciaal is dat $b_{min}$ (een ondergrens gebaseerd op de kwantiel van positieve doelvariabelen) de noemer-instorting in zero-inflated regio's voorkomt en de variantie van de herstel-label controleert.

• SUN Recovery (Conditioneel Lineair):
  Een tweede tak leert de proportionele doelvariabele $z(x) \approx E[Y/b(x) | x]$ met behulp van een stop-gradient operator op de basis $b(x)$. De loss is:
  $$L_{SUN} = E\left[ \left( z_\psi(x) - \frac{y}{\text{sg}[b(x)]} \right)^2 \right]$$
  Dit zorgt ervoor dat het herstelpad conditioneel lineair is ten opzichte van de vaste basis, waardoor de verwachtingsconsistentie wordt hersteld zonder de PIT-geometrie te corrumperen met hoog-variante residuen.

• Finale Voorspelling:
  $$\hat{y}(x) = z_\psi(x) \cdot b(x)$$

3. Omgaan met Sparse en Zero-Inflated Targets

Voor doelvariabelen met extreme zero-inflatie (bijv. GMV), introduceert het paper PIT-SUN-ZI, die het probleem factoriseert:

1. Een hurdle-tak schat $P(Y > 0 | x)$.
2. PIT-SUN schat $E[Y | x, Y > 0]$ op positieve samples.
3. De finale voorspelling is het product van de kans op voorkomen en het positieve bedrag.

Belangrijkste Bijdragen

1. Impossibility-Guided Formulering: Het paper bewijst formeel dat niet-lineaire stabiele coördinaten niet verwachtings-behoudend kunnen zijn onder directe inversie, wat een aparte herstelpad noodzakelijk maakt in plaats van slechts een betere scalaire transformatie.
2. De PIT-SUN Closure: Het introduceert een verenigd framework waarbij een enkele empirische CDF-tabel de stabiele coördinaat, de inverse lookup, de variantie-gecontroleerde herstelbasis en de drift-monitor definieert. Dit vervangt handmatige heuristische keuzes door een data-gedreven, inzetbare closure.
3. Empirische Validatie: De methode wordt gevalideerd over synthetische distributies, publieke benchmarks (CIKM16, DTMart), grootschalige industriële datasets (Dwell Time, GMV) en online A/B-tests.

Experimentele Resultaten

• Synthetische & Publieke Benchmarks: PIT-SUN demonstreert robuuste kalibratie (gemeten door SRE, TRE, MRE) en rankingkwaliteit (xAUC, Gini) over diverse marginale vormen (heavy-tailed, zero-inflated, multimodal). Het presteert beter dan distributiemodellen (ZILN, EGMN), gediscretiseerde modellen (TPM, CREAD) en handmatige herstel-baselines (TranSUN).
• Industriële Offline Resultaten: Op grootschalige Dwell Time en Zero-inflated GMV datasets bereikt PIT-SUN de laagste puntfouten (NMAE, NRMSE) en de beste geaggregeerde kalibratie. Diagnostische varianten (bijv. PIT-SUN-w/o SUN, PIT-TranSUN) bevestigen dat de volledige closure (begrensde coördinaat + gestabiliseerde basis + gradiënt-isolatie) noodzakelijk is; het simpelweg pluggen van empirische PIT in bestaande frameworks levert inferieure resultaten op.
• Online A/B-testen: De implementatie in een systeem voor incentive-allocatie liet statistisch significante verbeteringen zien in verblijftijd (dwell time), video view counts en diep betrokken gebruikers (deeply engaged users). Daily Active Users (DAU) en advertentie-inkomsten bleven stabiel, wat aangeeft dat het model de betrokkenheid verbetert zonder andere zakelijke metrieken te schaden.
• Efficiëntie: PIT-SUN vermindert de trainingstijd en de latentie bij inferentie (P50/P99) vergeleken met twee-fasen baselines, waardoor het geschikt is voor high-QPS productieomgevingen.

Betekenis en Claims

Het paper claimt dat PIT-SUN de transformatie van doelvariabelen herkadert van een heuristische preprocessing-stap naar een inzetbare empirische-marginale closure. De betekenis ligt in het oplossen van de "stabiliteit vs. verwachting" dilemma zonder te vertrouwen op complexe distributieve aannames of handmatige hyperparameter-tuning voor transformaties.

De auteurs benadrukken dat het framework model-agnostisch en interpreteerbaar is, en dient als een praktische schaal-aligner voor heterogene continue doelvariabelen (verblijftijd, GMV, LTV) in industriële aanbevelingssystemen. Het werk toont aan dat een volledige, data-gedreven closure — die de coördinaat, de basis en het herstel integreert — essentieel is voor het bereiken van zowel punt-accuratesse als verwachtingsconsistentie in complexe, real-world regressie-taken.