Resumen Técnico: PIT-SUN

Planteamiento del Problema

En los sistemas de recomendación orientados al valor, la predicción de métricas de negocio continuas como el tiempo de permanencia (dwell time), el Valor de Mercancía Bruta (GMV) y el Valor de Vida del Cliente (LTV) es fundamental para el ranking y la asignación. Estos objetivos se caracterizan por ser dispersos, de cola pesada, multimodales y con exceso de ceros (zero-inflated).

El dilema central identificado en el artículo es el compromiso entre la estabilidad de la optimización y la consistencia de la esperanza:

1. MSE en el Espacio Original: Aunque minimizar el Error Cuadrático Medio (MSE) en el espacio original apunta teóricamente a la esperanza condicional $m(x) = E[Y|X=x]$, los gradientes de muestra finita son inestables debido a valores extremos y mesetas de cero. Esto conduce al "colapso de la media" o a la "contracción de la cola".
2. Espacio Transformado: Aplicar transformaciones monotónicas (p. ej., logaritmo, raíz cuadrada, Box-Cox) estabiliza la coordenada de aprendizaje, pero introduce un sesgo de retransformación. La inversión directa de la predicción transformada, $T^{-1}(E[T(Y)|x])$, no es igual a la esperanza original $E[Y|x]$ a menos que $T^{-1}$ sea afín. Sin embargo, las transformaciones afines no pueden proporcionar la compresión de cola necesaria para datos de cola pesada.

Los métodos de recuperación existentes (p. ej., TranSUN/GTS) restauran la consistencia de la esperanza mediante una recuperación lineal condicional, pero dependen de la selección manual de transformaciones y bases de recuperación. El artículo argumenta que simplemente reemplazar una transformación manual por una Transformación Integral de Probabilidad (PIT) empírica es insuficiente sin un marco unificado para la coordenada, la búsqueda inversa, la base de recuperación y el monitoreo de deriva (drift).

Metodología: PIT-SUN

Los autores proponen PIT-SUN (Transformación de Probabilidad Integral para una Recuperación Sin Sesgo), un marco de recuperación marginal empírica desplegable. Trata la tabla marginal empírica no solo como una transformación, sino como un "cierre" unificado que define simultáneamente la coordenada, la búsqueda inversa, la base de recuperación y el mecanismo de monitoreo.

1. Fundamento Teórico

El artículo establece dos resultados de imposibilidad clave:

• Inversión Directa No Lineal: Una transformación no lineal que comprime la cola no puede ser universalmente preservadora de la esperanza bajo inversión directa.
• Sesgo de Solo-PIT: Incluso con una coordenada PIT perfecta, la inversión directa $C^{-1}(E[C(Y)|x])$ exhibe un sesgo sistemático de Taylor debido a la curvatura de la función cuantil inversa.

2. El Cierre PIT-SUN

El marco consta de tres componentes acoplados derivados de una única tabla de Función de Distribución Acumulativa (CDF) empírica:

• Coordenada PIT Empírica (Aprendizaje con Escala Acotada):
  En lugar de transformaciones manuales, el modelo aprende en un espacio de puntuación normal acotado. El objetivo se transforma mediante la CDF empírica $\hat{F}_Y$ recortada a $[\delta, 1-\delta]$ y se mapea a una cuantil normal estándar:
  $$C(y) = \Phi^{-1}(\text{clip}(\hat{F}_Y(y), \delta, 1-\delta))$$
  Esto convierte las amplitudes de cola pesada en coordenadas acotadas, estabilizando los gradientes.

• Base de Cuantil Inverso (Recuperación Estabilizada):
  La coordenada PIT predicha se mapea de vuelta a la escala original para formar una base de recuperación $b(x)$:
  $$b(x) = \max(C^{-1}(\bar{f}(x)), b_{min}) + \epsilon$$
  Aquí, $C^{-1}$ es la búsqueda de cuantiles inversos empíricos. Crucialmente, $b_{min}$ (un límite inferior basado en el cuantil de los objetivos positivos) evita el colapso del denominador en regiones con exceso de ceros y controla la varianza de la etiqueta de recuperación.

• Recuperación SUN (Condicionalmente Lineal):
  Una segunda rama aprende el objetivo proporcional $z(x) \approx E[Y/b(x) | x]$ utilizando un operador de parada de gradiente (stop-gradient) sobre la base $b(x)$. La pérdida es:
  $$L_{SUN} = E\left[ \left( z_\psi(x) - \frac{y}{\text{sg}[b(x)]} \right)^2 \right]$$
  Esto asegura que la ruta de recuperación sea condicionalmente lineal con respecto a la base fija, restaurando la consistencia de la esperanza sin corromper la geometría de la PIT con residuos de alta varianza.

• Predicción Final:
  $$\hat{y}(x) = z_\psi(x) \cdot b(x)$$

3. Manejo de Objetivos Dispersos y con Exceso de Ceros

Para objetivos con exceso extremo de ceros (p. ej., GMV), el artículo introduce PIT-SUN-ZI, que factoriza el problema:

1. Una rama de obstáculo (hurdle branch) estima $P(Y > 0 | x)$.
2. PIT-SUN estima $E[Y | x, Y > 0]$ en muestras positivas.
3. La predicción final es el producto de la probabilidad de ocurrencia y la cantidad positiva.

Principales Contribuciones

1. Formulación Guiada por la Imposibilidad: El artículo demuestra formalmente que las coordenadas estables no lineales no pueden preservar la esperanza bajo inversión directa, lo que requiere una ruta de recuperación separada en lugar de solo una mejor transformación escalar.
2. El Cierre PIT-SUN: Introduce un marco unificado donde una única tabla de CDF empírica define la coordenada estable, la búsqueda inversa, la base de recuperación controlada por la varianza y el monitor de deriva. Esto reemplaza las elecciones heurísticas manuales por un cierre empírico y desplegable.
3. Validación Empírica: El método se valida en distribuciones sintéticas, benchmarks públicos (CIKM16, DTMart), grandes conjuntos de datos industriales (Dwell Time, GMV) y pruebas A/B en línea.

Resultados Experimentales

• Benchmarks Sintéticos y Públicos: PIT-SUN demuestra una calibración robusta (medida por SRE, TRE, MRE) y calidad de ranking (xAUC, Gini) a través de varias formas marginales (cola pesada, exceso de ceros, multimodal). Supera a modelos distribucionales (ZILN, EGMN), modelos discretizados (TPM, CREAD) y líneas base de recuperación manual (TranSUN).
• Resultos Industriales Offline: En conjuntos de datos de gran escala de Dwell Time y GMV con exceso de ceros, PIT-SUN logra los errores de punto más bajos (NMAE, NRMSE) y la mejor calibración agregada. Las variantes de diagnóstico (p. ej., PIT-SUN-w/o SUN, PIT-TranSUN) confirman que el cierre completo (coordenada acotada + base estabilizada + aislamiento de gradiente) es necesario; simplemente integrar la PIT empírica en marcos existentes produce resultados inferiores.
• Pruebas A/B en Línea: Desplegado en un sistema de asignación de incentivos, PIT-SUN mostró mejoras estadísticamente significativas en tiempo de permanencia, conteo de visualizaciones de video y usuarios altamente comprometidos. Los Usuarios Activos Diarios (DAU) y los ingresos publicitarios se mantuvieron estables, lo que indica que el modelo mejora el compromiso sin perjudicar otras métricas de negocio.
• Eficiencia: PIT-SUN reduce el tiempo de entrenamiento y la latencia de inferencia (P50/P99) en comparación con las líneas base de dos etapas, lo que lo hace adecuado para entornos de producción de alto QPS.

Significado y Reivindicaciones

El artículo afirma que PIT-SUN replantea la transformación de objetivos de un paso de preprocesamiento heurístico a un cierre marginal empírico desplegable. Su importancia radica en resolver el dilema de "estabilidad vs. esperanza" sin depender de supuestos distributivos complejos o ajustes manuales de hiperparámetros para las transformaciones.

Los autores enfatizan que el marco es agnóstico al modelo e interpretable, sirviendo como un alineador de escala práctico para objetivos continuos heterogéneos (dwell time, GMV, LTV) en sistemas de recomendación industriales. El trabajo demuestra que un cierre completo y basado en datos —que integra la coordenada, la base y la recuperación— es esencial para lograr tanto la precisión de punto como la consistencia de la esperanza en tareas de regresión complejas del mundo real.