Resumo Técnico: PIT-SUN

Definição do Problema

Em sistemas de recomendação orientados a valor, a previsão de métricas de negócio contínuas, como tempo de permanência (dwell time), GMV (Gross Merchandise Value) e LTV (Lifetime Value), é central para o ranqueamento e alocação. Esses alvos são caracteristicamente esparsos, de cauda pesada (heavy-tailed), multimodais e com excesso de zeros (zero-inflated).

O dilema central identificado no artigo é o equilíbrio entre estabilidade de otimização e consistência de expectativa:

1. MSE no Espaço Original: Embora minimizar o Erro Quadrático Médio (MSE) no espaço original vise teoricamente a expectativa condicional $m(x) = E[Y|X=x]$, os gradientes de amostra finita são instáveis devido a valores extremos e platôs de zero. Isso leva ao "colapso da média" ou "encolhimento da cauda".
2. Espaço Transformado: Aplicar transformações monotônicas (ex: log, sqrt, Box-Cox) estabiliza a aprendizagem da coordenada, mas introduz o viés de retransformação. Inverter diretamente a previsão transformada, $T^{-1}(E[T(Y)|x])$, não é igual à expectativa original $E[Y|x]$, a menos que $T^{-1}$ seja afim. No entanto, transformações afins não podem fornecer a compressão de cauda necessária para dados de cauda pesada.

Métodos de recuperação existentes (ex: TranSUN/GTS) restauram a consistência da expectativa via recuperação condicionalmente linear, mas dependem da seleção manual de transformações e bases de recuperação. O artigo argumenta que simplesmente substituir uma transformação manual por um PIT empírico é insuficiente sem um framework unificado para a coordenada, busca de inverso, base de recuperação e monitoramento de deriva (drift).

Metodologia: PIT-SUN

Os autores propõem o PIT-SUN (Probability-Integral-TranSformed Unbiased recovery), um framework de recuperação marginal empírica implantável. Ele trata a tabela marginal empírica não apenas como uma transformação, mas como um "fechamento" (closure) unificado que define simultaneamente a coordenada, a busca de inverso, a base de recuperação e o mecanismo de monitoramento.

1. Fundamentação Teórica

O artigo estabelece dois resultados de impossibilidade fundamentais:

• Inversão Direta Não Linear: Uma transformação não linear de compressão de cauda não pode ser universalmente preservadora de expectativa sob inversão direta.
• Viés de Apenas PIT: Mesmo com uma coordenada PIT perfeita, a inversão direta $C^{-1}(E[C(Y)|x])$ exibe um viés sistemático de Taylor devido à curvatura da função quantil inversa.

2. O Fechamento PIT-SUN

O framework consiste em três componentes acoplados derivados de uma única tabela de Função de Distribuição Acumulada (CDF) empírica:

• Coordenada PIT Empírica (Aprendizagem de Escala Limitada):
  Em vez de transformações manuais, o modelo aprende em um espaço de escore normal limitado. O alvo é transformado via CDF empírica $\hat{F}_Y$ truncada em $[\delta, 1-\delta]$ e mapeada para um quantil normal padrão:
  $$C(y) = \Phi^{-1}(\text{clip}(\hat{F}_Y(y), \delta, 1-\delta))$$
  Isso converte amplitudes de cauda pesada em coordenadas limitadas, estabilizando os gradientes.

• Base de Quantil Inverso (Recuperação Estabilizada):
  A coordenada PIT prevista é mapeada de volta para a escala original para formar uma base de recuperação $b(x)$:
  $$b(x) = \max(C^{-1}(\bar{f}(x)), b_{min}) + \epsilon$$
  Aqui, $C^{-1}$ é a busca de quantil inverso empírica. Crucialmente, $b_{min}$ (um limite inferior baseado no quantil de alvos positivos) evita o colapso do denominador em regiões de excesso de zeros e controla a variância do rótulo de recuperação.

• Recuperação SUN (Condicionalmente Linear):
  Um segundo ramo aprende a proporção do alvo $z(x) \approx E[Y/b(x) | x]$ usando um operador de parada de gradiente (stop-gradient) na base $b(x)$. A perda é:
  $$L_{SUN} = E\left[ \left( z_\psi(x) - \frac{y}{\text{sg}[b(x)]} \right)^2 \right]$$
  Isso garante que o caminho de recuperação seja condicionalmente linear em relação à base fixa, restaurando a consistência da expectativa sem corromper a geometria do PIT com resíduos de alta variância.

• Previsão Final:
  $$\hat{y}(x) = z_\psi(x) \cdot b(x)$$

• Lidando com Alvos Esparsos e com Excesso de Zeros:
  Para alvos com extremo excesso de zeros (ex: GMV), o artigo introduz o PIT-SUN-ZI, que fatoriza o problema:

1. Um ramo hurdle estima $P(Y > 0 | x)$.
2. O PIT-SUN estima $E[Y | x, Y > 0]$ nos exemplos positivos.
3. A previsão final é o produto da probabilidade de ocorrência e o montante positivo.

Principais Contribuições

1. Formulação Guiada pela Impossibilidade: O artigo prova formalmente que coordenadas estáveis não lineares não podem ser preservadoras de expectativa sob inversão direta, necessitando de um caminho de recuperação separado em vez de apenas uma melhor transformação escalar.
2. O Fechamento PIT-SUN: Introduz um framework unificado onde uma única tabela de CDF empírica define a coordenada estável, a busca de inverso, a base de recuperação controlada por variância e o monitor de deriva. Isso substitui escolhas heurísticas manuais por um fechamento empírico implantável.
3. Validação Empírica: O método é validado através de distribuições sintéticas, benchmarks públicos (CIKM16, DTMart), conjuntos de dados industriais de larga escala (Tempo de Permanência, GMV) e testes A/B online.

Resultados Experimentais

• Benchmarks Sintéticos e Públicos: O PIT-SUN demonstra calibração robusta (medida por SRE, TRE, MRE) e qualidade de ranqueamento (xAUC, Gini) através de várias formas marginais (cauda pesada, excesso de zeros, multimodal). Ele supera modelos distributivos (ZILN, EGMN), modelos discretizados (TPM, CREAD) e baselines de recuperação manual (TranSUN).
• Resultados Offline Industriais: Em conjuntos de dados de larga escala de Tempo de Permanência e GMV com excesso de zeros, o PIT-SUN alcança os menores erros de ponto (NMAE, NRMSE) e a melhor calibração agregada. Variantes diagnósticas (ex: PIT-SUN-w/o SUN, PIT-TranSUN) confirmam que o fechamento completo (coordenada limitada + base estabilizada + isolamento de gradiente) é necessário; simplesmente inserir o PIT empírico em frameworks existentes produz resultados inferiores.
• Testes A/B Online: Implantado em um sistema de alocação de incentivos, o PIT-SUN mostrou melhorias estatisticamente significativas em tempo de permanência, contagens de visualização de vídeo e usuários profundamente engajados. O DAU (Daily Active Users) e a receita de anúncios permaneceram estáveis, indicando que o modelo melhora o engajamento sem prejudicar outras métricas de negócio.
• Eficiência: O PIT-SUN reduz o tempo de treinamento e a latência de inferência (P50/P99) em comparação com baselines de dois estágios, tornando-o adequado para ambientes de produção de alto QPS.

Significância e Alegações

O artigo afirma que o PIT-SUN redefine a transformação de alvo de um passo de pré-processamento heurístico para um fechamento marginal empírico implantável. Sua significância reside em resolver o dilema "estabilidade vs. expectativa" sem depender de suposições distributivas complexas ou ajuste manual de hiperparâmetros para transformações.

Os autores enfatem que o framework é agnóstico ao modelo e interpretável, servindo como um alinhador de escala prático para alvos contínuos heterogêneos (tempo de permanência, GMV, LTV) em sistemas de recomendação industrial. O trabalho demonstra que um fechamento completo e orientado por dados — integrando a coordenada, a base e a recuperação — é essencial para alcançar tanto a precisão de ponto quanto a consistência de expectativa em tarefas de regressão complexas do mundo real.