Resumo Técnico: Escalonamento Seletivo de Computação em Tempo de Teste para Previsão de CTR via Exploração de Caminhos de Recursos Acionada por Incerteza

1. Declaração do Problema

O artigo aborda uma assimetria fundamental na previsão industrial de Taxa de Clique (CTR): enquanto o treinamento expõe os modelos a combinações diversas de recursos, a inferência frequentemente encontra combinações esparsas ou não vistas que levam a previsões pouco confiáveis. Soluções existentes na fase de treinamento (por exemplo, comutação adaptativa, arquiteturas de interação de recursos) aprendem uma função de seleção fixa que, por si só, está sujeita à mesma esparsidade de dados, não oferecendo recurso para instâncias específicas na implantação.

As tentativas atuais de otimização em tempo de teste em sistemas de recomendação focam principalmente no aumento do comportamento sequencial (por exemplo, exclusão de itens), o que é inaplicável aos campos de recursos categóricos esparsos do CTR. Além disso, a transferência direta de técnicas de escalonamento em tempo de teste de Modelos de Linguagem Grandes (LLM) é inviável devido à ausência de probabilidades de geração ao nível de token na classificação binária de CTR. O desafio central é desenvolver um framework sem treinamento, agnóstico ao modelo, que escale a profundidade da inferência proporcionalmente à incerteza por instância, sem violar as restrições estritas de latência industrial.

2. Metodologia: Framework UTTSI

Os autores propõem o UTTSI (Inferência Seletiva em Tempo de Teste Acionada por Incerteza), um framework que opera sobre qualquer modelo de CTR pré-treinado sem modificar seus parâmetros ou exigir re-treinamento. O UTTSI aloca dinamicamente recursos computacionais com base em uma pontuação de incerteza estimada para cada instância.

O framework consiste em três componentes estreitamente integrados:

A. Estimativa de Priori de Frequência

Para quantificar a confiabilidade dos valores de recursos, o UTTSI mantém uma estrutura de hashing probabilística (inspirada no Count-Min Sketch) que rastreia a frequência de cada valor de recurso nos dados de treinamento. Isso fornece um sinal de confiabilidade offline, ao nível de dados. As contagens são normalizadas para um limite de saturação para produzir uma pontuação de frequência $\tilde{s}_{freq}(f_i) \in [0, 1]$.

B. Estimativa de Incerteza de Duplo Sinal

O UTTSI estima a incerteza por instância $u(x)$ combinando dois sinais complementares:

1. Confiança Interna do Modelo ($s_{model}$): Derivada do logit de previsão, normalizada por uma constante $\gamma$ (o percentil 95 de logits em um conjunto de validação). Isso captura a ambiguidade aleatória próxima ao limite de decisão.
2. Confiança de Frequência ao Nível de Dados ($s_{freq}$): Uma média ponderada por atribuição das frequências de recursos. A atribuição é calculada via norma do gradiente do logit em relação a cada incorporação de recurso ($\|\nabla_{e_i} \text{logit}(x)\|^2$). Isso garante que a frequência de recursos que realmente impulsionam a previsão seja ponderada mais fortemente do que recursos irrelevantes.

A pontuação final de incerteza é calculada como:
$$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$$
O número de caminhos de exploração adicionais $K(x)$ é alocado proporcionalmente a essa incerteza: $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$.

C. Filtragem de Recursos e Exploração de Caminhos

O processo de inferência prossegue em duas etapas:

1. Filtragem Adaptativa de Recursos (Todas as Instâncias): Antes de qualquer exploração, uma pontuação composta $w(f_i)$ combinando frequência e atribuição é calculada para cada recurso. Recursos que caem abaixo de um limite por campo $\tau_i$ (calculado offline a partir de quantis dos dados de treinamento) são descartados. Isso remove incorporações pouco confiáveis para todas as instâncias.
2. Exploração Estocástica de Caminhos (Apenas Instâncias Incertas): Para instâncias onde $K(x) > 0$, o UTTSI gera $K(x)$ caminhos de inferência adicionais. Cada caminho é construído amostrando estocasticamente subconjuntos do conjunto de recursos refinado. As probabilidades de amostragem são guiadas pela pontuação composta $w(f_i)$, garantindo que recursos raros informativos sejam preferencialmente retidos.
3. Agregação Ponderada por Consistência: As previsões do caminho refinado base e de todos os $K(x)$ caminhos de exploração são agregadas. Um esquema de votação ponderado por consistência atribui pesos mais altos a previsões alinhadas com a média do ensemble, reduzindo o peso de caminhos outliers que provavelmente mascararam recursos críticos.

Instâncias confiantes ($K(x)=0$) contornam completamente a etapa de exploração, incorrendo apenas no custo da passagem forward inicial e da filtragem.

3. Principais Contribuições

• Primeiro Framework de Tempo de Teste Sem Treinamento para CTR: O UTTSI é apresentado como o primeiro framework agnóstico ao modelo que escala seletivamente a profundidade da inferência com base na incerteza por instância, sem re-treinamento ou alterações arquiteturais.
• Estimador de Incerteza de Duplo Sinal: O artigo introduz um estimador inovador que combina a confiança do logit do modelo com uma priori baseada em frequência, distinguindo efetivamente entre incerteza epistêmica (cobertura esparsa) e ambiguidade aleatória.
• Design de Inferência Assimétrico: O framework emprega uma estratégia assimétrica onde todas as instâncias passam por filtragem leve de recursos, mas apenas instâncias incertas recebem exploração cara de múltiplos caminhos. Isso equilibra ganhos de desempenho com eficiência computacional.
• Validação Empírica: A abordagem é validada em quatro conjuntos de dados (Criteo, Avazu, KDD12 e um conjunto de dados Industrial) usando três arquiteturas base, juntamente com um teste A/B online de sete dias.

4. Resultados Experimentais

• Desempenho Offline: O UTTSI supera consistentemente os modelos de CTR mais avançados (incluindo DeepFM, HSTU, PLE e OptFu) em todos os conjuntos de dados. Quando aplicado ao backbone OptFu, alcançou melhorias de AUC de +0,0037 a +0,0048 e reduções de LogLoss de -0,0116 a -0,0142. Os ganhos foram mais pronunciados em conjuntos de dados com alta esparsidade de recursos (KDD12 e Industrial).
• Estudos de Ablação: A remoção da estimativa de duplo sinal, da amostragem guiada por atribuição ou da agregação de múltiplos caminhos resultou em degradação consistente de desempenho, confirmando a necessidade de cada componente.
• Calibração de Incerteza: A pontuação de incerteza estimada mostrou uma forte correlação de posto de Spearman ($\rho=0,91$) com o erro de previsão real no conjunto de dados Industrial, validando que o sistema identifica corretamente instâncias difíceis.
• Teste A/B Online: Em uma implantação de sete dias em uma grande plataforma de comércio eletrônico, o UTTSI alcançou uma melhoria relativa de 5,3% na Taxa de Clique (CTR) em comparação com uma linha de base de produção, com significância estatística ($p < 0,01$).
• Sobrecarga Computacional: O custo computacional médio é de aproximadamente 2,8× o custo do modelo base. No entanto, como a maioria das instâncias (aprox. 62%) é confiante e contorna a exploração, e como os caminhos são paralelizáveis, a latência no pior caso permanece equivalente a uma única passagem forward.

5. Significado e Alegações

O artigo afirma que o UTTSI estabelece a inferência seletiva em tempo de teste como uma direção principial e complementar aos avanços na fase de treinamento. Ao adiar a alocação de computação adicional até que a instância real seja observada, o framework maximiza o retorno sobre os parâmetros já treinados. Ele aborda especificamente a "lacuna de confiabilidade" na previsão de CTR causada pela esparsidade de recursos, oferecendo uma solução que é tanto eficaz na melhoria da precisão da previsão quanto viável para implantação industrial devido à sua sobrecarga gerenciável e natureza paralelizável. Os autores enfatizam que essa abordagem não compete com otimizações da fase de treinamento, mas sim as aprimora ao adaptar o comportamento de inferência à confiabilidade específica de cada instância de entrada.