Résumé technique : Mise à l'échelle sélective du calcul au moment du test pour la prédiction du taux de clic (CTR) via l'exploration de chemins de caractéristiques déclenchée par l'incertitude

1. Énoncé du problème

L'article traite d'une asymétrie fondamentale dans la prédiction industrielle du taux de clic (CTR) : alors que l'entraînement expose les modèles à des combinaisons de caractéristiques diversifiées, l'inférence rencontre souvent des combinaisons rares ou inédites qui conduisent à des prédictions peu fiables. Les solutions existantes de phase d'entraînement (par exemple, le gating adaptatif, les architectures d'interaction de caractéristiques) apprennent une fonction de sélection fixe qui est elle-même sujette à la même parcimonie des données, n'offrant aucun recours pour des instances spécifiques lors du déploiement.

Les tentatives actuelles d'optimisation au moment du test dans les systèmes de recommandation se concentrent principalement sur l'augmentation du comportement séquentiel (par exemple, l'abandon d'articles), ce qui est inapplicable aux champs de caractéristiques catégorielles parcimonieux du CTR. De plus, le transfert direct des techniques de mise à l'échelle au moment du test des grands modèles de langage (LLM) est irréalisable en raison de l'absence de probabilités de génération au niveau des tokens dans la classification binaire du CTR. Le défi central consiste à développer un cadre sans réentraînement et agnostique au modèle qui met à l'échelle la profondeur de l'inférence proportionnellement à l'incertitude par instance, sans violer les contraintes de latence industrielle strictes.

2. Méthodologie : Cadre UTTSI

Les auteurs proposent UTTSI (Inférence Sélective au Moment du Test Déclenchée par l'Incertitude), un cadre qui fonctionne au-dessus de n'importe quel modèle CTR pré-entraîné sans modifier ses paramètres ni nécessiter de réentraînement. UTTSI alloue dynamiquement des ressources de calcul en fonction d'un score d'incertitude estimé pour chaque instance.

Le cadre se compose de trois composants étroitement intégrés :

A. Estimation de l'a priori de fréquence

Pour quantifier la fiabilité des valeurs de caractéristiques, UTTSI maintient une structure de hachage probabiliste (inspirée du sketch Count-Min) qui suit la fréquence de chaque valeur de caractéristique dans les données d'entraînement. Cela fournit un signal de fiabilité hors ligne, au niveau des données. Les comptes sont normalisés selon un seuil de saturation pour produire un score de fréquence $\tilde{s}_{freq}(f_i) \in [0, 1]$.

B. Estimation de l'incertitude à double signal

UTTSI estime l'incertitude par instance $u(x)$ en combinant deux signaux complémentaires :

1. Confiance interne au modèle ($s_{model}$) : Dérivée du logit de prédiction, normalisée par une constante $\gamma$ (le 95e percentile des logits sur un ensemble de validation). Cela capture l'ambiguïté aléatoire près de la frontière de décision.
2. Confiance de fréquence au niveau des données ($s_{freq}$) : Une moyenne pondérée par l'attribution des fréquences de caractéristiques. L'attribution est calculée via la norme du gradient du logit par rapport à chaque embedding de caractéristique ($\|\nabla_{e_i} \text{logit}(x)\|^2$). Cela garantit que la fréquence des caractéristiques qui pilotent réellement la prédiction est pondérée plus lourdement que les caractéristiques non pertinentes.

Le score d'incertitude final est calculé comme suit :
$$u(x) = 1 - [\alpha \cdot s_{model}(x) + (1 - \alpha) \cdot s_{freq}(x)]$$
Le nombre de chemins d'exploration supplémentaires $K(x)$ est alloué proportionnellement à cette incertitude : $K(x) = \lfloor K_{max} \cdot u(x) \rfloor$.

C. Filtrage des caractéristiques et exploration de chemins

Le processus d'inférence se déroule en deux étapes :

1. Filtrage adaptatif des caractéristiques (toutes les instances) : Avant toute exploration, un score composite $w(f_i)$ combinant fréquence et attribution est calculé pour chaque caractéristique. Les caractéristiques tombant en dessous d'un seuil par champ $\tau_i$ (calculé hors ligne à partir des quantiles des données d'entraînement) sont rejetées. Cela élimine les embeddings peu fiables pour toutes les instances.
2. Exploration stochastique de chemins (instances incertaines uniquement) : Pour les instances où $K(x) > 0$, UTTSI génère $K(x)$ chemins d'inférence supplémentaires. Chaque chemin est construit en échantillonnant stochastiquement des sous-ensembles de l'ensemble de caractéristiques affiné. Les probabilités d'échantillonnage sont guidées par le score composite $w(f_i)$, garantissant que les caractéristiques rares et informatives sont conservées de manière préférentielle.
3. Agrégation pondérée par la cohérence : Les prédictions issues du chemin raffiné de base et de tous les $K(x)$ chemins d'exploration sont agrégées. Un schéma de vote pondéré par la cohérence attribue des poids plus élevés aux prédictions alignées avec la moyenne de l'ensemble, réduisant le poids des chemins aberrants qui ont probablement masqué des caractéristiques critiques.

Les instances confiantes ($K(x)=0$) contournent entièrement l'étape d'exploration, n'encourant que le coût du passage avant initial et du filtrage.

3. Contributions clés

• Premier cadre au moment du test sans réentraînement pour le CTR : UTTSI est présenté comme le premier cadre agnostique au modèle qui met à l'échelle sélectivement la profondeur de l'inférence en fonction de l'incertitude par instance, sans réentraînement ni modifications architecturales.
• Estimateur d'incertitude à double signal : L'article introduit un estimateur novateur qui combine la confiance du logit du modèle avec un a priori basé sur la fréquence, distinguant efficacement l'incertitude épistémique (couverture parcimonieuse) de l'ambiguïté aléatoire.
• Conception d'inférence asymétrique : Le cadre emploie une stratégie asymétrique où toutes les instances subissent un filtrage léger des caractéristiques, mais seules les instances incertaines reçoivent une exploration multi-chemins coûteuse. Cela équilibre les gains de performance avec l'efficacité computationnelle.
• Validation empirique : L'approche est validée sur quatre jeux de données (Criteo, Avazu, KDD12 et un jeu de données industriel) en utilisant trois architectures de base, ainsi que lors d'un test A/B en ligne de sept jours.

4. Résultats expérimentaux

• Performance hors ligne : UTTSI surpasse constamment les modèles CTR de l'état de l'art (y compris DeepFM, HSTU, PLE et OptFu) sur tous les jeux de données. Lorsqu'il est appliqué à l'architecture de base OptFu, il réalise des améliorations de l'AUC de +0,0037 à +0,0048 et des réductions de LogLoss de -0,0116 à -0,0142. Les gains sont les plus prononcés sur les jeux de données à forte parcimonie de caractéristiques (KDD12 et Industriel).
• Études d'ablation : La suppression de l'estimation à double signal, de l'échantillonnage guidé par l'attribution ou de l'agrégation multi-chemins a entraîné une dégradation constante des performances, confirmant la nécessité de chaque composant.
• Calibration de l'incertitude : Le score d'incertitude estimé a montré une forte corrélation de rang de Spearman ($\rho=0,91$) avec l'erreur de prédiction réelle sur le jeu de données industriel, validant que le système identifie correctement les instances difficiles.
• Test A/B en ligne : Lors d'un déploiement de sept jours sur une grande plateforme de commerce électronique, UTTSI a réalisé une amélioration relative de 5,3 % du taux de clic (CTR) par rapport à une base de production, avec une signification statistique ($p < 0,01$).
• Surcharge computationnelle : Le coût computationnel moyen est d'environ 2,8 fois le coût du modèle de base. Cependant, comme la majorité des instances (environ 62 %) sont confiantes et contournent l'exploration, et que les chemins sont parallélisables, la latence dans le pire des cas reste équivalente à un seul passage avant.

5. Importance et revendications

L'article revendique que UTTSI établit l'inférence sélective au moment du test comme une direction principielle et complémentaire aux avancées de la phase d'entraînement. En différant l'allocation de calcul supplémentaire jusqu'à l'observation de l'instance réelle, le cadre maximise le retour sur les paramètres déjà entraînés. Il traite spécifiquement le « fossé de fiabilité » dans la prédiction du CTR causé par la parcimonie des caractéristiques, offrant une solution à la fois efficace pour améliorer la précision des prédictions et réalisable pour un déploiement industriel en raison de sa surcharge gérable et de sa nature parallélisable. Les auteurs soulignent que cette approche ne concurrence pas les optimisations de phase d'entraînement, mais les renforce plutôt en adaptant le comportement d'inférence à la fiabilité spécifique de chaque instance d'entrée.