Résumé Technique : Curriculum de Représentation pour un Classement et une Allocation Robustes

1. Énoncé du Problème

Les systèmes modernes de classement des places de marché numériques opèrent comme des mécanismes dynamiques d'allocation d'exposition. Ces systèmes reposent fortement sur des signaux endogènes, confondus par l'exposition (par exemple, les estimations de popularité, le CTR/CVR historique et les représentations basées sur l'ID), car ces signaux sont hautement prédictifs sous une demande approximativement stationnaire et expliquent une variance significative des résultats enregistrés.

Cependant, ce pouvoir prédictif crée une pathologie d'apprentissage :

• Apprentissage par raccourcis (Shortcut Learning) : L'accès précoce aux signaux de croyance dépendants de l'exposition lors de l'entraînement oriente la dynamique d'optimisation vers une dépendance excessive à ces signaux.
• Affamation de gradient (Gradient Starvation) : Dans l'apprentissage de classement (LTR) par paires ou par listes, les prédicteurs forts (croyances historiques) peuvent créer des écarts de scores importants tôt dans l'entraînement, provoquant la saturation de la fonction de perte. Cela supprime les gradients pour les indices plus faibles mais essentiels, spécifiquement les signaux de mérite indépendants de l'exposition (ex: compétitivité basée sur le contenu, affinité d'intention sémantique).
• Conséquences : La politique apprise tend à enraciner les acteurs établis, dégrade la généralisation au démarrage à froid (cold-start) et réduit la robustesse face aux changements de distribution. Cela mène à des boucles d'exposition auto-renforcées qui nuisent à la découverte, à l'équité et à la santé à long terme de la plateforme.

Les stratégies de mitigation existantes (apprentissage contrefactuel, façonnage de la supervision, contraction, contraintes architecturales et masquage stochastique) sont souvent agnostiques à la sémantique ou échouent à contrôler la manière dont la capacité d'apprentissage est allouée entre les groupes de caractéristiques au fil du temps.

2. Méthodologie : Curriculum de Représentation (RC)

Les auteurs proposent le Curriculum de Représentation (RC), une intervention de l'apprentissage temporellement étagée et sensible à la sémantique, visant à empêcher la dépendance aux raccourcis des signaux historiques.

Mécanisme Central

Le RC partitionne les caractéristiques en deux groupes sémantiques :

1. Signaux de mérite basés sur le contenu ($x_C$) : Disponibles indépendamment de l'exposition préalable (ex: attributs de l'article, affinité requête-article).
2. Signaux de croyance historique dépendants de l'exposition ($x_H$) : Dérivés des interactions passées (ex: CTR stabilisé, transactions historiques).

Le RC implémente un curriculum d'entraînement à deux étapes :

• Étape 1 (Contenu uniquement) : Le modèle est entraîné exclusivement sur les signaux basés sur le contenu ($x_C$), les signaux historiques étant masqués ($x_H = 0$). Cela force l'apprenant à développer une "voie de contenu" robuste, capable d'expliquer la variation des étiquettes sans dépendre des raccourcis historiques.
• Étape 2 (Complet + Ancrage) : Les signaux historiques ($x_H$) sont introduits. Cependant, l'optimisation est ancrée à la solution de l'Étape 1 pour préserver les représentations de contenu apprises. Ceci est réalisé via deux stratégies d'ancrage complémentaires :
  1. Ancrage de Prédiction (Cohérence Masquée) : Impose que les prédictions du modèle de l'Étape 2 sur les entrées masquées (où $x_H=0$) restent cohérentes avec le modèle de l'Étape 1.
  2. Ancrage de Paramètres (Protection de la Voie de Contenu) : Régularise explicitement les paramètres de la voie de contenu ($\theta_C$) pour qu'ils restent proches de leurs valeurs de l'Étape 1 ($\theta_C^{(1)}$).

La fonction de perte de l'Étape 2 combine la perte de la tâche primaire, la régularisation standard et les termes d'ancrage :
$$\mathcal{L}_{total} = \mathbb{E}[\mathcal{L}(f_\theta(x_C, x_H); y)] + \lambda \Omega(\theta) + \mu_1 \mathcal{L}_{pred}(\theta) + \mu_2 \mathcal{L}_{par}(\theta)$$

Agnosticisme du Modèle

Le RC est applicable à différentes classes d'hypothèses :

• Réseaux de Neurones : Implémenté dans des architectures à deux tours (two-tower) où la tour de contenu de l'article est ancrée.
• Arbres de Décision Boostés par Gradient (GBDT) : Implémenté en ajustant un ensemble initial d'arbres ($M$) en utilisant uniquement les caractéristiques de contenu, puis en poursuivant le boosting des arbres restants ($T-M$) en utilisant toutes les caractéristiques, en traitant la sortie de l'Étape 1 comme une marge de base fixe.

3. Garanties Théoriques

Les auteurs formalisent le RC dans un cadre de régression ridge linéaire gaussienne pour dériver des solutions en forme close et des conditions suffisantes vérifiables.

• Compromis de Pareto : L'analyse démontre que le RC permet un compromis quantifié entre la performance sur la distribution source enregistrée ($P$) et une distribution cible stratégique ($Q$) qui met l'accent sur les segments à démarrage froid ou sous-exposés.
• Bornes de Risque :
  • Performance Source : Le RC maintient un regret borné par rapport à un modèle complet standard (entraîné sur toutes les caractéristiques) sur la distribution source $P$.
  • Robustesse Cible : Le RC réduit significativement le risque de population sur la distribution cible $Q$ (spécifiquement dans les scénarios de "démarrage gelé" où $x_H$ est absent ou peu fiable).
• Conditions d'Amélioration : L'article fournit les conditions suffisantes sous lesquelles le RC réduit strictement le risque sur la distribution cible tout en restant compétitif sur la source. Ces conditions dépendent du conditionnement du complément de Schur de la matrice de covariance et de la marge entre le modèle complet et le modèle de contenu uniquement.

4. Résultats Expérimentaux

L'efficacité du RC est validée par des benchmarks publics et un déploiement en ligne à grande échelle :

• MSLR-WEB (Learning-to-Rank) : Le RC a réussi à réduire l'importance des caractéristiques des signaux de croyance historique hautement prédictifs. Ce changement a amélioré la qualité du classement pour les articles "froids" avec une dégradation minimale de la performance globale.
• MovieLens (Recommandation) : Dans un cadre de réseau à deux tours, le RC a orienté le modèle vers une dépendance plus forte aux caractéristiques de contenu. Cela a entraîné de meilleures performances en "démarrage gelé" (simulant des scénarios où les signaux historiques sont indisponibles).
• eBay Sponsored Search (Test A/B en ligne) : Une expérience randomisée dans un système de commerce électronique réel a montré qu'une politique entraînée via le RC :
  • A augmenté la vélocité d'exposition et de vente pour les nouvelles annonces (articles en démarrage à froid).
  • A maintenu des indicateurs clés de performance (KPI) agrégés neutres, indiquant que le passage vers le mérite basé sur le contenu n'a pas nui à l'efficacité globale du marché.

5. Signification et Revendications

L'article affirme que le Curriculum de Représentation offre un avantage distinct par rapport aux méthodes existantes en contrôlant explicitement la trajectoire temporelle de l'apprentissage plutôt que simplement l'objectif final ou la distribution des données.

• Conception de Mécanisme : Le RC agit comme un outil de conception de mécanisme qui aligne le processus d'apprentissage avec des objectifs de bien-être (ex: soutenir les nouveaux fournisseurs) sans sacrifier le pouvoir prédictif des données historiques.
• Robustesse : En empêissant le "raccourci" consistant à trop compter sur les signaux endogènes, le RC produit des politiques plus robustes aux changements de distribution et plus aptes à se généraliser aux sous-populations stratégiques (démarrage à froid).
• Praticité : La méthode est agnostique au modèle et s'intègre parfaitement dans les pipelines d'entraînement existants (neuraux et basés sur les arbres) avec des changements architecturaux minimaux, nécessitant seulement un calendrier d'entraînement étagé et des contraintes d'ancrage.

Les auteurs concluent que le RC déplace efficacement la dépendance des signaux de croyance historique vers les signaux de mérite basés sur le contenu, produisant des gains constants sur les populations à démarrage froid avec un compromis contrôlé sur la performance de la tête de distribution.