SOLARIS: Speculative Offloading of Latent-bAsed Representation for Inference Scaling

Le framework SOLARIS, inspiré du décodage spéculatif, permet le déploiement en temps réel de modèles de recommandation complexes chez Meta en précalculant de manière asynchrone les représentations latentes des interactions utilisateur-article, ce qui a permis d'augmenter les revenus de 0,67 % sans compromettre la qualité du service.

L'essentiel

🌟 Le Problème : Le Dilemme du "Chef Cuisinier" vs. Le "Service Rapide"

Imaginez que Meta (Facebook, Instagram) possède un super-chef cuisinier (le Foundation Model ou Modèle de Base). Ce chef est un génie : il connaît des milliards de recettes, comprend les goûts de chaque client au millimètre près et peut créer le plat parfait.

Cependant, ce chef est très lent. Il prend des heures pour préparer un seul plat.

Dans le monde réel, des millions de clients arrivent chaque seconde et veulent commander immédiatement. Si on attend que le chef prépare tout, la file d'attente sera interminable et personne ne mangera.

Pour résoudre ce problème, les restaurants utilisent généralement des cuisiniers juniors (les Vertical Models ou Modèles Verticaux). Ils sont rapides, mais ils ne savent pas cuisiner aussi bien que le chef. Pour les aider, on leur donne parfois une "recette simplifiée" (ce qu'on appelle la distillation de connaissances), mais c'est comme donner un dessin de plat au lieu du vrai plat : le résultat est bon, mais pas excellent.

🚀 La Solution : SOLARIS (Le "Pré-commande" Intelligent)

L'équipe de Meta a inventé SOLARIS. Imaginez que c'est un système de commande anticipée ultra-intelligent.

Au lieu d'attendre que le client arrive pour demander au chef de cuisiner, SOLARIS devine ce que les clients vont commander dans les minutes à venir et fait préparer les plats à l'avance par le chef, dans un coin calme de la cuisine (en arrière-plan).

Voici comment cela fonctionne, étape par étape :

1. La Prédiction (Le "Devin")

SOLARIS utilise un petit détecteur (le Verifier Model) pour dire : "Tiens, ce client a l'air d'aimer les pizzas, et il va probablement regarder cette publicité de pizza dans 30 secondes."
Au lieu d'attendre l'ordre, le chef prépare déjà l'analyse de cette pizza pour ce client spécifique. C'est ce qu'on appelle le pré-calcul spéculatif.

2. Le Stockage (La "Cave à Plats")

Ces analyses préparées à l'avance sont stockées dans une cave (un cache rapide). Quand le client arrive réellement et commande, le serveur (le modèle rapide) n'a plus qu'à aller chercher le plat déjà prêt dans la cave.

• Résultat : Le client reçoit son plat (la recommandation) instantanément, mais avec la qualité du grand chef.

3. Le Plan B (Si le plat n'est pas prêt)

Parfois, le chef n'a pas pu préparer le plat à l'avance (parce que le client a changé d'avis ou c'est un nouveau client). Que fait-on ?

• Option A (Le "Plateau de l'ami") : On prend les plats que le chef a préparés pour les autres clients qui ont des goûts similaires, et on les adapte légèrement.
• Option B (Le "Plateau moyen") : On prend tous les plats que ce client a aimés récemment, on les mélange, et on en fait un nouveau plat approximatif.

C'est ce qu'on appelle l'enrichissement hiérarchique. Même si le plat exact n'est pas prêt, on donne quand même au serveur quelque chose de très proche de la perfection, au lieu de rien du tout.

🏆 Les Résultats : Pourquoi c'est une révolution ?

Grâce à ce système, Meta a pu utiliser son "Super-Chef" pour des milliards de commandes par jour, sans ralentir le service.

• Plus de qualité : Les recommandations sont beaucoup plus précises. Les gens voient des publicités qui les intéressent vraiment.
• Plus d'argent : Cela a généré 0,67 % de revenus en plus pour la publicité. Pour Meta, cela représente environ 100 millions de dollars de plus par an !
• Moins de gaspillage : On ne perd plus le savoir du grand chef. Avant, on devait le "simplifier" pour le rendre utilisable. Maintenant, on utilise son savoir directement, mais de manière intelligente.

🧠 En Résumé

SOLARIS, c'est comme avoir un assistant personnel qui devine vos envies avant même que vous ne les formuliez, et qui prépare tout pour que vous puissiez obtenir le meilleur service possible, instantanément.

C'est une façon de dire : "Pourquoi attendre que le génie travaille pendant que vous attendez ? Faisons-le travailler pendant que vous dormez ou que vous faites autre chose, pour que tout soit prêt quand vous en aurez besoin."

Résumé technique

Titre : SOLARIS : Déchargement Spéculatif de Représentations Latentes pour la Mise à l'Échelle de l'Inférence

1. Le Problème : Le Dilemme des Modèles de Fondation (Foundation Models)

Les systèmes de recommandation modernes (RecSys) bénéficient de l'essor des Modèles de Fondation (FM), qui offrent une capacité de modélisation sans précédent et une personnalisation accrue grâce à l'apprentissage sur des données massives et hétérogènes. Cependant, leur déploiement en production pose deux défis majeurs :

• Coût computationnel : La complexité des FM rend leur exécution en temps réel (latence critique) impraticable pour des milliards de requêtes quotidiennes.
• Limites du Knowledge Distillation (Distillation de Connaissances) : Pour contourner ce problème, l'industrie se tourne vers la distillation (transfert de connaissances d'un modèle "professeur" vers un modèle "élève" plus petit). Cette méthode traditionnelle souffre de deux goulots d'étranglement :
  1. Ratio de transfert faible : La distillation basée sur des "soft labels" (distributions de probabilité) ne transfère que 20 à 25 % des connaissances, limitant l'amélioration des performances.
  2. Disponibilité limitée : Le transfert ne se produit que lors de l'entraînement, manquant l'opportunité d'exploiter les connaissances du FM au moment de l'inférence (serving).

2. Méthodologie : L'Approche SOLARIS

SOLARIS propose un cadre novateur inspiré du décodage spéculatif (utilisé dans les LLM) pour permettre un transfert de connaissances en temps réel sans pénalité de latence. L'architecture repose sur trois piliers techniques :

A. Transfert Direct par Embedding (Direct Embedding-based Transfer)
Au lieu de transférer des étiquettes de sortie (soft labels), SOLARIS transfère directement les représentations latentes (embeddings) des interactions utilisateur-item extraites de la dernière couche partagée du FM. Ces embeddings contiennent une connaissance riche et généralisable sur les interactions, offrant un ratio de transfert bien supérieur aux méthodes traditionnelles.

B. Précalcul Spéculatif Asynchrone (Speculative Embedding Precomputation)
Pour éviter de calculer les embeddings du FM en temps réel (ce qui serait trop lent), SOLARIS utilise une approche asynchrone :

• Prédiction des besoins : Un service en arrière-plan prédit quelles paires (utilisateur, item) sont susceptibles d'apparaître dans les futures requêtes.
• Mécanisme de Vérificateur : Un modèle léger (le modèle vertical actuel) agit comme un "vérificateur" pour filtrer les candidats. Seules les paires ayant un score de pertinence élevé sont sélectionnées pour le précalcul.
• Cache et TTL : Les embeddings générés sont stockés dans un cache distribué avec une durée de vie (TTL) de quelques heures. Lors de l'inférence, le modèle vertical consomme ces embeddings précalculés comme des features supplémentaires. Si une paire n'est pas dans le cache, des zéros servent de placeholder.

C. Enrichissement Hiérarchique des Features (Hierarchical Feature Enrichment)
Pour pallier le problème de couverture (toutes les paires ne peuvent pas être précalculées), SOLARIS implémente deux stratégies de repli :

1. Embedding Agrégé Utilisateur : Si l'embedding spécifique (User-Item) manque, le système agrège les embeddings des interactions récentes de l'utilisateur (sur les 24h) pour créer un "User-only embedding".
2. Embedding Basé sur la Similarité : En cas d'absence, le système utilise un tableau de clustering précalculé (via KNN) pour trouver des utilisateurs similaires. Il récupère alors les embeddings des interactions de ces voisins pour les imputer à l'utilisateur cible.

3. Contributions Clés

• Découplage Inférence/Calcul : SOLARIS sépare le calcul coûteux du FM du chemin critique de latence, permettant d'utiliser des modèles trop lourds pour l'online.
• Ratio de Transfert Élevé : Passage d'un transfert de ~25% (distillation classique) à 42-44% grâce au transfert direct d'embeddings.
• Couverture Étendue : Grâce aux stratégies d'enrichissement hiérarchique, la couverture des features passe d'environ 40-50% (précalcul direct) à 85-90% (avec agrégation et similarité).
• Intégration Transparente : Le framework s'intègre aux pipelines de ranking existants (Meta) sans modifier la latence de service.

4. Résultats Expérimentaux

Déployé sur le système publicitaire de Meta (des milliards de requêtes quotidiennes), SOLARIS a démontré des résultats significatifs :

• Amélioration des Métriques de Modèles Verticaux :
  • Réduction du Log Loss (BCE) de 0,05% à 0,10% sur diverses tâches (CTR et CVR) pour Facebook Feed, Reels et Instagram.
  • Amélioration de la précision des prédictions de clics et de conversions, y compris pour des tâches auxiliaires (ex: clics sur liens Instagram).
• Impact Business :
  • Gain de 0,67% sur les revenus publicitaires mondiaux (estimé à l'échelle de 100 millions de dollars).
  • Augmentation de la couverture des features de 30% grâce aux stratégies d'enrichissement.
• Efficacité du Transfert : Le ratio de transfert de connaissances est doublé par rapport aux approches de distillation précédentes.

5. Signification et Impact

SOLARIS représente une avancée majeure pour l'industrie des systèmes de recommandation à grande échelle. Il résout le compromis historique entre la qualité du modèle (modèles complexes) et l'efficacité opérationnelle (latence et coût).

• Nouveau Paradigme : Il démontre que les connaissances des modèles de fondation peuvent être exploitées non seulement à l'entraînement, mais aussi dynamiquement à l'inférence via des mécanismes spéculatifs.
• Scalabilité : La capacité à gérer des milliards de requêtes tout en intégrant des représentations riches de FM ouvre la voie à une personnalisation plus fine et plus intelligente dans les applications grand public.
• Limites et Perspectives : Bien que performant, le système est actuellement limité à la phase finale de ranking (final stage). Les auteurs travaillent à étendre cette couverture aux phases de récupération (retrieval) où le volume de candidats est 100 fois plus élevé, et à explorer des stratégies de similarité Ad-to-Ad (A2A).

En résumé, SOLARIS permet de "libérer" le potentiel des modèles de fondation pour le service en ligne, transformant des modèles autrefois jugés trop coûteux en actifs stratégiques pour l'optimisation des revenus publicitaires.