💬 NLP

Efficient LLM-based Advertising via Model Compression and Parallel Verification

Ce papier propose un cadre de ciblage génératif efficace qui combine une quantification de groupe adaptative, une parcimonie hiérarchique adaptative aux couches et une vérification parallèle par arbre de préfixes pour accélérer significativement l'inférence des LLM pour les applications publicitaires en temps réel tout en maintenant une qualité de génération acceptable.

Auteurs originaux : Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant brillant et ultra-intelligent (un modèle de langage de grande taille, ou LLM) qui excelle dans la rédaction de publicités et la sélection des produits parfaits pour les clients. Le problème, c'est que cet assistant ressemble à une immense et lourde encyclopédie : il faut beaucoup de temps pour feuilleter les pages afin de trouver une réponse, et il nécessite une quantité massive d'énergie pour fonctionner. Dans le monde dynamique de la publicité en ligne, où une réponse est requise en une fraction de seconde, cette approche de « lourde encyclopédie » est trop lente et trop coûteuse.

Les auteurs de cet article, issus de Baidu, ont conçu un nouveau système pour rendre cet assistant plus rapide et plus léger sans le rendre moins intelligent. Ils y sont parvenus grâce à deux astuces principales : réduire la taille de l'assistant et lui fournir une carte de raccourcis.

Astuce 1 : Réduire la taille de l'assistant (Compression de modèle)

Imaginez le modèle d'IA comme une immense bibliothèque de connaissances. La plupart des livres de cette bibliothèque sont rarement utilisés, et certaines pages ne contiennent que des chiffres qui ne changent guère.

Le « conditionnement intelligent » (Quantification) : Imaginez que vous avez une valise remplie de photos lourdes en haute définition (les données originales). Au lieu de transporter les originaux lourds, l'équipe a trouvé le moyen de les compresser en JPEG plus petits et plus légers (nombres de précision inférieure) sans perdre la clarté de l'image. Ils n'ont pas simplement compressé tout de la même manière ; ils ont été « adaptatifs ». Ils ont emballé les parties les plus importantes et les plus sensibles de la bibliothèque avec beaucoup de soin, mais ont compressé les parties moins importantes de manière plus agressive. Cela a transformé la lourde valise en un sac à dos léger.
La stratégie de l'« étagère vide » (Éparsité) : Imaginez que la bibliothèque possède des milliers d'étagères vides. L'équipe a décidé de retirer les livres des étagères que personne ne visite jamais. Ils n'ont pas simplement retiré des livres au hasard ; ils ont examiné quelles étagères étaient critiques (les couches « sensibles ») et les ont laissées pleines, tout en vidant les moins importantes. Cela a rendu la bibliothèque beaucoup plus petite et plus rapide à parcourir.
L'outil personnalisé : Pour s'assurer que ces étagères compressées et vidées pouvaient toujours être lues rapidement, ils ont construit un « scanner » personnalisé (un noyau informatique spécialisé) capable de lire ces livres légers et épars beaucoup plus vite que les outils standards.

Astuce 2 : La carte de raccourcis (Vérification parallèle par arbre de préfixes)

Habituellement, lorsque l'IA génère une publicité, elle l'écrit mot par mot, comme une personne qui tape lentement une phrase. « Je... aime... cette... voiture... ». C'est lent.

La carte en arbre : L'équipe a organisé toutes les options publicitaires possibles dans une immense structure arborescente ramifiée (comme un arbre généalogique ou un arbre de décision). Le sommet de l'arbre est large (de nombreuses options), mais à mesure que vous descendez, les branches se rétrécissent pour ne garder que les choix les plus probables.
La course « deviner et vérifier » : Au lieu d'écrire un mot à la fois, l'IA examine maintenant l'arbre entier. Elle fait une « devinette » sur plusieurs mots à la fois (décodage parallèle), puis vérifie rapidement si ces devinettes ont du sens sur la carte.
Le commutateur de timing : La partie la plus intelligente consiste à savoir quand utiliser ce raccourci. Le système calcule constamment : « Est-il plus rapide d'écrire mot par mot, ou de deviner un grand nombre de mots et de les vérifier ? » Si la méthode de devinette et de vérification est plus rapide, il bascule instantanément dans ce mode. Cela permet à l'IA de « sauter » jusqu'à la fin de la phrase en une seule étape plutôt que d'y parvenir pas à pas.

Les Résultats

L'équipe a testé ce système dans deux scénarios réels :

Rédaction de créatifs publicitaires : Création de textes accrocheurs pour les publicités.
Publicité ciblée : Sélection de la bonne publicité pour un utilisateur spécifique.

Le résultat :

Vitesse : Le nouveau système était 1,8 fois plus rapide lors des tests réels. Dans certains tests spécifiques, l'accélération était encore plus élevée (plus de 78 % plus rapide).
Qualité : Malgré le fait d'être beaucoup plus léger et plus rapide, les publicités qu'il a générées étaient tout aussi bonnes que la version lourde et lente. La « qualité » (précision) n'a pas diminué de manière significative.
Utilisation réelle : Ce n'est pas seulement une théorie ; il a été déployé sur la véritable plateforme publicitaire de Baidu, gérant actuellement un trafic réel.

En résumé

L'article décrit une méthode pour transformer une IA lente et lourde en une version rapide et légère en comprenant sa mémoire (rendant les données plus petites) et en organisant son processus de pensée (utilisant une carte en arbre pour deviner plusieurs résultats à la fois). Le résultat est un système publicitaire qui délivre la bonne publicité à la bonne personne presque instantanément, sans sacrifier la qualité de la recommandation.

Résumé technique : Publicité efficace basée sur les LLM via compression de modèle et vérification parallèle

Énoncé du problème

L'intégration des grands modèles de langage (LLM) dans la publicité en ligne, spécifiquement pour le ciblage génératif (génération d'annonces de bout en bout en temps réel basée sur les requêtes utilisateurs), a introduit un dilemme significatif entre évolutivité et efficacité. Bien que les LLM offrent des capacités de généralisation et de raisonnement supérieures aux modèles discriminatifs traditionnels, leur nombre croissant de paramètres et leurs exigences strictes de latence en temps réel créent un goulot d'étranglement critique pour les performances.

Les recherches existantes se sont largement concentrées sur les optimisations côté précision (par exemple, stratégies d'entraînement, prompting) mais négligent souvent les optimisations côté efficacité. Cette omission est préjudiciable aux scénarios commerciaux sensibles au temps comme la diffusion d'annonces en ligne, où une latence d'inférence élevée et des coûts de calcul rendent les déploiements standards de LLM peu pratiques. Le défi central consiste à optimiser la vitesse d'inférence sans compromettre la qualité ou la précision des recommandations.

Méthodologie

Les auteurs proposent un cadre complet comprenant deux composants principaux : la compression de modèle et la vérification parallèle basée sur un arbre de préfixes.

1. Compression de modèle

Ce composant vise à réduire la taille du modèle et la surcharge de calcul grâce à une combinaison de quantification et de parcimonie, optimisée pour les charges de travail GEMV (multiplication matrice-vecteur générale).

Quantification adaptative par groupes : Au lieu d'utiliser des stratégies de regroupement prédéterminées, les auteurs proposent une méthode adaptative qui ajuste la granularité de la quantification à la sensibilité des couches linéaires individuelles.
- Couches/canaux sensibles : Allouent davantage de groupes pour une quantification plus fine (minimisation de l'erreur).
- Couches/canaux non sensibles : Allouent moins de groupes pour réduire la surcharge de calcul.
- Cette approche compresse le modèle de FP16 à INT4.
Parcimonie semi-structurée adaptative par couche : Le cadre emploie une stratégie d'élagage $N:M$ $N : M$ par couche basée sur l'importance relative des paramètres.
- Les couches critiques conservent une densité plus élevée (par exemple, parcimonie 2:4).
- Les couches moins significatives sont élaguées plus agressivement (par exemple, parcimonie 1:4).
- L'importance des éléments de poids est quantifiée à l'aide d'un développement de Taylor du second ordre de l'erreur d'approximation, tenant compte à la fois de l'amplitude du poids et de la norme de l'activation d'entrée.
Noyau SparseGemv personnalisé : Pour répondre à la surcharge des données d'indexation parcimonieuses et de la bande passante mémoire, les auteurs ont développé un noyau personnalisé :
- Compression d'index : Ils ont introduit une structure 2bit-CSR à index compressé. Les index sont réorganisés, convertis en binaire et encodés (par exemple, hexadécimal) pour réduire la taille des index et des poids à 30 % de la taille CSR originale.
- Optimisation mémoire : Les activations sont déplacées de la mémoire locale vers la mémoire partagée en utilisant une disposition de données basée sur le mélange (shuffle) pour éliminer les conflits de banque. Le partage de données au niveau des blocs est utilisé pour améliorer l'efficacité du transfert HBM-vers-mémoire partagée.
- Optimisation computationnelle : Le noyau utilise l'instruction d'assemblage lop3.b32 pour une désquantification efficace INT4-vers-FP16 et optimise l'indexation CSR avec des opérations bit à bit pour un accès rapide.

2. Vérification parallèle par arbre de préfixes

Ce composant accélère le décodage en exploitant les modèles de données spécifiques des cibles publicitaires.

Construction d'arbre de préfixes : En utilisant un clustering hiérarchique (inspiré de l'index de recherche différentiable, DSI), les identifiants d'annonceurs en texte brut sont transformés en un arbre de préfixes (trie) structuré sémantiquement. L'arbre est large en haut et étroit en bas, réduisant l'espace de recherche des candidats au fur et à mesure que le décodage progresse.
Mécanisme de déclenchement dynamique : Le système détermine dynamiquement le moment optimal pour passer de la vérification séquentielle à la vérification parallèle. Il calcule le compromis entre la surcharge de la vérification parallèle et le temps requis pour les étapes autorégressives séquentielles, déclenchant le parallélisme lorsque le bénéfice prédit est maximisé.
Décodage basé sur l'arbre : Le processus implique :
1. La construction de séquences d'entrée via une recherche en profondeur (DFS) sur le trie.
2. Le décodage parallèle de ces séquences avec des contraintes basées sur l'arbre (chemins valides uniquement).
3. Recherche faisceau (Beam Search) : Utilisation d'une sommation logarithmique pour combiner les scores des nœuds parents avec les scores des tokens ( $T_{score}$ ) afin de calculer les scores des nœuds ( $B_{score}$ ), en sélectionnant les meilleures séquences.
4. La reconstruction de la séquence finale en retraçant les nœuds ayant les scores les plus élevés.

Contributions clés

L'article revendique les contributions spécifiques suivantes :

2bit-CSR à index compressé : Une structure de données optimisée pour la parcimonie mixte qui réduit la taille des index et des poids à 30 % de la taille CSR originale.
Noyau SparseGemv personnalisé : Un noyau accéléré par matériel supportant la multiplication de matrices parcimonieuses INT4, comblant une lacune laissée par les bibliothèques NVIDIA existantes (cuSPARSE/cuSparseLT) pour les opérations GEMV efficaces.
Quantification adaptative par groupes : Une stratégie de quantification novatrice qui améliore la flexibilité et la précision en ajustant les tailles de groupes en fonction de la sensibilité des couches.
Recherche faisceau contrainte par arbre de préfixes : Le premier flux de travail proposé combinant un décodage contraint par arbre de préfixes avec une recherche faisceau, spécifiquement appliqué aux tâches génératives dans le ciblage publicitaire.
Déploiement en production : Le cadre a été déployé sur la plateforme publicitaire de Baidu, desservant un trafic en temps réel.

Résultats expérimentaux

Le cadre a été évalué à l'aide du modèle ERNIE 1.5B sur deux scénarios : Génération de créatifs publicitaires et Publicité ciblée.

Publicité ciblée :
- Le cadre complet (Parcimonie + Quantification + Vérification d'arbre parallèle) a atteint un Rappel de 0,081 avec une longueur moyenne de 6, comparé à un rappel de base de 0,084.
- La combinaison des techniques a assuré une accélération significative tout en maintenant des niveaux de rappel acceptables adaptés au déploiement en ligne.
Génération de créatifs publicitaires :
- Évalué sur le jeu de données CSL (métadonnées de revues académiques).
- L'approche hybride (Parcimonie + Quantification) a atteint le meilleur compromis entre efficacité et qualité.
- Études d'ablation :
  - Quantification (INT4) : Réduction de la latence de 6,6 s à 4,8 s (accélération de 1,37×) avec un impact minimal sur les scores BLEU (0,4247 $\to$ 0,4178) et Meteor.
  - Parcimonisation (2:4) : Apport de gains modérés (accélération de 1,25×) avec une légère perte de qualité.
  - Parcimonisation agressive (1:4) : Apport d'une accélération élevée (1,43×) mais causant une dégradation notable de la qualité.
  - Combinaison (Parcimonie 2:4 + Quantification) : Atteint une accélération de 1,65× avec un score Meteor de 0,6195.
  - Combinaison (Parcimonie 1:4 + Quantification) : Atteint une accélération de 1,89× mais avec une baisse significative de la qualité.
  - Parcimonie mixte + Quantification : Atteint une accélération de 1,78× avec un score Meteor de 0,6127.
Déploiement réel :
- En production sur la plateforme publicitaire de Baidu, le système a atteint une accélération de plus de 1,8× dans des expériences réelles tout en maintenant une précision compétitive.

Importance et revendications

L'article positionne ce travail comme une solution pionnière au problème du « ciblage génératif » dans la publicité de recherche. Son importance réside dans :

Combler le fossé d'efficacité : Il adresse le goulot d'étranglement critique de la latence d'inférence dans les systèmes de recommandation améliorés par les LLM, rendant les approches génératives viables pour des environnements commerciaux stricts en temps réel.
Optimisation holistique : Contrairement aux travaux antérieurs se concentrant uniquement sur la précision ou une compression simple, ce cadre intègre des innovations algorithmiques (quantification adaptative, parcimonie hiérarchique) avec de l'ingénierie système de bas niveau (noyaux personnalisés, compression d'index) et une logique spécifique au secteur (construction d'arbres de préfixes).
Viabilité industrielle : Le déploiement réussi sur une plateforme publicitaire leader démontre que des stratégies agressives de compression de modèle et de vérification parallèle peuvent être appliquées à grande échelle sans sacrifier la qualité requise pour la diffusion commerciale d'annonces.

Les auteurs notent que si le cadre est hautement efficace pour le ciblage publicitaire commercial, ses stratégies d'optimisation sont adaptées aux modèles de données et aux contraintes spécifiques de ce domaine, suggérant qu'une adaptation supplémentaire serait nécessaire pour d'autres contextes d'application.