🤖 AI

One Size, Many Fits: Aligning Diverse Group-Wise Click Preferences in Large-Scale Advertising Image Generation

Ce document introduit OSMF, un cadre unifié qui remédie aux limites de la génération d'images publicitaires universelles en regroupant dynamiquement les utilisateurs et en employant un grand modèle de langage multimodal sensible aux groupes avec un ajustement fin par Group-DPO pour aligner les diverses préférences de clic par groupe, atteignant ainsi des performances de pointe tant dans les mesures hors ligne qu'en ligne.

Auteurs originaux : Shuo Lu, Haohan Wang, Wei Feng, Weizhen Wang, Shen Zhang, Yaoyu Li, Ao Ma, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Bing Zhan, Yuan Xu, Huizai Yao, Yongcan Yu, Chenyang Si, Jian Liang

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuo Lu, Haohan Wang, Wei Feng, Weizhen Wang, Shen Zhang, Yaoyu Li, Ao Ma, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Bing Zhan, Yuan Xu, Huizai Yao, Yongcan Yu, Chenyang Si, Jian Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez un immense panneau publicitaire numérique qui affiche des publicités à des millions de personnes. Par le passé, la stratégie était celle du « Taille unique » (One Size Fits All). Vous créiez une publicité parfaite pour une paire de chaussures et vous la montriez à tout le monde. L'objectif était d'obtenir le plus grand nombre total de clics.

Mais voici le problème : tout le monde n'aime pas la même chose.

Un adolescent pourrait adorer une publicité pour des chaussures avec un arrière-plan de skate-park urbain et brut.
Un grand-parent pourrait préférer les mêmes chaussures dans un cadre de jardin propre et ensoleillé.
Si vous montrez la publicité « skate-park » au grand-parent, il ne cliquera pas. Si vous montrez la publicité « jardin » à l'adolescent, il ne cliquera pas non plus.

Le document présente un nouveau système appelé OSMF (One Size, Many Fits — Une taille, plusieurs adaptations) pour corriger cela. Au lieu de créer une seule publicité pour tout le monde, il crée une publicité unique pour des groupes spécifiques de personnes, le tout à partir d'un même cerveau informatique.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le « Groupement Intelligent » (PAAG)

L'analogie : Imaginez un organisateur de fêtes qui ne se contente pas de trier les invités par âge ou par sexe. Au lieu de cela, il regarde le menu (le produit) et les invités ensemble.

Si le produit est un smartphone, l'organisateur réalise que les hommes et les femmes peuvent avoir des goûts très différents.
Si le produit est une chaussure de course, l'organisateur réalise que l'âge importe plus que le genre.
Ce que fait le papier : Le système utilise un outil appelé PAAG (Product-Aware Adaptive Grouping — Groupement Adaptatif Sensible au Produit). Il examine le produit et l'historique de l'utilisateur pour trier dynamiquement les gens dans les bons « clubs ». Il n'utilise pas de règles rigides ; il comprend que, « pour ce produit spécifique, ces 50 000 personnes veulent en réalité la même chose ».

2. Le « Super-Traducteur » (G-MLLM)

L'analogie : Pensez à un chef cuisinier expert qui peut cuisiner pour toute une foule, mais qui ne prépare habituellement qu'une seule grande marmite de soupe. Le nouveau système est comme un chef capable de changer instantanément de recette en fonction de qui est assis à la table.

Le système utilise un G-MLLM (Group-aware Multimodal Large Language Model — Grand Modèle de Langage Multimodal Sensible au Groupe). C'est une IA super intelligente qui comprend à la fois le texte et les images.
Avant de commencer à cuisiner, elle est « pré-entraînée » pour comprendre les « saveurs » (préférences) spécifiques de chaque groupe. Elle apprend que le Groupe A aime les « couleurs vives » et que le Groupe B préfère les « styles minimalistes ».

3. Le « Test de Goût » (Group-DPO)

L'analogie : Imaginez que le chef prépare deux versions d'un plat. Un groupe de dégustateurs (un modèle de récompense) les essaie et dit : « Le Groupe A a adoré la version épicée, mais le Groupe B a détesté ».

Le système utilise une technique appelée Group-DPO. Il ne demande pas seulement : « Quelle image est la meilleure ? » Il demande : « Quelle image est la meilleure pour ce groupe spécifique ? »
Il compare deux publicités pour le même produit. Si la publicité « urbaine » obtient plus de clics auprès du groupe des adolescents, l'IA apprend à créer plus de publicités « urbaines » pour eux. Si la publicité « jardin » gagne auprès des seniors, elle apprend cela aussi.
Cela garantit que l'IA ne se laisse pas confondre par des goûts contradictoires. Elle apprend à être un caméléon, changeant son style pour chaque groupe.

4. Le « Livre de Recettes Massif » (Jeu de données GAIP)

L'analogie : Pour apprendre à un chef comment cuisiner pour 40 millions de personnes, vous avez besoin d'un livre de recettes massif avec de vrais retours.

Les chercheurs n'ont pas trouvé de livre public contenant autant de données, alors ils ont écrit le leur.
Ils ont créé GAIP, un jeu de données contenant 40 millions d'utilisateurs et 600 000 groupes distincts. C'est comme avoir l'enregistrement de ce sur quoi 600 000 types de personnes différentes ont cliqué lorsqu'elles ont vu 40 millions de publicités différentes. C'est la première fois qu'une « carte de préférences » aussi vaste et détaillée est rendue publique.

Le Résultat

Lorsqu'ils ont testé ce système :

Hors ligne (Simulations) : Il a prédit les clics mieux que toute méthode précédente.
En ligne (Monde réel) : Lorsqu'ils ont réellement montré les publicités sur un site majeur de commerce électronique, l'approche « Une taille, plusieurs adaptations » a généré nettement plus de clics que les anciennes méthodes « Taille unique ».

En bref : Le papier affirme : « Arrêtez d'essayer de plaire à tout le monde avec une seule publicité. Utilisez un groupement intelligent pour comprendre qui aime quoi, entraînez une super-IA pour comprendre ces groupes spécifiques, et générez des publicités personnalisées pour chacun d'eux. Cela fonctionne mieux, et nous avons les données pour le prouver. »

Résumé technique : One Size, Many Fits (OSMF)

Énoncé du problème

Les systèmes actuels de génération d'images publicitaires à grande échelle reposent principalement sur une stratégie de type « taille unique » (one-size-fits-all), optimisant un taux de clic (CTR) agrégé unique pour l'ensemble de la base d'utilisateurs. Bien que des avancées récentes aient intégré le CTR comme signal de récompense dans l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF), cette approche ne parvient pas à prendre en compte l'hétérogénéité substantielle des préférences entre les différents groupes d'utilisateurs.

Comme indiqué dans l'introduction, traiter les préférences globales des utilisateurs comme universellement applicables conduit à des performances sous-optimales pour des segments démographiques spécifiques. Par exemple, les préférences pour les publicités de smartphones peuvent différer considérablement selon le genre, tandis que les publicités de chaussures peuvent varier davantage selon l'âge. Un modèle unifié tentant de satisfaire simultanément ces préférences conflictuelles (par exemple, des arrière-plans de « scènes naturelles » contre des « terrains de sport ») génère souvent des images qui ne parviennent pas à engager des groupes spécifiques, limitant ainsi l'efficacité du marketing ciblé et gaspillant les budgets publicitaires. De plus, les approches existantes de RLHF par groupe font face à deux défis critiques : (1) une limitation de la scalabilité du regroupement d'utilisateurs, où les regroupements statiques basés sur des attributs fixes ne peuvent pas s'adapter à diverses catégories de produits ; et (2) des conflits de préférences dans la modélisation unifiée, où les modèles à sortie unique peinent à résoudre les contradictions de préférences d'images.

Méthodologie : Le cadre OSMF

Pour répondre à ces limites, les auteurs proposent One Size, Many Fits (OSMF), un cadre unifié conçu pour aligner les diverses préférences de clics par groupe. Le cadre se compose de deux étapes principales :

1. Regroupement adaptatif sensible au produit (PAAG)

Le PAAG remplace le regroupement d'utilisateurs statique et rigide par une approche dynamique qui intègre les attributs des utilisateurs aux caractéristiques des produits.

Modélisation des préférences des utilisateurs : Le système modélise le comportement de clic des utilisateurs via trois branches : les attributs de l'utilisateur ( $A$ ), les images publicitaires ( $I$ ) et les titres de produits ( $T$ ). Il utilise des encodeurs pour extraire les caractéristiques sémantiques des images et du texte. Crucialement, il utilise des mécanismes d'attention croisée pour créer des représentations d'utilisateurs sensibles au produit ( $e_{u|t}$ et $e_{u|c}$ ), permettant aux caractéristiques de l'utilisateur d'être attentives à la sémantique et aux caractéristiques visuelles spécifiques du produit.
Agrégation des caractéristiques de groupe : Les utilisateurs sont regroupés sur la base de ces plongements (embeddings) sensibles au produit en utilisant K-Means. Pour capturer la diversité intra-groupe plutôt que de s'appuyer sur un seul centroïde, le PAAG construit des représentations collectives riches ( $G_{s,k}$ ) en échantillonnant plusieurs points représentatifs de la distribution du groupe (incluant le centroïde et des points périphériques à différents percentiles). Cela garantit que la caractéristique de groupe encapsule à la fois les traits fondamentaux et les variations subtiles.

2. Génération d'images conditionnée par la préférence (PCIG)

Le PCIG exploite les groupes dérivés du PAAG pour générer des images sur mesure via un Grand Modèle de Langage Multimodal sensible au groupe (G-MLLM).

Architecture du G-MLLM : Le modèle intègre les informations de groupe en préfixant un jeton de groupe ( $e_{G_{s,k}}$ $e_{G_{s, k}}$ ) à la séquence d'entrée standard. Il subit un pré-entraînement spécialisé sur quatre tâches :
1. Analyse de groupe : Décrire les profils d'utilisateurs typiques en langage naturel.
2. Prédiction de comportement : Prédire les futurs cliqueurs sur la base des cliqueurs existants.
3. Compréhension de produit : Prédire les titres de produits à partir d'images.
4. Génération de prompts : Créer des prompts d'images adaptés à des utilisateurs spécifiques.
Alignement des préférences par groupe (Group-DPO) : Pour aligner le modèle avec l'engagement réel, les auteurs introduisent un Modèle de Récompense Sensible au Groupe (GRM). Le GRM évalue des paires d'images publicitaires conditionnées par des plongements de groupes spécifiques pour prédire la performance relative du CTR. À l'aide de ces paires de préférences, le G-MLLM est affiné via l'Optimisation Directe de Préférence par Groupe (Group-DPO). Ce processus maximise la probabilité de générer des prompts qui produisent un CTR plus élevé pour des groupes cibles spécifiques, résolvant efficacement les conflits de préférences inter-groupes sans nécessiter de modèles distincts pour chaque groupe.

Contributions clés

L'article présente trois contributions principales :

PAAG : Un mécanisme de regroupement d'utilisateurs dynamique qui apprend des préférences sensibles au produit et dérive des caractéristiques collectives riches grâce à un regroupement adaptatif et un échantillonnage de caractéristiques, surmontant les limites du regroupement statique dans les scénarios à grande échelle.
PCIG : Un cadre de génération conditionné par la préférence qui utilise un G-MLLM pré-entraîné et le Group-DPO pour permettre à un modèle unifié de générer des images sur mesure pour divers groupes d'utilisateurs tout en résolvant les conflits de préférences.
Jeu de données GAIP : L'introduction du jeu de données Grouped Advertising Image Preference (GAIP), le premier jeu de données public à grande échelle pour les préférences d'images par groupe. Il contient environ 600 000 groupes d'utilisateurs dérivés de 40 millions d'utilisateurs, fournissant des annotations de préférence par groupe exhaustives qui dépassent largement les jeux de données existants en termes d'échelle et de granularité.

Résultats expérimentaux

Les auteurs ont évalué l'OSMF via des expériences hors ligne et en ligne approfondies :

Modélisation des préférences (PAAG) : Comparé aux modèles de référence (CACS, WIYD, JAC), l'OSF a obtenu le NDCG@5 le plus bas (0,3066) et l'AUROC le plus élevé (0,6372), indiquant une capacité supérieure à distinguer les préférences distinctes des groupes et à modéliser les clics des utilisateurs.
Performance du CTR en ligne : Lors d'un test en ligne d'une semaine sur 10 000 produits à forte exposition, l'OSMF a réalisé une amélioration relative du CTR de 5,479 % par rapport à une ligne de base G-MLLM pré-entraînée et a surpassé la méthode de pointe CAIG (qui a progressé de 3,425 %). Cela démontre que la modélisation explicite des préférences au niveau du groupe produit de meilleurs résultats commerciaux qu'une optimisation agrégée.
Modélisation de la récompense : Le Modèle de Récompense Sensible au Groupe (GRM) a nettement surpassé les MLLM généralistes et les modèles de récompense CTR existants en précision de paire (une amélioration de 4,7 % par rapport à CAIG), validant l'importance du contexte de groupe dans l'estimation des préférences.
Analyse qualitative : Les résultats visuels ont montré que l'OSMF génère avec succès des images stylistiquement diverses (par exemple, vibrantes vs minimalistes) adaptées à des groupes d'utilisateurs spécifiques pour un même produit, confirmant sa capacité à s'adapter aux demandes hétérogènes.

Signification

L'article affirme que l'OSMF représente un changement significatif par rapport au paradigme « taille unique » dans la génération d'images publicitaires. En introduisant un cadre qui aligne dynamiquement les diverses préférences par groupe, il répond à l'inefficacité commerciale de la génération d'annonces génériques. Les auteurs soulignent que même des améliorations marginales du CTR se traduisent par des gains de revenus substantiels dans l'e-commerce à grande échelle. De plus, la publication du jeu de données GAIP est positionnée comme une ressource fondamentale pour les recherches futures sur la génération d'images sensible aux groupes, comblant une lacune critique dans la disponibilité de données de préférences de groupe réelles et à grande échelle. Ce travail démontre que l'équilibre entre la scalabilité et la personnalisation via l'optimisation par groupe est une voie viable et efficace pour la publicité à l'échelle industrielle.