🤖 AI

Group Preference Collapse in Personalized Multimodal Large Language Models

Cet article présente PrefMoE, un cadre centré sur la préférence qui traite l'« effondrement de la préférence de groupe » dans les grands modèles de langage multimodaux personnalisés en décomposant les préférences en prototypes partagés et en résidus personnalisés, améliorant ainsi la génération de réponses individualisées tout en atténuant la dérive vers les choix dominants au niveau de la population.

Auteurs originaux : Fan Lyu, Wenqi Zhang, Joost van de Weijer

Publié 2026-07-28

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fan Lyu, Wenqi Zhang, Joost van de Weijer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous pénétriez dans une bibliothèque géante et magique où les livres peuvent vous répondre. Ce ne sont pas de simples livres ; ce sont des « Modèles de Langage de Grande Taille Multimodaux » (MLLM). Considérez-les comme des bibliothécaires super intelligents capables de voir des images, de lire du texte et de comprendre le monde qui les entoure. Habituellement, si vous leur posez une question, ils donnent une réponse très bonne et générale qui convient à presque tout le monde. Mais et si vous vouliez que le bibliothécaire vous connaisse vous spécifiquement ? Et si vous vouliez qu'il sache que vous détestez la nourriture épicée, que vous adorez la mode vintage et que vous préférez toujours la randonnée à la natation ? C'est l'objectif de l'IA « personnalisée » : faire en sorte que le modèle agisse comme un ami qui connaît vos goûts uniques, et non comme un robot qui connaît les goûts de la moyenne des gens.

Cependant, il y a un problème délicat lorsque vous essayez d'apprendre à un bibliothécaire à connaître des centaines de personnes différentes en même temps. Le document que vous allez lire plonge dans un recoin de l'informatique appelé « Modèles de Langage de Grande Taille Multimodaux Personnalisés ». Il s'attaque à un casse-tête spécifique : lorsque l'IA essaie d'apprendre les préférences de nombreux utilisateurs, elle se confond souvent et cesse d'écouter l'individu. Au lieu de se souvenir que vous aimez le jazz et que votre ami aime le rock, l'IA commence à penser que tout le monde aime le genre musical le plus populaire. C'est comme un serveur qui, après avoir servi trop de tables, décide de servir simplement le « plat le plus populaire » à tout le monde, oubliant que vous aviez spécifiquement commandé la salade. Ce document étudie pourquoi cela se produit et tente de le corriger pour que l'IA puisse enfin se souvenir de votre goût spécifique pour la vie.

Le Problème du Grand « Câlin Collectif »

Les auteurs de ce document ont découvert un bug qu'ils appellent « Effondrement de la Préférence de Groupe » (Group Preference Collapse). Imaginez une salle de classe où l'enseignant demande à chaque élève quelle est sa couleur préférée. Si l'enseignant est très bon, il se souvient qu'Alex aime le bleu, que Sam aime le vert et que Jordan aime le violet. Mais dans ce scénario d'« effondrement », l'enseignant est débordé. Il remarque que « Bleu » est la réponse la plus populaire dans la salle, alors il commence à supposer que tout le monde aime le bleu. Même si Sam lève la main et dit : « Non, j'aime vraiment le vert ! », l'enseignant se contente de hocher la tête et dit : « Très bien, tu aimes le bleu aussi. »

Dans le monde de l'IA, cela se produit lorsqu'un modèle tente d'apprendre de nombreux utilisateurs. Les préférences « bruyantes » ou communes (comme aimer le yoga ou porter des vêtements décontractés) étouffent les plus discrètes ou spécifiques. Le modèle devient insensible aux particularités individuelles et dérive vers le choix « moyen ». Le document montre que même si vous dites à l'IA : « Hé, je suis Anderson, et j'adore le jardinage », l'IA pourrait quand même deviner que vous préférez le yoga parce que, eh bien, beaucoup de gens dans les données d'entraînement aiment le yoga. Ce n'est pas que l'IA vous ignore ; c'est qu'elle a oublié comment écouter les signaux uniques qui font de vous vous.

La Solution : PrefMoE (Le Bibliothécaire Intelligent)

Pour corriger cela, les chercheurs ont construit un nouveau système appelé PrefMoE. Considérez cela comme si l'on donnait à l'IA un système de classement super organisé et un ensemble d'assistants spécialisés.

1. Séparer le « Qui » du « Quoi »
D'abord, le système divise les informations de l'utilisateur en deux compartiments différents.

Le Compartiment Profil (le « Qui ») : Il contient des faits stables sur vous, comme votre photo ou une description disant « Je suis un étudiant de 25 ans ». Ces faits ne changent pas beaucoup.
Le Compartiment Préférence (le « Quoi ») : Il contient vos goûts spécifiques, comme « J'adore la mode bohème » ou « Je déteste les films d'horreur ». Ce sont ces éléments qui vous rendent unique.

Les anciennes méthodes tentaient de tout mélanger dans un seul grand tas, ce qui causait le problème du « Câlin Collectif ». PrefMoE les garde séparés pour que l'IA ne soit pas confuse.

2. Le Prototype et le Résiduel (La Moyenne vs la Touche Particulière)
C'est ici que cela devient ingénieux. Le système réalise que tout le monde partage certains goûts communs (le « Prototype »). Par exemple, la plupart des gens peuvent aimer le « voyage ». Mais PrefMoE ne s'arrête pas là. Il cherche le « Résiduel » — la petite touche unique qui rend votre style de voyage différent. Peut-être que vous aimez voyager, mais que vous détestez spécifiquement le camping et que vous ne préférez que les croisières de luxe.

Le Prototype : « J'aime voyager. » (Partagé par beaucoup)
Le Résiduel : « Mais je ne préfère que les croisières de luxe. » (Unique à vous)

Le document a révélé que sans protection spéciale, l'IA a tendance à ignorer le « Résiduel » et à s'en tenir au « Prototype ». PrefMoE utilise une astuce mathématique spéciale appelée augmentation contrefactuelle. Imaginez l'IA créant des « utilisateurs fantômes » en mélangeant et associant les goûts de différentes personnes (par exemple, en prenant l'amour du jardinage d'Anderson et l'amour du yoga de Bella). En s'entraînant sur ces combinaisons fabriquées, l'IA apprend à prêter attention aux détails spécifiques plutôt qu'à la moyenne du groupe. Elle utilise également une technique de décorrélation, qui revient à dire à l'IA : « Hé, ne mélange pas tes préférences de voyage avec tes préférences de mode ; garde-les dans leurs propres boîtes. »

3. Les Assistants Spécialisés (Le Routeur MoE)
Enfin, PrefMoE utilise un système de « Mélange d'Experts » (Mixture of Experts - MoE). Imaginez que l'IA dispose d'une équipe de spécialistes. Lorsque vous posez une question, un « routeur » intelligent regarde ce que vous demandez et décide quel spécialiste appeler.

Si vous demandez : « Que porte cette personne ? », le routeur appelle le Spécialiste du Profil (qui regarde votre photo).
Si vous demandez : « Quelle activité cette personne apprécierait-elle ? », le routeur appelle le Spécialiste des Préférences (qui vérifie vos goûts et dégoûts spécifiques).

Cela garantit que l'IA ne se contente pas de deviner en fonction de ce qui est populaire ; elle récupère activement la bonne information sur vous pour la question spécifique.

Ce que disent les Chiffres

Les chercheurs ont testé ce nouveau système sur plusieurs modèles d'IA différents, incluant certains modèles très populaires comme LLaVA et Qwen. Ils ont comparé leur nouvelle méthode aux méthodes standards d'entraînement d'IA.

Les résultats ont été très clairs. Dans un test utilisant un modèle appelé LLaVA-1.5-7B, la méthode d'entraînement standard (Fine-Tuning Complet) a donné la bonne réponse environ 44,13 % du temps lorsqu'il s'agissait de deviner la préférence spécifique d'un utilisateur. Avec PrefMoE, ce chiffre est passé à 67,33 %.

Plus important encore, ils ont mesuré la fréquence à laquelle l'IA commettait l'erreur du « Câlin Collectif » (prédire le choix populaire au lieu du choix de l'utilisateur). La méthode standard s'est effondrée dans la préférence du groupe 34,25 % du temps. PrefMoE a réduit ce désastre à seulement 12,33 %. Dans les modèles les plus puissagers testés, PrefMoE a atteint une précision de 78,93 % tout en maintenant le taux d'effondrement à 10,96 %.

La Conclusion

Le document suggère que pour rendre l'IA véritablement personnelle, nous ne pouvons pas simplement lui donner plus de données ou lui dire d'être « plus intelligente ». Nous devons lui apprendre à séparer la foule générale de l'individu. En décomposant les informations de l'utilisateur en profils stables et préférences uniques, et en utilisant un système intelligent pour diriger les questions vers le bon « expert », nous pouvons empêcher l'IA de deviner ce que la majorité veut et commencer à l'aider à comprendre ce que vous voulez réellement.

Bien sûr, les auteurs admettent que ce n'est pas encore parfait. Si vous ne donnez pas d'instructions claires à l'IA concernant vos préférences, ou si l'image ne donne pas assez d'indices, l'IA pourrait quand même se tromper. Mais cette nouvelle approche suggère une voie prometteuse : une voie où le bibliothécaire numérique se souvient enfin que vous, spécifiquement, préférez le café-librairie calme plutôt que le concert bruyant.

Résumé Technique : Effondrement de la Préférence de Groupe dans les Grands Modèles de Langage Multimodaux Personnalisés

1. Définition du Problème : Effondrement de la Préférence de Groupe

L'article identifie un mode de défaillance critique dans les modèles de langage multimodaux (MLLM) personnalisés multi-utilisateurs, nommé Effondrement de la Préférence de Groupe (Group Preference Collapse). Alors que les MLLM personnalisés existants visent à générer des réponses spécifiques à l'utilisateur, ils reposent actuellement fortement sur des informations de profil stables (ex: démographie, portraits) et négligent souvent les préférences diversifiées et dépendantes du contexte.

Lorsqu'ils sont entraînés sur plusieurs utilisateurs avec des distributions de préférences déséquilibrées, ces modèles présentent deux échecs clés :

Représentation Supprimée : Pendant l'apprentissage de la représentation de l'utilisateur, les préférences individuelles rares et à faible fréquence sont absorbées par les motifs dominants au niveau de la population.
Génération Peu Fiable : Lors de l'inférence, même lorsque l'information de préférence est fournie comme condition, le modèle échoue à sélectionner l'indice de préférence pertinent pour la paire image-question spécifique. Au lieu de cela, il revient par défaut à des raisonnements génériques ou dominants au niveau de la population.

Par conséquent, le modèle dérive vers des choix globalement plausibles au niveau du groupe (ex: prédire « Yoga » pour tous les utilisateurs, quel que soit l'individu) plutôt que de refléter des choix fins et spécifiques à l'utilisateur.

2. Méthodologie : PrefMoE

Pour remédier à ces échecs, les auteurs proposent PrefMoE, un cadre centré sur les préférences conçu pour séparer les informations de profil stables des représentations liées aux préférences et assurer leur utilisation efficace lors de la génération. La méthode se compose de trois composants principaux :

A. Représentation Utilisateur Factorisée

PrefMoE décompose l'information utilisateur en facteurs distincts plutôt que de les compresser en un seul embedding :

Facteurs de Profil : Appris à partir de données utilisateur stables (images et descriptions textuelles) via un apprentissage contrastif pour aligner les modalités et séparer les utilisateurs.
Facteurs de Préférence : Représentés comme une décomposition de prototypes partagés (tendances de la population) et de résidus personnalisés (écarts spécifiques à l'utilisateur).
- Formule : $z^{pref}_{i,f} = \bar{z}_f + \Delta_{i,f}$ , où $\bar{z}_f$ est le prototype partagé pour la facette $f$ , et $\Delta_{i,f}$ est le résidu spécifique à l'utilisateur.

B. Apprentissage de Préférence Basé sur les Résidus

Pour empêcher les préférences minoritaires d'être absorbées par les motifs partagés, le cadre applique trois stratégies de régularisation aux résidus personnalisés ( $\Delta_{i,f}$ ) :

Contraste de Résidus Sensible au Déséquilibre : Une perte contrastive qui rapproche les utilisateurs ayant la même préférence de facette sous un contexte visuel-questionnel spécifique. Elle utilise un mécanisme de repondération (inspiré de la focal loss) pour attribuer des poids plus élevés aux groupes de préférences à faible fréquence, garantissant qu'ils reçoivent une supervision suffisante.
Augmentation de Pseudo-Utilisateur Contrefactuel : Pour briser les corrélations fallacieuses entre les groupes d'utilisateurs et les préférences dominantes, la méthode construit des « pseudo-utilisateurs » en recombinant des entrées de préférences provenant de différents utilisateurs réels à travers les facettes. Ces pseudo-utilisateurs sont utilisés dans l'objectif contrastif pour encourager les résidus à s'aligner sur la sémantique des préférences plutôt que sur les identités originales des groupes d'utilisateurs.
Décorrélation des Résidus de Préférence : Des contraintes souples sont imposées pour garantir que les résidus entre différentes facettes ne soient pas redondants et que les résidus capturent les écarts au-delà du prototype partagé, évitant ainsi l'enchevêtrement.

C. Routage MoE Hiérarchique Factorisé

Pour garantir que ces facteurs appris soient utilisés lors de la génération, PrefMoE introduit un routeur Mixture-of-Experts (MoE) hiérarchique basé sur LoRA (Low-Rank Adaptation) :

Experts Séparés : Les facteurs de profil (image et description) et les facteurs de préférence (spécifiques à la facette) sont routés vers des experts LoRA distincts.
Routage Dépendant de la Requête :
- Un Routeur de Préférence sélectionne les facettes de préférence pertinentes en fonction de la requête actuelle.
- Un Routeur de Profil sélectionne la source de profil la plus utile (image vs description).
- Un Routeur de Branche fusionne de manière adaptative les mises à jour conscientes du profil et de la préférence en fonction de la représentation de la requête.
  Cette structure garantit que le modèle sélectionne dynamiquement les facteurs utilisateurs appropriés pour la question visuelle spécifique, plutôt que de s'appuyer sur une condition unique et mixte.

3. Contributions Clés

L'article apporte trois contributions principales :

Identification du Mode de Défaillance : Il définit formellement l'« effondrement de la préférence de groupe » comme un problème critique où les préférences dominantes de la population suppriment les signaux individuels, même lorsqu'une information utilisateur explicite est disponible.
Cadre PrefMoE : Il propose un nouveau cadre qui combine l'apprentissage de facteurs de préférence par résidus avec un routage hiérarchique factorisé. Cette approche préserve les décalages de préférence individualisés et active dynamiquement les chemins d'adaptation conscients du profil et de la préférence.
Validation Empirique : Des expériences approfondies sur plusieurs backbones de MLLM (LLaVA, DeepSeek-VL, Qwen) démontrent que PrefMoE améliore systématiquement la personnalisation sensible aux préférences et réduit considérablement l'effondrement des préférences par rapport au fine-tuning complet et aux autres bases de référence personnalisées.

4. Résultats Expérimentaux

Les expériences ont été menées sur MMPB-Clean, une division curatée du benchmark MMPB contenant des requêtes multimodales sur 50 utilisateurs et six facettes de préférence (divertissement, voyage, style de vie, shopping, mode).

Gains de Performance : Sur le backbone LLaVA-1.5-7B, PrefMoE a amélioré la précision des préférences de 44,13 % (Full Fine-Tuning) à 67,33 % et a réduit le taux d'effondrement des préférences de 34,25 % à 12,33 %.
Scalabilité : La méthode a obtenu la meilleure précision globale et les taux d'effondrement les plus bas à travers diverses échelles de modèles, y compris LLaVA-OV-72B (atteignant 78,93 % de précision de préférence et 10,96 % d'effondrement).
Études d'Ablation :
- Le retrait du routeur MoE hiérarchique a entraîné des baisses de performance significatives, confirmant la nécessité des chemins de calcul factorisés.
- Le contraste sensible au déséquilibre et l'augmentation contrefactuelle étaient cruciaux pour réduire l'effondrement et améliorer la précision sur les préférences à faible fréquence.
- La méthode est restée robuste même sans étiquettes de facettes explicites, suggérant qu'elle apprend des relations de préférence structurées à partir des descriptions sous-jacentes.
Analyse Qualitative : Les visualisations (t-SNE) ont montré que PrefMoE maintient des frontières plus claires entre les populations de préférences et les facettes par rapport au fine-tuning standard, qui tend à les mélanger. Les études de cas ont démontré que PrefMoE parvient à ancrer les réponses dans des préférences d'utilisateurs spécifiques (ex: mode bohème, voyage en solo) là où les modèles de référence par défaut vers des choix génériques ou dominants.

5. Signification et Limites

L'article soutient qu'un raisonnement personnalisé efficace nécessite plus que le simple passage à l'échelle des modèles ou un fine-tuning standard ; cela nécessite une adaptation factorisée qui sépare et préserve explicitement les signaux de préférence spécifiques à l'utilisateur. PrefMoE démontre qu'en découplant les profils stables des préférences dynamiques et en les routant via des chemins d'adaptation spécialisés, les modèles peuvent mieux refléter les choix individuels des utilisateurs.

Revendications Modestes et Limites :
Les auteurs reconnaissent que bien que PrefMoE atténue considérablement l'effondrement des préférences, il repose toujours sur des descriptions de préférences explicites et bien spécifiées. La méthode peut rencontrer des difficultés lorsque :

Les préférences de l'utilisateur sont sous-spécifiées.
Les préférences sont faiblement ancrées dans la scène visuelle.
La question n'indique pas clairement la facette de préférence pertinente.

Le travail ne prétend pas résoudre tous les défis de la personnalisation, mais offre une approche structurée pour traiter le mode de défaillance spécifique de l'effondrement de la préférence de groupe dans les environnements multi-utilisateurs.