Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space
Cet article présente la première étude systématique comparant les modèles de langage de diffusion multimodaux et les modèles de vision-langage autorégressifs en tant qu'outils d'encodage, révélant que si les premiers sont généralement moins performants en raison d'un alignement image-texte insuffisant, l'écart de performance varie considérablement selon les modèles spécifiques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une bibliothèque géante où chaque livre, photo et vidéo n'est pas stocké sur des étagères, mais sous la forme d'une « ambiance » ou d'une « empreinte digitale » unique. Dans le monde de l'IA, ces empreintes sont appelées embeddings (plongements lexicaux). Elles permettent aux ordinateurs de comprendre qu'une image de chien et le mot « chien » sont liés, même s'il s'agit d'une image d'un côté et d'un texte de l'autre.
Pendant longtemps, la meilleure façon de créer ces empreintes était d'utiliser des Modèles Autorégressifs. Considérez-les comme une personne lisant une histoire un mot à la fois, de gauche à droite. Ils sont très doués pour comprendre le contexte car ils construisent le sens étape par étape.
Récemment, un nouveau type d'IA appelé Modèles de Diffusion est devenu populaire. Imaginez-les plutôt comme un sculpteur qui commence avec un bloc de marbre recouvert de bruit et qui dégage lentement le bruit pour révéler la statue. Ou bien, imaginez une personne capable de regarder une phrase entière d'un seul coup d'œil et de remplir les mots manquants simultanément, plutôt que de deviner un par un. Ces modèles sont performants car ils peuvent voir la « vue d'ensemble » (attention bidirectionnelle) en une seule fois.
La Grande Question
Les chercheurs de cet article se sont posé une question simple : Ces nouveaux modèles de « sculpteurs » (Diffusion) peuvent-ils être aussi bons que les anciens modèles de « lecteurs » (Autorégressifs) pour créer ces empreintes d'« ambiance » ?
L'Expérience
Pour le découvrir, l'équipe a pris les deux meilleurs modèles de « sculpteurs » (nommés LaViDa et MMaDA) et les deux meilleurs modèles de « lecteurs » (nommés LLaVA-1.6 et Qwen2.5-VL). Ils leur ont appris à créer ces empreintes en utilisant une méthode d'entraînement standard (comme apprendre à faire correspondre une image avec sa description correcte).
Ensuite, ils les ont mis à l'épreuve dans trois scénarios différents :
- Classification : « Qu'est-ce que cette image ? » (ex: Est-ce un chat ou un chien ?)
- Réponse à des questions visuelles (VQA) : « En regardant ce graphique, quelle est la valeur la plus élevée ? »
- Recherche (Retrieval) : « Trouve-moi une image qui correspond à cette description spécifique. »
Les Résultats : Les « Sculpteurs » ont du mal
Les résultats ont été surprenants. Même si les modèles de « sculpteurs » (Diffusion) possèdent le superpouvoir de tout regarder en même temps, ils ont généralement moins bien performé que les modèles de « lecteurs ».
- Le « Bon » Sculpteur (LaViDa) : Ce modèle s'en est plutôt bien sorti. Il était seulement légèrement en retrait par rapport aux meilleurs modèles de « lecteurs » (environ 3 à 4 points de moins sur une échelle de 100). Il était particulièrement efficace pour gérer des types de données nouveaux et inconnus (hors domaine), ce qui suggère qu'il est un peu plus flexible.
- Le « Sculpteur en difficulté » (MMaDA) : Ce modèle présentait un écart énorme. Il a obtenu un score plus de 20 points inférieur à celui des modèles de « lecteurs » sur l'ensemble des tests. Il n'arrivait tout simplement pas à suivre.
Pourquoi cela s'est-il produit ?
Les chercheurs ont creusé davantage pour comprendre pourquoi les « sculpteurs » perdaient. Ils ont identifié deux raisons principales :
- Empreintes décalées : Dans les modèles de « lecteurs », l'image et le texte se rapprochent énormément dans l'espace de l'empreinte (ils s'alignent parfaitement). Dans les modèles de « sculpteurs », l'empreinte de l'image et l'empreinte du texte restent souvent éloignées, comme deux personnes essayant de se tenir la main mais se trouvant de chaque côté d'une pièce. Les modèles n'ont pas appris à connecter l'image et le texte de manière aussi étroite.
- Objectifs d'entraînement erronés : Le modèle « en difficulté » (MMaDA) a été entraîné pour faire deux choses à la fois : comprendre des images et générer de nouvelles images à partir de rien. Les chercheurs soupçonnent que le fait d'essayer d'être un « peintre » (générer des images) a distrait le modèle de sa tâche de devenir un bon « bibliothécaire » (créer des empreintes précises pour la recherche).
Ce qu'il faut retenir
Même si les modèles de Diffusion sont passionnants et possèdent des fonctionnalités cool comme le fait de regarder toute l'image à la fois, ils ne sont pas encore tout à fait prêts à remplacer les anciens modèles de « lecteurs » pour la création d'empreintes optimisées pour la recherche. Les modèles de « lecteurs » conservent la couronne de la précision, principalement parce qu'ils sont meilleurs pour lier étroitement ce qu'ils voient avec ce qu'ils lisent.
L'article conclut que, bien que les modèles de Diffusion aient du potentiel (notamment le modèle LaViDa), ils doivent devenir bien meilleurs dans l'alignement des images et du texte avant de pouvoir devenir le choix privilégié pour ces tâches.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.