Fusion Embedding: A Unified Embedding Space for Text, Image, Video, and Audio
L'article présente la famille Fusion Embedding, un modèle unifié qui intègre l'audio dans un espace de plongement vision-langage gelé en utilisant des adaptateurs légers et spécifiques à la modalité afin de permettre la recherche croisée zéro-shot entre le texte, l'image, la vidéo et l'audio sans mettre à jour les paramètres de base.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous construisiez la bibliothèque ultime pour l'internet entier. En ce moment, si vous voulez trouver une chanson, vous devez demander à un bibliothécaire de la musique ; si vous voulez une photo, vous demandez à un bibliothécaire de la photo ; et si vous voulez une vidéo, vous demandez à un bibliothécaire de la vidéo. Ils parlent tous des langues différentes et gardent leurs livres dans des pièces séparées. Cela rend la recherche de quelque chose qui mélange ces éléments — comme « une vidéo d'un chien aboyant à la pleine lune » — incroyablement difficile.
Pour résoudre cela, les scientifiques utilisent ce qu'on appelle des « embeddings » (plongements lexicaux). Considérez un embedding comme une carte d'identité unique ou un ensemble de coordonnées GPS pour une donnée. Dans un monde parfait, si vous avez une image de chien et une phrase qui dit « un chien », elles devraient obtenir exactement les mêmes coordonnées GPS, même si l'une est une image et l'autre est du texte. Cela permet à un ordinateur de comprendre qu'il s'agit de la même chose. Le grand défi actuel est que, bien que nous ayons d'excellents systèmes GPS pour le texte, les images et la vidéo, nous sommes très mauvais pour cartographier le son. La plupart des systèmes qui comprennent le son sont comme des spécialistes qui ne parlent que le « bruit » et ne peuvent pas du tout communiquer avec les bibliothécaires du texte ou de l'image.
Ce document présente une nouvelle famille d'outils appelée Fusion Embedding qui place enfin le texte, les images, la vidéo et l'audio sur une seule et même carte. Les chercheurs n'ont pas essayé de reconstruire toute la bibliothèque à partir de zéro. Au lieu de cela, ils ont pris une bibliothèque préexistante très puissante qui savait déjà gérer le texte, les images et la vidéo, et ils ont trouvé un moyen ingénieux d'ajouter un « département du son » sans rien casser de ce qui fonctionnait déjà.
La magie de la bibliothèque « gelée »
La recette secrète ici est que les chercheurs ont gardé la bibliothèque principale « gelée ». Imaginez que la bibliothèque principale soit une immense encyclopédie parfaite écrite par un maître scribe. Habituellement, si vous voulez ajouter une nouvelle section (comme le son), vous devez réécrire des parties de l'encyclopédie, ce qui risque de changer le sens des anciens mots.
Les auteurs ont décidé : « Pas de réécriture autorisée. » Ils ont laissé l'encyclopédie exactement telle quelle, jusqu'à la dernière lettre. Au lieu de cela, ils ont construit un petit guichet de traduction spécial juste à l'entrée.
La Génération 1 est ce premier traducteur. C'est un connecteur minuscule de 16,4 millions de paramètres (pensez-y comme à un petit robot efficace) qui se situe entre la tour audio (la partie qui entend le son) et l'encyclopédie gelée. Lorsque vous lui injectez un son, le robot traduit le bruit en un format que l'encyclopédie comprend. Il ne modifie pas l'encyclopédie ; il parle simplement sa langue. Étonnamment, cette configuration simple a extrêmement bien fonctionné. Elle pouvait faire correspondre un son à une description textuelle, et mieux encore, elle pouvait faire correspondre un son à une image qu'elle n'avait jamais vue auparavant, et ce, sans même avoir été présentée à une seule image d'un son. C'est comme apprendre à une personne qui ne parle que français à comprendre une nouvelle langue simplement en lui montant un dictionnaire, sans jamais lui enseigner les règles de grammaire de la nouvelle langue.
La Génération 2 s'est demandé : « Pouvons-nous faire encore mieux sans enfreindre la règle du "pas de réécriture" ? » Ils ont réalisé que si le guichet de traduction était bon, l'encyclopédie elle-même possédait une certaine puissance cérébrale inutilisée qui pouvait aider pour le son. Ils ont donc ajouté des « adaptateurs profonds à porte de modalité » (modality-gated deep adapters).
Considérez cela comme des portes secrètes et invisibles à l'intérieur des pages de l'encyclopédie. Ces portes ne s'ouvrent que lorsqu'un son est traité. Lorsqu'un texte ou une image arrive, les portes restent fermées et le livre est lu exactement comme il l'était toujours. Lorsqu'un son arrive, les portes s'ouvrent et un module d'assistance spécial de 44,2 millions de paramètres intervient pour aider le livre à mieux comprendre le son. Le résultat ? La sortie du livre pour le texte et les images reste bit pour bit identique à la version gelée originale. Si vous passiez le même texte dans le système avant et après l'ajout de la fonction sonore, l'ordinateur ne verrait aucune différence. Cela garantit que chaque résultat de recherche que vous avez déjà sauvegardé pour le texte, les images ou la vidéo reste parfaitement valide.
Ce qu'ils ont trouvé (et ce qu'ils n'ont pas trouvé)
L'équipe a testé ce système sur de vastes ensembles de données de sons et de légendes. Ils ont découvert qu'en respectant leur règle de « base gelée », ils pouvaient atteindre des résultats de pointe pour la correspondance audio-texte, atteignant un score de 0,741 sur un test standard appelé AudioCaps. C'est un événement majeur car la plupart des autres systèmes qui font cela bien doivent réentraîner tout leur cerveau, ce qui signifie qu'ils oublient souvent comment faire d'autres choses ou cassent leurs anciens résultats.
Cependant, le document nous indique également ce qui ne fonctionne pas :
- Réécrire les légendes : Ils ont essayé d'utiliser une IA super intelligente pour réécrire les descriptions d'entraînement afin de les rendre plus « propres ». Étonnamment, cela a rendu le système moins performant. Il s'avère que le système apprend mieux des descriptions humaines originales et désordonnées que des descriptions polies générées par l'IA.
- Utiliser une tour de son plus « forte » : Ils ont essayé de remplacer leur encodeur de son par un autre considéré comme l'un des meilleurs au monde. Mais lorsqu'il a été branché dans leur système gelé, cette tour plus « forte » a en fait moins bien performé que celle qu'ils avaient choisie. Cela suggère que ce qui fait un bon encodeur de son pour un système autonome n'est pas nécessairement ce qui en fait un bon pour un système de bibliothèque gelée.
- Rendre le connecteur trop large : Ils ont essayé de rendre le robot traducteur plus grand et plus large. Au lieu de devenir plus intelligent, il a simplement commencé à mémoriser les données d'entraînement et a échoué à se généraliser.
La surprise du « protocole »
L'une des découvertes les plus intéressantes ne concernait pas le modèle lui-même, mais plutôt la manière dont on lui parle. Les chercheurs ont découvert que la façon dont vous injectez du texte dans le système compte plus qu'on ne pourrait le croire. Si vous injectez du texte dans un format « brut » (juste les mots), les performances sont médiocres. Mais si vous injectez le texte dans le format exact du « modèle de chat » (chat template) pour lequel l'encyclopédie originale a été entraînée (avec des instructions et un formatage spécifiques), la performance bondit de 14,5 points.
C'est comme essayer de poser une question à un bibliothécaire. Si vous criez simplement « Chien ! », il pourrait ne pas comprendre. Mais si vous dites : « Bonjour bibliothécaire, je cherche une image de chien », dans le format poli exact pour lequel il a été formé, il trouvera instantanément. Le document montre que si vous ne respectez pas le format d'entraînement original, vous pouvez perdre des dizaines de points de performance, rendant votre système beaucoup plus stupide.
L'essentiel
La famille Fusion Embedding prouve que vous n'avez pas besoin de reconstruire toute la maison pour ajouter une nouvelle pièce. En utilisant une base gelée et des connecteurs intelligents à porte, ils ont créé un espace unifié où le texte, les images, la vidéo et l'audio cohabitent.
- La Génération 1 a montré qu'un petit connecteur suffit pour faire du son un « citoyen de premier rang » dans la bibliothèque.
- La Génération 2 a montré que vous pouvez ajouter encore plus de puissance cérébrale pour l'audio sans jamais modifier un seul bit des résultats de texte ou d'image.
Le résultat est un système capable de prendre un son et de trouver la vidéo correspondante, ou de prendre une vidéo et de trouver le son correspondant, tout en gardant les résultats de recherche originaux de texte et d'image parfaitement intacts. C'est un pas vers un futur où vous pourrez demander à votre ordinateur : « Montre-moi des vidéos de pluie », et il comprendra que « pluie » est un son, un visuel et un mot, tout à la fois, sans avoir besoin d'une application différente pour chaque chose.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.