🤖 machine learning

Multimodal Data Curation Through Ranked Retrieval

Ce papier présente un cadre comprenant un sous-échantillonnage symétrique du noyau et un moteur d'incorporation d'experts pour affiner les paires d'entraînement et combiner des experts d'incorporation, réduisant ainsi efficacement l'écart modal et améliorant la recherche intermodale ainsi que les performances des modèles en aval sur des hétérogènes.

Auteurs originaux : Pratyush Muthukumar, Harshil Kotamreddy, Sarah Amiraslani, Tomo Kanazawa, Ramani Akkati, Shaan Jain, Andrew Mathau

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pratyush Muthukumar, Harshil Kotamreddy, Sarah Amiraslani, Tomo Kanazawa, Ramani Akkati, Shaan Jain, Andrew Mathau

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le bibliothécaire en chef d'une bibliothèque massive et chaotique contenant des livres, des films, des enregistrements musicaux et des notes manuscrites tous mélangés. Votre objectif est de construire un système où un utilisateur peut poser une question comme : « Montrez-moi quelque chose concernant un chien jouant dans le parc », et où le système trouve instantanément la vidéo parfaite, la bonne photo, le clip audio correct ou la description textuelle correspondante, indépendamment du format.

L'article soutient que les systèmes actuels peinent avec deux problèmes principaux :

Le piège du « Format » : Le système regroupe souvent les éléments par ce qu'ils sont (toutes les vidéos ensemble, tout le texte ensemble) plutôt que par ce qu'ils signifient. C'est comme un bibliothécaire qui place tous les livres sur l'étagère du haut et tous les films sur l'étagère du bas, même si un livre et un film racontent exactement la même histoire.
Le problème de l'« Étiquette bruyante » : Les descriptions (étiquettes) attachées à ces éléments sont souvent désordonnées. Une vidéo d'un chien peut avoir une légende indiquant « un chien », mais la vidéo montre aussi un chat, un arbre et une voiture. Ou alors, la légende peut mentionner une « journée ensoleillée » alors que la vidéo se déroule en fait la nuit. Le système tente d'apprendre à partir de ces paires inadaptées et se retrouve confus.

Les auteurs proposent une solution en deux parties pour résoudre ce problème, qu'ils appellent l'Échantillonnage Symétrique du Noyau (SNS) et le Moteur d'Encodage par Experts (EEE).

Partie 1 : Les « Ciseaux et la Colle » (Échantillonnage Symétrique du Noyau)

Considérez les données d'entraînement comme une paire de chaussettes inadaptées : une chaussette est une vidéo brute, et l'autre est une description textuelle. Parfois, elles ne correspondent pas bien.

Le Problème : La vidéo peut durer 10 minutes, mais le texte ne décrit que les 30 premières secondes. Ou alors, le texte mentionne une « voiture bleue », mais la vidéo est en noir et blanc.
La Solution (SNS) : Les auteurs utilisent une technique intelligente de « ciseaux ».
- Coupe vers l'avant : Ils examinent le texte et se demandent : « Quelles parties de cette vidéo expliquent réellement ce texte ? » Ils coupent les 9 minutes de vidéo non pertinentes.
- Coupe vers l'arrière : Ils examinent la vidéo et se demandent : « Quelles parties de ce texte décrivent réellement ce que nous voyons ? » Ils coupent les phrases concernant la « voiture bleue » si la voiture n'est pas là.
- Le Résultat : Il ne reste qu'un « noyau » — la partie centrale et de haute qualité de la vidéo et la partie centrale du texte qui correspondent parfaitement. Ils éliminent le bruit afin que l'ordinateur apprenne à partir d'une paire propre et serrée.

Partie 2 : L'« Équipe d'Experts » (Moteur d'Encodage par Experts)

Même avec des paires propres, l'ordinateur a toujours du mal à comprendre qu'une vidéo et un texte parlent de la même chose. C'est comme avoir trois traducteurs différents qui parlent tous des dialectes différents ; ils peuvent traduire la même histoire, mais les mots qu'ils utilisent sont si différents que les histoires ne semblent pas liées.

Le Problème : Différents types de données (vidéo, audio, texte) se regroupent naturellement séparément dans la mémoire de l'ordinateur, créant un « Écart de Modalité ».
La Solution (EEE) : Au lieu de s'appuyer sur un seul « traducteur », les auteurs engagent une équipe de trois experts :
1. L'Expert de bout en bout : Bon pour voir l'ensemble d'un coup.
2. L'Expert de Fusion : Bon pour combiner différents types de données.
3. L'Expert Textuel : Bon pour transformer tout d'abord en mots.
Le Projecteur : Ils ajoutent un « traducteur » spécial (un réseau de projection) qui écoute les trois experts. Il prend leurs opinions différentes et les mélange en un seul langage unifié. Crucialement, ce traducteur est entraîné pour ignorer le format des données et se concentrer uniquement sur le sens. Il force l'ordinateur à réaliser qu'une vidéo d'un chien et une phrase sur un chien appartiennent au même quartier, et non à des villages séparés.

Les Résultats : Une Meilleure Bibliothèque

Les auteurs ont testé ce système en créant un nouveau « mélange d'entraînement » (une bibliothèque curated) utilisant leur méthode, puis en enseignant un nouveau modèle d'IA à l'aide de ce mélange.

La Comparaison : Ils ont comparé leur méthode à :
- L'Échantillonnage Aléatoire : Prendre des livres de l'étagère à l'aveugle.
- L'Échantillonnage Stratifié : Prendre un nombre égal de livres, de films et de chansons.
- La Curatelle Traditionnelle : Utiliser des règles anciennes pour filtrer les mauvaises données.
Le Résultat : Leur méthode a produit les meilleurs résultats. Le modèle d'IA entraîné sur leurs données curatées a appris plus vite et a fait moins d'erreurs (une « perplexité » plus faible, qui est une mesure de la confusion).
La Correction Géométrique : Plus important encore, ils ont montré que leur méthode a réduit l'« Écart de Modalité » de plus de 90 %. Dans l'esprit de l'ordinateur, la distance entre une vidéo et un texte parlant de la même chose est devenue presque nulle, alors qu'auparavant, elles étaient à des kilomètres l'une de l'autre simplement parce qu'elles étaient de formats différents.

Résumé

En termes simples, l'article dit : « Pour construire un moteur de recherche intelligent pour les médias mixtes, ne lancez pas tout à l'ordinateur. D'abord, utilisez des ciseaux pour couper les parties désordonnées et inadaptées de vos données. Deuxièmement, utilisez une équipe d'experts pour traduire tout en un seul langage unifié qui ignore le format et se concentre sur le sens. Cela crée un ensemble d'entraînement plus propre et plus intelligent qui aide l'IA à mieux comprendre le monde. »

Résumé Technique : Curation de Données Multimodales par Récupération Classée

Énoncé du Problème

Les espaces d'incorporation partagés constituent l'épine dorsale standard pour la recherche multimodale et la curation de données. Cependant, les auteurs identifient deux problèmes cumulatifs qui dégradent l'efficacité de ces systèmes, en particulier lors du mélange de datasets hétérogènes étiquetés par des humains :

Regroupement Piloté par la Modalité (Le Fossé Modalité) : Les incorporations se regroupent souvent par modalité d'entrée (par exemple, tout le texte ensemble, toutes les images ensemble) plutôt que par sens sémantique. Cette séparation géométrique fait que la récupération par plus proche voisin privilégie l'identité de la modalité plutôt que la similarité sémantique, sapant la recherche cross-modale et les tâches en aval telles que le regroupement ou la déduplication.
Supervision Appariée Bruitée : Les signaux d'entraînement dans les datasets appariés (par exemple, image-légende, vidéo-transcription) souffrent fréquemment de désalignement. Les annotations peuvent omettre des objets critiques, inclure un contexte non pertinent, ou faire référence à un contenu absent des données brutes (par exemple, un audio hors champ). Lorsque les modèles sont entraînés sur de telles paires bruyantes, ils apprennent des raccourcis corrélés au dataset ou à la modalité plutôt qu'à l'événement sous-jacent, renforçant ainsi le fossé modalité.

Les solutions existantes traitent généralement un seul côté de ce problème : les méthodes au niveau de la représentation tentent d'aligner les incorporations mais acceptent la supervision bruyante telle quelle, tandis que le filtrage centré sur les données améliore la qualité des paires mais suppose souvent une architecture d'encodeur fixe incapable de corriger les biais géométriques systématiques.

Méthodologie

L'article propose un cadre couplé qui intervient simultanément sur les paires de données d'entraînement et sur l'architecture du modèle d'incorporation. L'approche se compose de trois composants principaux :

1. Sous-échantillonnage Symétrique du Noyau (SNS)

Le SNS est une technique de prétraitement côté données conçue pour augmenter la densité d'information des échantillons appariés en éliminant le contenu non pertinent à la fois de l'entrée brute et de l'annotation. Il fonctionne via deux phases :

Extraction Avancée : Identifie les portions les plus pertinentes des données brutes (par exemple, des régions spécifiques d'images, des moments vidéo ou des segments de texte) qui expliquent le contenu de l'annotation. Cela est réalisé à l'aide de modèles de segmentation spécifiques à la modalité (par exemple, Grounding-DINO pour les images, détection de moments pour la vidéo) guidés par la similarité des incorporations.
Extraction Rétrograde : Identifie les portions les plus ancrées de l'annotation qui sont soutenues par les données brutes. Cela implique de générer une description des données brutes (en utilisant des modèles comme Nemotron-Nano ou Cosmos-Reason2) et de filtrer l'annotation originale pour ne conserver que les phrases présentant une forte similarité avec cette description.
Porte Symétrique : Une paire est conservée ou modifiée uniquement si le ratio d'information mutuelle entre le « noyau » extrait et la paire originale dépasse un seuil ( $\rho$ ). Cela garantit que le rognage améliore l'alignement sans rejeter des données valides.

2. Moteur d'Incorporation Expert (EEE)

Pour traiter le biais modalité, les auteurs proposent une architecture de type Mélange d'Experts (MoE) qui exploite trois stratégies d'incorporation distinctes, chacune ayant des forces et des biais inhérents différents :

Expert End-to-End : Utilise un modèle multimodal unifié (Omni-Embed-Nemotron-3B) pour traiter directement toutes les modalités.
Expert de Fusion : Utilise une architecture de type ImageBind qui fusionne les incorporations provenant d'encodeurs séparés, en utilisant les images comme ancre.
Expert Texte : Convertit toutes les modalités en descriptions textuelles à l'aide de modèles modalité-vers-texte, puis utilise un modèle d'incorporation de texte dédié (Llama-Nemotron-Embed-1B).

3. Réseau de Projection avec Objectif Conscient du Biais

Puisque les trois experts produisent des incorporations dans des espaces différents, un réseau neuronal léger est entraîné pour projeter les incorporations concaténées de tous les experts dans un espace unifié. Ce réseau est entraîné avec une fonction de perte composite :

Perte de Tâche ( $L_{task}$ ) : Une perte de contraste de type InfoNCE pour maintenir la similarité sémantique entre les données appariées et les annotations.
Perte de Biais de Regroupement ( $L_{cluster}$ ) : Pénalise la distance entre le centroïde de chaque modalité et le centroïde global, forçant les modalités à se chevaucher dans l'espace partagé.
Perte de Biais d'Échelle ( $L_{scale}$ ) : Pénalise les différences dans la dispersion (variance) des incorporations à travers les modalités pour assurer une géométrie de regroupement uniforme.

Crucialement, le réseau de projection traite les annotations textuelles comme des « ancres ancrées » (en laissant leurs incorporations inchangées) et projette les incorporations des données brutes vers elles, garantissant que la géométrie est guidée par la modalité texte.

Contributions Clés

Analyse des Modes de Défaillance Conjoints : L'article analyse comment le biais modalité et le désalignement brut-annotation dégradent conjointement la qualité des incorporations dans des corpus mixtes étiquetés par des humains.
Sous-échantillonnage Symétrique du Noyau (SNS) : Une méthode de sous-échantillonnage symétrique novatrice qui améliore la cohérence des paires en éliminant le contenu non pertinent des deux côtés d'une paire multimodale basée sur la densité d'information mutuelle.
Moteur d'Incorporation Expert (EEE) : Une architecture de mélange d'experts combinée à une couche de projection apprise et à un objectif conscient du biais pour réduire la séparation pilotée par la modalité tout en préservant la structure sémantique.
Évaluation Robuste : Une étude complète utilisant des ensembles de tâches sélectionnés par des humains pour comparer les performances des modèles en aval à travers diverses stratégies de curation de données, incluant la méthode proposée et des références standard de l'industrie.

Résultats

Le cadre a été évalué sur un mélange de cinq datasets annotés par des humains (AudioCaps, TextCaps, ALFRED, CoNaLa, TriviaQA) couvrant l'audio, l'image, la vidéo et le texte. Les mélanges de données curées ont été utilisés pour affiner un modèle de langage multimodal (Qwen2.5-Omni-3B), la perplexité de validation servant de métrique principale.

Performance en Aval : La configuration complète (SNS Bidirectionnel + EEE + Projection) a obtenu la perplexité de validation la plus faible (7,732), surpassant l'échantillonnage aléatoire stratifié, l'échantillonnage aléatoire uniforme et un pipeline de curation de données « Traditionnel » (qui reposait sur un filtrage heuristique et un classement par encodeur unique).
Réduction du Fossé Modalité : Le réseau de projection a réussi à effondrer le fossé modalité. Le tableau 2 montre que la distance $\ell_2$ entre les centroïdes par modalité a été réduite de plus de 90 % en moyenne par rapport aux incorporations de base des experts.
Insights de l'Ablation :
- Les variantes SNS (Avancée, Rétrograde, Bidirectionnelle) ont constamment surpassé la référence EEE seule, confirmant la valeur du débruitage côté données.
- La référence « Traditionnelle » a performé significativement moins bien, mettant en lumière les limites du filtrage heuristique et des approches à encodeur unique dans les contextes multimodaux.
- Le réseau de projection était essentiel ; sans lui, les espaces d'incorporation distincts des experts ne pouvaient pas être efficacement classés ou combinés.

Importance et Revendications

L'article revendique que la sélection de données basée sur la récupération standard peut dégrader activement les mélanges d'entraînement si l'espace d'incorporation présente un biais modalité non corrigé. Le cadre proposé démontre qu'il est nécessaire de traiter à la fois les données (via SNS) et la géométrie du modèle (via EEE et projection) pour créer des espaces d'incorporation unifiés et robustes.

Les auteurs affirment que leur approche permet une récupération cross-modale fiable en garantissant que la distance dans l'espace d'incorporation reflète la similarité sémantique plutôt que le format d'entrée. Bien que l'évaluation soit limitée en échelle (5 000 échantillons, architectures de modèles spécifiques), les résultats suggèrent que de « petites bizarreries géométriques et du bruit d'étiquetage » peuvent se cumuler en erreurs systématiques lors de l'entraînement à grande échelle, et qu'une stratégie d'intervention couplée est une solution viable. L'article conclut en notant des limitations, telles que la dépendance à une supervision basée sur le texte pour la référence traditionnelle et l'échelle de l'évaluation, suggérant que des travaux futurs pourraient se concentrer sur le rognage conscient de l'incertitude et le découplage de la proposition de la vérification.