🤖 machine learning

Data Selection Through Iterative Self-Filtering for Vision-Language Settings

Cet article propose une nouvelle méthode de bootstrapping appelée Self-Filtering, qui entraîne de manière itérative un modèle CLIP sur un ensemble de données évolutif équilibrant des échantillons propres hautement probables avec des données diverses, améliorant ainsi les performances de vision-langage en aval sans nécessiter de données supplémentaires ou de modèles pré-entraînés.

Auteurs originaux : Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrei Liviu Nicolicioiu, Sarvjeet Singh Ghotra, Morgane M. Moss, Aaron Courville

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde en lui montrant des millions d'images et leurs descriptions. Le problème est qu'Internet est un endroit désordonné. Si vous injectez simplement toutes les données que vous trouvez en ligne dans le cerveau de votre robot, vous lui donnez aussi des déchets : des photos floues, des légendes qui ne correspondent pas à l'image, ou du texte absurde. Ce « bruit » perturbe le robot et ralentit son apprentissage ou lui fait commettre des erreurs.

Habituellement, pour corriger cela, les scientifiques utilisent un « filtre intelligent » — un robot pré-entraîné, super-intelligent, qui a déjà tout appris. Ils demandent à ce robot expert : « Hé, lesquelles de ces photos sont bonnes ? » et jettent les autres. Mais cet article pose une question différente : Et si nous n'avions pas encore de filtre super-intelligent ? Pouvons-nous en construire un nous-mêmes pendant que nous apprenons ?

Les auteurs proposent une méthode appelée Auto-Filtrage (Self-Filtering). Voici comment cela fonctionne, en utilisant des analogies de la vie quotidienne :

L'analogie de l'Étudiant-Enseignant

Considérez votre modèle d'IA non pas comme un expert achevé, mais comme un étudiant-enseignant.

La classe désordonnée (Le Jeu de Données) : Vous avez une immense salle de classe remplie d'étudiants (points de données). Certains sont brillants et bien élevés (données propres), mais beaucoup sont perturbateurs ou confus (données bruitées).
La première leçon (L'Entraînement) : Vous commencez à enseigner à l'étudiant-enseignant en utilisant toute la classe désordonnée. Au début, l'enseignant est confus et fait des erreurs.
L'auto-réflexion (Le Filtrage) : Après quelques leçons, l'enseignant devient un peu plus intelligent. Maintenant, vous demandez à l'enseignant : « Regarde à nouveau tous les étudiants. Lesquels semblent le mieux comprendre la leçon ? » L'enseignant désigne les étudiants « probablement propres ».
Le nouveau mélange de la classe (La Stratégie) : C'est ici que réside l'astuce. Vous ne vous contentez pas de jeter les « mauvais » étudiants. Cela serait dangereux car certains « mauvais » étudiants pourraient simplement éprouver des difficultés avec un concept difficile, et non parce qu'ils sont mauvais.
- Au lieu de cela, vous créez une nouvelle classe où vous avez deux fois plus d'étudiants « bons » identifiés par l'enseignant, mais vous gardez aussi le reste de la classe là.
- Cela garantit que l'enseignant s'entraîne davantage sur les exemples faciles et clairs (exploitation) mais qu'il est toujours exposé aux exemples difficiles et diversifiés (diversité) pour ne pas rester bloqué sur les bases.
Répéter : Vous enseignez à l'enseignant avec ce nouveau mélange de classe légèrement meilleur. L'enseignant devient encore plus intelligent. Ensuite, vous demandez au nouvel enseignant, plus intelligent, de choisir à nouveau les meilleurs étudiants. Vous mélangez à nouveau.

Le cycle d'amélioration

L'article appelle cela une boucle itérative.

Tour 1 : L'enseignant est un peu bête, donc son filtre est correct mais pas parfait.
Tour 2 : Parce que l'enseignant a appris du « bon » mélange lors du Tour 1, il est plus intelligent. Son filtre est meilleur.
Tour 3 : L'enseignant est encore plus intelligent, créant un mélange encore meilleur.

À la fin, l'enseignant a construit son propre « jeu de données organisé » qui est presque aussi bon que si un super-expert l'avait filtré pour lui dès le début.

Pourquoi est-ce important ?

L'article revendique trois points principaux :

Pas besoin de baguette magique : Vous n'avez pas besoin d'une IA préexistante en « mode Dieu » pour filtrer vos données. Vous pouvez construire le filtre vous-même en utilisant le modèle que vous essayez d'entraîner.
Ne jetez pas tout : Si vous ne gardez que les exemples « parfaits », le modèle pourrait devenir biaisé ou oublier comment gérer des situations réelles et difficiles. En mélangeant les données « probablement bonnes » avec l'ensemble des données, vous obtenez le meilleur des deux mondes : haute qualité et haute variété.
Cela fonctionne : Ils ont testé cela sur de vastes jeux de données d'images et de textes (comme des millions de photos et de légendes). Les modèles entraînés avec cette méthode d'auto-filtrage ont obtenu des performances aussi bonnes, voire meilleures, que les modèles entraînés sur des données filtrées par des systèmes experts coûteux et pré-fabriqués.

Le revers de la médaille (Limites)

Les auteurs sont honnêtes sur les limites :

C'est une vue locale : Le modèle décide de ce qui est « bon » en fonction de ce qu'il a appris jusqu'à présent. Il n'a pas de boule de cristal pour savoir ce qui sera utile pour une tâche spécifique future.
Coût computationnel : Cela prend du temps de mettre l'entraînement en pause, de faire passer le modèle sur toutes les données pour les noter, puis de redémarrer. Cependant, ils suggèrent que cela peut être fait sur des ordinateurs plus anciens et plus lents pendant que l'entraînement principal se déroule sur des machines rapides.

En résumé, cet article montre que l'apprentissage et le filtrage peuvent se produire en même temps. Au lieu d'attendre qu'un filtre parfait arrive, vous pouvez laisser votre modèle cultiver son propre filtre, devenant plus intelligent et organisant de meilleures données à chaque étape franchie.

Résumé Technique : Sélection de Données par Auto-Filtrage Itératif pour les Contextes Vision-Langage

Énoncé du Problème

L'entraînement de modèles vision-langage à grande échelle, tels que CLIP, nécessite des ensembles de données massifs qui sont souvent intrinsèquement bruités en raison de leur origine issue de collectes de données à l'échelle du web. Bien qu'une supervision manuelle soit impraticable à cette échelle, les méthodes de filtrage de données existantes reposent lourdement sur des heuristiques (ex. : nombre de mots, résolution), des ensembles de référence curatés ou des modèles pré-entraînés (ex. : le CLIP d'OpenAI) pour sélectionner des échantillons propres.

Les auteurs identifient trois limitations critiques des approches actuelles :

Connaissance de Confusion (Confounding Knowledge) : L'utilisation d'un modèle pré-entraîné pour le filtrage entremêle les bénéfices de la sélection de données avec la distillation indirecte de la propre connaissance du filtre, ce qui rend incertain si le filtrage améliore réellement l'efficacité de l'échantillonnage.
Propagation des Biais : Les ensembles de données sélectionnés capturent inévitablement les limitations et les biais du filtre pré-entraîné (ex. : le CLIP d'OpenAI est biaisé vers des événements anciens et peine avec les concepts récents).
Opacité Scientifique : L'impossibilité d'accéder aux ensembles de données de pré-entraînement des filtres propriétaires entrave l'investigation scientifique sur la nature du filtrage de données.

De plus, un défi fondamental demeure : distinguer les échantillons « difficiles » (qui encodent une connaissance utile et non triviale) des échantillons « bruités » (paires image-texte mal alignées), car les deux entraînent généralement une perte (loss) élevée lors des premières étapes de l'entraînement.

Méthodologie : L'Auto-Filtrage (Self-Filtering)

Le papier propose l'Auto-Filtrage, une méthode itérative et auto-amorcée (bootstrapped) qui entraîne un modèle vision-langage tout en créant simultanément un ensemble de données évolutif. Cette approche opère sans modèles pré-entraînés ni données supplémentaires. La philosophie centrale est que de meilleurs modèles mènent à de meilleurs mélanges de données, qui produisent à leur tour de meilleurs modèles.

La méthode suit une boucle itérative en quatre phases (Algorithme 1) :

Initialisation : Un modèle ( $f_\theta$ ) est initialisé de manière aléatoire, et le mélange de données d'entraînement ( $D_{current}$ ) est défini comme étant l'ensemble complet et non filtré.
Phase d'Entraînement : Le modèle est entraîné pendant $T$ étapes sur des exemples échantillonnés à partir de $D_{current}$ .
Phase de Sélection : Le modèle actuel sert de filtre. Pour chaque paire $(x, y)$ de l'ensemble de données, un score est calculé basé sur l'alignement entre les plongements (embeddings) image et texte (similitude cosinus pour CLIP). Les $p\%$ d'échantillons les mieux classés sont identifiés comme « probablement propres ».
Phase de Mélange : Un nouveau mélange de données est créé en rééchantillonnant à partir de l'union de l'ensemble complet et du sous-ensemble « probablement propre ». Crucialement, les échantillons probablement propres reçoivent un poids d'échantillonnage double. Cette étape équilibre l'exploitation (se concentrer sur les échantillons de haute confiance) et la diversité (maintenir l'accès à la distribution complète pour éviter l'effondrement du modèle et garantir que les échantillons difficiles ne soient pas définitivement écartés).

Ce cycle se répète pour $R$ rounds. Les auteurs soulignent que la phase de mélange est essentielle pour éviter la convergence vers un ensemble biaisé d'échantillons faciles et pour permettre au modèle d'apprendre finalement les échantillons difficiles qui étaient initialement classés comme bruités.

Contributions Clés

Indépendance vis-à-vis des Modèles Pré-entraînés : Les auteurs démontrent que des stratégies de filtrage efficaces peuvent être obtenues sans dépendre de modèles pré-entraînés ou de données propriétaires supplémentaires.
Auto-amélioration Itérative : Ils proposent une méthode où le modèle d'entraînement améliore de manière itérative l'ensemble de données sur lequel il s'entraîne, créant une boucle de rétroaction positive entre la qualité des données et la performance du modèle.
Équilibre Exploitation-Diversité : Une stratégie spécifique est introduite pour mélanger les échantillons sélectionnés à haute probabilité avec des exemples aléatoires de l'ensemble de la distribution, garantissant que le modèle conserve l'accès à des données diverses tout en se concentrant sur les échantillons probablement propres.
Corrélation des Métriques : Le papier montre que la performance du filtrage et la performance en aval sont corrélées au sein d'une même exécution d'entraînement, validant la nature auto-améliorante de l'approche.

Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Datacomp (sous-ensemble petit : ~11,5M d'échantillons ; sous-ensemble moyen : ~128M d'échantillons) en utilisant des modèles CLIP ViT-B/32.

Gains de Performance : Les modèles d'Auto-Filtrage (entraînés sur des mélanges de 30 % ou 40 % d'échantillons sélectionnés) ont systématiquement surpassé les modèles de référence entraînés sur l'ensemble complet ou sur des ensembles de données filtrés exclusivement par le CLIP pré-entraîné d'OpenAI.
Comparaison avec les Filtres Pré-entraînés : Les modèles entraînés sur des mélanges de données générés par l'Auto-Filtrage ont atteint des performances en aval comparables aux modèles entraînés sur des données filtrées par le modèle beaucoup plus large OpenAI CLIP ViT-L/14.
Amélioration Itérative : Les expériences où les modèles ont été entraînés à partir de zéro sur des ensembles de données filtrés par les itérations précédentes ont montré des gains de performance progressifs (ex. : Round 2 > Round 1), confirmant que la qualité des données s'améliore à chaque itération.
Transférabilité : Un modèle entraîné via l'Auto-Filtrage sur le petit sous-ensemble de Datacomp a réussi à filtrer un autre sous-ensemble de taille moyenne inédit, obtenant des résultats supérieurs à l'entraînement sur les données brutes et comparables au filtrage par OpenAI CLIP.
Curriculum vs Qualité des Données : Les auteurs ont constaté que les gains de performance n'étaient pas dus à l'effet d'apprentissage par curriculum (ordonnancement des données de facile à difficile). Les modèles entraînés à partir de zéro sur le mélange de données final fixe ont surpassé les modèles entraînés de manière itérative, suggérant que le bénéfice principal est la qualité supérieure des données elles-mêmes, et non l'ordre de présentation.

Signification et Revendications

Le papier affirme que l'Auto-Filtrage offre une voie viable vers un entraînement vision-langage de haute qualité sans la dépendance envers des filtres pré-entraînés coûteux ou des ressources de données supplémentaires. En traitant la sélection de données et l'entraînement du modèle comme les deux facettes d'un même problème, la méthode parvient à un équilibre entre l'exploitation des connaissances apprises et le maintien de la diversité du jeu de données.

Les auteurs notent modestement que, bien que leur méthode distingue efficacement le bruit des échantillons difficiles au fil du temps, elle ne résout pas parfaitement cette distinction au début de l'entraînement. Ils reconnaissent également que le coût computationnel du scoring des échantillons pour la sélection n'est pas pris en compte dans leur analyse basée sur Datacomp, bien qu'ils suggèrent que cela pourrait être atténué par une inférence parallèle sur du matériel ancien. Enfin, ce travail apporte la preuve que des modèles auto-améliorés peuvent générer des ensembles de données d'une qualité comparable à ceux curatés par de grands modèles pré-entraînés, remettant en question la nécessité de filtres externes statiques pour le passage à l'échelle des modèles vision-langage.