💻 computer science

FineVision: Open Data Is All You Need

FineVision présente le plus vaste corpus ouvert de 24 millions d'échantillons vision-langue soigneusement sélectionnés, créés grâce à un pipeline semi-automatisé rigoureux qui unifie plus de 200 sources avec une supervision humaine pour éliminer la contamination et la duplication, permettant ainsi aux modèles entraînés sur cet ensemble de données de surpasser significativement les alternatives ouvertes existantes.

Auteurs originaux : Luis Wiedmann, Orr Zohar, Amir Mahla, Xiaohan Wang, Rui Li, Thibaud Frere, Leandro von Werra, Aritra Roy Gosthipaty, Andrés Marafioti

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luis Wiedmann, Orr Zohar, Amir Mahla, Xiaohan Wang, Rui Li, Thibaud Frere, Leandro von Werra, Aritra Roy Gosthipaty, Andrés Marafioti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment voir et comprendre le monde, comme le fait un humain. Pour ce faire, vous devez lui montrer des millions d'images et lui apprendre à en parler. C'est ce que font les « modèles vision-langage » (VLM).

Cependant, jusqu'à présent, les « manuels » (jeux de données) disponibles pour le public étaient un désastre. Ils ressemblaient à une bibliothèque où certains livres étaient écrits dans différentes langues, certaines pages étaient arrachées, d'autres contenaient des fautes de frappe, et certains étaient même des copies des questions d'examen sur lesquelles le robot serait noté plus tard. Cela rendait difficile pour les robots open source d'apprendre aussi bien que les robots coûteux et secrets développés par les grandes entreprises technologiques.

FineVision est une nouvelle bibliothèque, massive et méticuleusement nettoyée, créée par des chercheurs de Hugging Face, de l'Université technique de Munich et de Stanford. Voici comment ils l'ont construite et pourquoi cela compte, expliqué simplement :

1. Le grand nettoyage (Curation des données)

Les chercheurs ont rassemblé plus de 200 sources de données différentes — allant des articles académiques aux dossiers de stockage dans le cloud. Mais les jeter ensemble ne fonctionnerait pas.

Le Traducteur : Ils ont construit un système « semi-automatisé » (utilisant des assistants IA) pour traduire tous ces formats différents en un langage standard. Imaginez prendre 200 types de recettes différents (certaines en français, d'autres en japonais, certaines écrites sur des serviettes) et les convertir tous en un seul format de livre de cuisine facile à suivre.
Les Éditeurs Humains : L'IA n'est pas parfaite. Ainsi, des réviseurs humains ont agi comme éditeurs. Ils ont vérifié le travail de l'IA, corrigé les erreurs et veillé à ce que les « recettes » soient sûres et exactes. Si l'IA faisait une erreur de conversion, les humains la corrigeaient et demandaient à l'IA de réessayer.
La Dé-duplication : Ils ont utilisé un « détecteur de copie » spécial pour trouver et supprimer les images dupliquées. Si la même image d'un chat apparaissait 50 fois dans la bibliothèque, ils n'en conservaient qu'une (ou les fusionnaient en une seule conversation plus riche) afin que le robot ne se contente pas de mémoriser le même chat encore et encore.
La Zone Sûre pour les Tests : Ils ont vérifié la bibliothèque par rapport à 66 tests standard utilisés pour noter ces robots. S'ils trouvaient une image dans la bibliothèque identique à une image figurant sur un futur examen, ils la supprimaient. Cela garantit que le robot apprend réellement, et ne triche pas simplement en mémorisant les réponses.

2. Que contient la bibliothèque ?

Le résultat final est FineVision, une collection de 24 millions d'échantillons (environ 17 millions d'images). Ce n'est pas juste un tas de photos ; il est organisé en conversations.

Variété : Il couvre tout, des questions simples du type « Qu'est-ce que c'est ? » à des tâches complexes comme la lecture d'un graphique, la résolution de problèmes mathématiques ou la compréhension d'un document.
La Section « Action » : Une partie spéciale de la bibliothèque apprend au robot comment utiliser des interfaces informatiques (comme cliquer sur une souris ou taper sur un écran de téléphone). Ils ont standardisé cela afin que le robot apprenne un « langage d'action » universel qui fonctionne sur les ordinateurs de bureau, les téléphones et les navigateurs.
Contrôle Qualité : Chaque conversation de la bibliothèque a été notée par des juges IA (et vérifiée par des humains) selon quatre critères :
1. Mise en forme : Le texte est-il propre et lisible ?
2. Pertinence : La réponse correspond-elle réellement à la question ?
3. Dépendance visuelle : La réponse a-t-elle besoin de regarder l'image pour être correcte ?
4. Correspondance : L'image montre-t-elle réellement ce dont parle la question ?

3. Les Résultats : Est-ce que ça marche ?

Les chercheurs ont entraîné un petit modèle de robot en utilisant cette nouvelle bibliothèque et l'ont comparé à des modèles entraînés sur d'autres bibliothèques populaires et désordonnées.

Le Tableau des Scores : Le robot entraîné sur FineVision a obtenu des scores nettement supérieurs sur 11 tests différents. Il a battu les meilleures bibliothèques open source précédentes avec une large marge (améliorant les performances d'environ 11 % à 38 % selon le concurrent).
Le Test de « Triche » : Lorsqu'ils ont supprimé les quelques images restantes de « triche » (données qui auraient pu fuiter depuis les tests) des données d'entraînement, les performances du robot FineVision ont à peine baissé. En revanche, les performances des autres robots ont chuté de manière significative. Cela prouve que FineVision a appris au robot à comprendre, et non pas simplement à mémoriser.
La Magie des Interfaces Graphiques (GUI) : Le robot entraîné sur FineVision était également bien meilleur pour naviguer sur les écrans d'ordinateur (cliquer sur des boutons, taper) que d'autres petits modèles, performant aussi bien que des modèles quatre fois plus grands.

La Conclusion

L'article affirme que des données propres, diversifiées et bien organisées sont la sauce secrète. Vous n'avez pas nécessairement besoin d'un modèle plus grand ou d'un jeu de données secret ; vous avez juste besoin d'une meilleure bibliothèque. FineVision prouve qu'en nettoyant les données et en les organisant soigneusement, les modèles open source peuvent enfin rattraper les grands modèles fermés.

Les chercheurs ont publié la bibliothèque et les outils qu'ils ont utilisés pour la nettoyer, espérant aider toute la communauté à construire des systèmes de vision IA plus intelligents et plus fiables.

Résumé Technique : FineVision : Les Données Ouvertes sont Tout Ce Dont Vous Avez Besoin

Énoncé du Problème

L'avancement des Modèles Vision-Langage (VLM) est actuellement entravé par un paysage fragmenté de jeux de données publics. Alors que les modèles propriétaires exploitent d'immenses corpus épurés, les alternatives open source sont contraintes de assembler de nombreux petits ensembles de données spécialisés. Cette approche entraîne des incohérences dans les schémas d'annotation, le formatage et la qualité des données. De plus, les jeux de données ouverts existants souffrent souvent de contamination, où les données d'entraînement chevauchent les benchmarks d'évaluation, gonflant artificiellement les métriques de performance et entravant une recherche robuste centrée sur les données. Le domaine a évolué d'une simple agrégation vers le besoin d'une curation principielle et évolutive, répondant à la diversité, à l'hygiène et aux tâches émergentes comme l'interaction agentic avec les interfaces graphiques (GUI).

Méthodologie

Les auteurs présentent FineVision, un corpus soigneusement épuré de 24 millions d'échantillons dérivés de plus de 200 sources publiques. Le processus de curation utilise un pipeline semi-automatisé avec supervision humaine, conçu pour unifier des données hétérogènes dans un schéma conversationnel standardisé.

1. Pipeline de Curation des Données

Agrégation des Sources : Les données ont été collectées sur Hugging Face, dans des stockages cloud institutionnels, des dépôts GitHub et via des téléchargements web directs.
Conversion Semi-Automatisée : Une approche hybride combine des agents de Modèles de Langage (LLM) (spécifiquement Claude) pour l'ingestion en masse et la conception de stratégies avec des réviseurs humains. Le pipeline décompose la conversion en analyse d'annotation, conception de stratégie, implémentation de scripts et vérification de la qualité.
Supervision Humaine dans la Boucle : Les réviseurs audite les mappings, vérifient aléatoirement les sorties pour s'assurer d'une consommation fidèle des annotations, et valident le formatage et la diversité. Pour les données agentic/GUI, les réviseurs valident les schémas d'action unifiés et inspectent les trajectoires pour la fidélité exécutable.
Schéma Unifié : Tous les jeux de données sont convertis dans un format de chat standardisé (échantillon = {images, textes, source, métadonnées}). Les données non conversationnelles (par exemple, classification) sont transformées en paires question-réponse naturelles. Les jeux de données QA à tour unique sont souvent regroupés en conversations multi-tours pour créer des signaux d'entraînement plus riches.

2. Stratégies Spécifiques aux Tâches

Le pipeline applique six stratégies de conversion principales pour préserver la richesse sémantique :

Visual QA : Regroupement des questions par image en conversations multi-tours avec des formulations variées.
Légendage et Description : Encadrement des légendes de vérité terrain avec des instructions aléatoires.
Ancrage et Relations Spatiales : Conversion des annotations spatiales en questions oui/non avec des réponses explicatives ; les coordonnées sont normalisées dans les métadonnées.
Compréhension de Documents : Traitement des documents multi-pages comme des listes d'images avec des réponses enrichies (étapes de dérivation, faits).
OCR et Transcription : Génération de tours de transcription exacte accompagnés de tours de compréhension optionnels.
Classification et Détection : Conversion des étiquettes en questions de décision avec des réponses explicatives.
Unification GUI/Agentic : Un pipeline spécifique normalise les signatures de fonctions hétérogènes et les taxonomies d'actions des jeux de données GUI en un espace d'action typé unifié avec des coordonnées indépendantes de la résolution.

3. Hygiène des Données et Décontamination

Nettoyage : Une validation automatisée supprime les images corrompues, les fichiers indéchiffrables et les textes malformés. Le texte est normalisé en UTF-8, les caractères de contrôle sont supprimés et les tours sont limités à 8192 tokens.
Déduplication : Des embeddings de Détection de Copie Auto-Supervisée (SSCD) et la similarité cosinus sont utilisés pour identifier et fusionner les images quasi-dupliquées au sein et entre les sources.
Décontamination des Jeux de Test : Le pipeline identifie les images d'entraînement similaires à celles présentes dans 66 benchmarks publics de VLM. Un seuil conservateur ( $\tau = 0,95$ ) est appliqué pour signaler une contamination potentielle, bien que le jeu de données soit publié sous sa forme originale avec des statistiques de contamination fournies.

Contributions Clés

Corpus FineVision : La publication de la plus grande ressource ouverte de son genre, contenant 17 millions d'images, 89 millions de tours et 9,5 milliards de tokens de réponse répartis sur 185 sous-ensembles.
Flux de Curation : Un pipeline reproductible, semi-automatisé et supervisé par l'humain qui unifie plus de 200 sources tout en maintenant la structure des tâches et la diversité conversationnelle.
Espace d'Action Unifié : Une contribution novatrice pour les tâches agentic, fournissant un schéma standardisé pour les interactions GUI sur les environnements de bureau, mobiles et navigateurs.
Hygiène Rigoureuse : Protocoles complets de déduplication et de décontamination utilisant des embeddings SSCD, avec la publication publique des outils et des embeddings précalculés.
Analyse de Qualité : Une caractérisation détaillée du jeu de données selon quatre axes (Formatage, Pertinence, Dépendance Visuelle, Correspondance Image-Question) utilisant un système de notation LLM-as-a-judge.

Résultats Expérimentaux

Les auteurs ont entraîné un SmolVLM de 460 millions de paramètres sur FineVision et l'ont comparé à des modèles entraînés sur The Cauldron, LLaVA-OneVision et Cambrian-7M.

Gains de Performance : Les modèles entraînés sur FineVision ont obtenu des résultats state-of-the-art parmi les VLM à données ouvertes, montrant des améliorations relatives significatives :
- +27,7 % par rapport à The Cauldron
- +11,4 % par rapport à Cambrian-7M
- +38,4 % par rapport à LLaVA-OneVision
- (Amélioration moyenne de 10,8 points de pourcentage par rapport aux bases sur 11 benchmarks).
Dynamiques d'Entraînement : Bien que la performance initiale ait légèrement traîné en raison de l'inclusion de tâches novatrices, les modèles entraînés sur FineVision ont dépassé toutes les bases après environ une époque, démontrant une généralisation supérieure.
Robustesse à la Contamination : Lors du réentraînement sur des versions décontaminées des jeux de données, les modèles de base ont subi des baisses de performance de 2,7 à 3,7 points de pourcentage, tandis que le modèle FineVision n'a chuté que de 1,6 point, confirmant que ses gains ne sont pas dus à des fuites de données.
Capacités GUI : Sur des benchmarks GUI exigeants (ScreenSpot-V2 et ScreenSpot-Pro), le modèle FineVision de 0,5 milliard de paramètres a atteint des performances comparables à un modèle de 2 milliards de paramètres équivalent architecturalement, surpassant les modèles de base de petite taille qui échouaient à résoudre les tâches sans affinage.
Métriques de Diversité : FineVision présente une grande largeur conceptuelle (Rang Effectif) et, crucialement, un Ratio de Participation supérieur par rapport aux autres grands jeux de données, indiquant une distribution plus uniforme des concepts visuels.

Importance et Revendications

L'article affirme que l'hygiène des données et l'intégration réfléchie sont aussi critiques que l'échelle. FineVision démontre qu'une approche principielle de la curation – combinant une échelle massive avec un nettoyage rigoureux, une déduplication et une supervision humaine – peut combler l'écart de performance entre les VLM open source et propriétaires.

Les auteurs soulignent que le jeu de données n'est pas simplement une agrégation plus grande mais une « fondation » conçue pour les tâches émergentes, en particulier dans les contextes agentic/GUI via un espace d'action unifié. En publiant le corpus, les recettes de conversion et les outils de déduplication, ce travail vise à démocratiser l'accès aux données d'entraînement de haute qualité et à catalyser la prochaine vague d'innovation dans le développement de VLM ouverts. Les auteurs reconnaissent modestement les limites, telles que les chevauchements résiduels et l'absence de benchmarks communautaires intégrés pour le contrôle GUI, positionnant FineVision comme un point de départ pour de futures extensions vers la vidéo, la couverture multilingue et le raisonnement en contexte long.