Xray-Visual Models: Scaling Vision models on Industry Scale Data

Xray-Visual est un modèle de vision unifié entraîné sur des données industrielles massives de Facebook et Instagram, qui combine une architecture efficace, un pipeline d'apprentissage en trois étapes et l'intégration de grands modèles de langage pour atteindre des performances de pointe dans la compréhension d'images et de vidéos.

L'essentiel

Imaginez que vous essayez d'enseigner à un enfant à reconnaître le monde qui l'entoure. Jusqu'à présent, on lui montrait des livres d'images très soigneusement sélectionnés, avec des étiquettes parfaites écrites par des professeurs. C'est ce qu'on appelle les modèles de vision par ordinateur classiques : ils sont intelligents, mais ils ont un peu peur de sortir dans la vraie vie.

Les auteurs de ce papier, travaillant chez Meta (Facebook/Instagram), ont eu une idée géniale : au lieu de livres d'images, donnons-lui tout Internet ! Plus précisément, ils ont créé un super-cerveau visuel appelé Xray-Visual.

Voici comment cela fonctionne, expliqué simplement avec des métaphores :

1. La Bibliothèque de 100 Milliards de Livres (Les Données)

Imaginez une bibliothèque qui contient 100 milliards de photos et de vidéos prises par des gens ordinaires sur Facebook et Instagram. C'est énorme, mais c'est aussi un chaos total : il y a des publicités, des blagues, des photos floues, des emojis partout et des textes sans queue ni tête.

• Le problème : Si vous donnez ce chaos à un élève, il va apprendre des bêtises.
• La solution de Xray : L'équipe a construit un "filtre magique" (un pipeline de nettoyage). Ils ont trié ces milliards de photos, supprimé le bruit (les liens, les emojis inutiles), et surtout, ils ont équilibré les choses.
  • L'analogie : Imaginez que dans votre bibliothèque, il y a 1 million de photos de chats et seulement 10 de girafes. L'élève va penser que les girafes n'existent pas. Xray a pris des photos de chats et en a mis de côté pour s'assurer que l'élève voit aussi beaucoup de girafes, de camions, de paysages rares, etc. Ils ont créé un équilibre parfait entre le "commun" et le "rare".

2. L'Entraînement en Trois Étapes (La Méthode)

Au lieu d'apprendre tout d'un coup, Xray suit un programme scolaire en trois niveaux, comme un sport de haut niveau :

• Niveau 1 : Le Jeu de Cache-Cache (MAE)
  L'enfant regarde une image, mais on cache 75% de la photo. Il doit deviner ce qui se cache derrière. Cela l'oblige à comprendre la structure du monde (les formes, les ombres) sans avoir besoin de savoir lire les étiquettes. C'est comme apprendre à reconnaître un ami même si son visage est caché par un nuage.
• Niveau 2 : Le Jeu des Hashtags (Classification)
  Maintenant, on lui montre des vidéos et on lui demande : "Est-ce que c'est un chat ? Un chien ? Une fête ?". Ils utilisent les hashtags que les gens ont écrits (comme #vacances ou #chatdrôle). C'est un peu imparfait, mais ça lui apprend à associer ce qu'il voit à des mots simples.
• Niveau 3 : Le Duo Parfait (Contraste CLIP)
  C'est la partie la plus importante. On montre une image et une phrase (une légende) ensemble. Le modèle doit apprendre que "une photo de plage" et le mot "plage" vont ensemble, mais pas avec "une photo de neige".
  • La touche de génie : Au lieu d'utiliser un petit dictionnaire pour lire les phrases, ils ont branché un LLM (un grand modèle de langage comme LLaMA). C'est comme remplacer un élève de primaire par un professeur de littérature pour lire les légendes. Résultat ? Le modèle comprend non seulement les mots, mais aussi le sens, l'humour et les nuances complexes.

3. L'Efficacité : Le Ferrari Économique

Habituellement, pour voir les détails, il faut des images géantes et beaucoup de calculs (comme conduire un camion pour aller acheter du pain).
Xray-Visual est différent. Il utilise une technique appelée EViT (Vision Transformer efficace).

• L'analogie : Imaginez que vous regardez un film. Au lieu de regarder chaque pixel de l'écran, votre cerveau ignore les zones sombres ou floues et se concentre uniquement sur les personnages qui bougent. Xray fait pareil : il "jette" les morceaux d'image inutiles avant même de les analyser.
• Résultat : Il est 4 fois plus rapide et consomme beaucoup moins d'énergie que ses concurrents, tout en étant plus précis. C'est comme avoir une Ferrari qui consomme du diesel.

4. Pourquoi c'est révolutionnaire ? (La Robustesse)

La vraie magie de Xray-Visual, c'est sa capacité à ne pas paniquer quand il voit quelque chose de nouveau.

• Les anciens modèles sont comme des étudiants qui ont appris par cœur un manuel scolaire. Si vous leur montrez une photo prise dans la vraie vie (avec de la pluie, un angle bizarre, un filtre Instagram), ils sont perdus.
• Xray-Visual, lui, a grandi en voyant des milliards de photos "réelles". Il est comme un explorateur qui a vu de tout. Il reste calme et précis même quand les conditions changent (domain shift).

En Résumé

Xray-Visual est un modèle d'intelligence artificielle qui a appris à voir le monde en étudiant des milliards de photos et vidéos réelles d'Instagram et Facebook, triées avec soin.

Il est :

1. Plus intelligent (il comprend mieux le monde réel).
2. Plus rapide (il ne perd pas de temps sur les détails inutiles).
3. Plus compréhensif (il utilise un "professeur de langue" pour mieux lire les légendes).

C'est un pas de géant pour rendre les ordinateurs aussi intelligents que nous pour comprendre ce qu'ils voient, non pas dans un laboratoire, mais dans la vie de tous les jours.

Résumé technique

1. Problématique et Contexte

Bien que les modèles de langage (LLM) aient connu des avancées spectaculaires grâce à l'abondance de données textuelles, les modèles de vision par ordinateur (Computer Vision) souffrent d'un décalage en termes d'échelle de données et de capacité de généralisation. La collecte et l'organisation de données visuelles à une échelle comparable restent un défi majeur. De plus, les modèles actuels, bien que performants sur des benchmarks académiques, montrent souvent une dégradation significative des performances lors du déploiement sur des données réelles (domain shift), notamment sur les plateformes de médias sociaux où le bruit, la diversité des formats et les concepts à longue traîne sont omniprésents.

L'objectif de ce travail est de combler ce fossé en entraînant des modèles de vision unifiés sur des données à l'échelle industrielle (réseaux sociaux), tout en maintenant une efficacité computationnelle élevée et une robustesse face aux distributions de données réelles.

2. Méthodologie

L'approche proposée, nommée Xray-Visual, repose sur une architecture unifiée et un pipeline d'entraînement en trois étapes, alimenté par des données massives.

A. Collecte et Curation de Données (Échelle Industrielle)

Les auteurs ont construit deux ensembles de données massifs à partir de Facebook et Instagram :

• ViSE (Image Dataset) : Plus de 15 milliards de paires image-texte. Le pipeline de curation inclut le nettoyage rigoureux (suppression des URLs, emojis, tags), la détection de la langue (anglais), et un rééchantillonnage basé sur les synsets WordNet pour équilibrer la distribution à longue traîne des concepts visuels.
• URU (Video Dataset) : 10 milliards de paires vidéo-hashtags extraits de 24 milliards de publications Instagram. Les hashtags sont normalisés et canalisés pour améliorer la cohérence sémantique.
• Synthèse et Raffinement : Utilisation de modèles de langage multimodaux (MMLLM) pour générer des légendes synthétiques, suivies d'une réécriture par LLM (Llama) pour éliminer les répétitions et enrichir la diversité lexicale.

B. Architecture du Modèle

• Backbone Unifié : Le modèle repose sur un Vision Transformer (ViT) étendu avec une tokenisation 3D pour traiter simultanément les images et les vidéos dans un seul cadre.
• EViT (Efficient Vision Transformer) : Utilisation de la technique de réorganisation des tokens (token reorganization) pour supprimer les tokens inattentifs. Cela permet d'utiliser des résolutions d'entrée plus élevées (ex: 336x336) avec seulement 288 tokens (contre 1024 pour d'autres modèles de pointe), réduisant drastiquement le coût computationnel.
• Encodage Textuel par LLM (LLM2CLIP) : Remplacement de l'encodeur textuel standard CLIP par un LLM (Llama-1B). Pour résoudre le problème d'homogénéité des features des LLM, une stratégie de fine-tuning (LoRA) et d'alignement (SimCSE) est appliquée, permettant une meilleure compréhension des légendes complexes et longues.
• Composants Additionnels : Ajout de "Register tokens" pour capturer les caractéristiques aberrantes (outliers) et amélioration de la performance vidéo.

C. Pipeline d'Entraînement en Trois Étapes

1. Apprentissage Auto-supervisé (MAE) : Reconstruction de patches masqués (75% pour les images, 90% pour les vidéos) pour apprendre des représentations visuelles de base.
2. Classification Semi-supervisée (Hashtags) : Fine-tuning sur les hashtags normalisés pour apprendre des concepts d'objets et d'actions.
3. Apprentissage Contrastif (CLIP-style) : Alignement des représentations visuelles et textuelles (légendes et hashtags) via une perte de contraste.
   • Techniques avancées : Intégration d'une perte de débruitage (Denoising Loss) pour stabiliser l'entraînement et améliorer la robustesse, utilisation de l'optimiseur Lion, et stratégie d'échantillonnage de batch probabiliste pour équilibrer images et vidéos.

3. Contributions Clés

• Échelle de Données sans Précédent : Entraînement sur 26 milliards d'images et de vidéos (10 milliards de vidéos, soit ~10 millions d'heures), dépassant de 10x les modèles de type "World Models" existants (comme V-JEPA).
• Architecture Unifiée et Efficace : Un seul modèle gère images et vidéos avec une efficacité accrue grâce à EViT (réduction de 71,9% du nombre de tokens et 43,75% de la surface de pixels par rapport aux modèles standards).
• LLM2CLIP : Démonstration que l'utilisation de LLM comme encodeurs textuels améliore considérablement la généralisation et les performances de recherche sur des données réelles, même si les gains sur les benchmarks académiques standards sont moins marqués.
• Pipeline de Curation Robuste : Méthodologie systématique pour transformer des données brutes et bruyantes de réseaux sociaux en supervisions de haute qualité (équilibrage sémantique, suppression du bruit, légendes synthétiques raffinées).

4. Résultats

Le modèle Xray-Visual établit de nouveaux états de l'art (SOTA) sur plusieurs fronts :

• Classification d'Images :
  • ImageNet : 89,3% de précision Top-1 (Linear Probe) et 88,1% en Zero-Shot, surpassant les modèles comme PE, SigLIP et DiNO.
  • Efficacité : Atteint ces résultats avec une résolution de 336px et seulement 288 tokens, soit 4x plus efficace en termes de requêtes par seconde (QPS).
• Compréhension Vidéo :
  • Kinetics-700 : 78,1% de précision Top-1, surpassant les modèles purement vidéo et les modèles unifiés précédents.
  • HMDB51 : Résultats SOTA.
• Récupération Multimodale (Retrieval) :
  • Benchmarks Académiques : Performances SOTA sur MS-COCO et MSRVTT.
  • Benchmarks Internes (Réels) : Améliorations massives sur les tâches de recherche publicitaire et de recommandation (Reels-to-Ads). Par exemple, +10,8% d'AUC sur la recherche Reels Instagram vers publicités par rapport à la base Perception Encoder.
• Robustesse :
  • Le modèle montre une résistance supérieure aux perturbations adverses et aux changements de domaine (OOD), notamment sur ObjectNet et ImageNet-Sketch.
  • Contrairement aux modèles académiques qui chutent sur des données réelles, Xray-Visual maintient ses performances grâce à l'entraînement sur des données diversifiées et l'utilisation d'encodeurs LLM.

5. Signification et Impact

Ce travail marque un tournant dans le développement des modèles de vision :

1. Démocratisation de l'échelle industrielle : Il prouve que l'entraînement sur des données massives de réseaux sociaux, correctement curées, est non seulement possible mais supérieur aux approches basées sur des ensembles de données académiques épurés pour les applications réelles.
2. Convergence Vision-Langage : L'intégration réussie de LLM dans l'architecture CLIP (LLM2CLIP) ouvre la voie à des modèles de vision capables de comprendre des contextes sémantiques complexes et des légendes longues, essentiels pour les systèmes de recommandation modernes.
3. Efficacité et Déploiement : En démontrant qu'il est possible d'atteindre la SOTA avec moins de tokens et une résolution optimisée, le modèle rend viable le déploiement de modèles massifs dans des environnements de production à grande échelle (comme les infrastructures de Meta).
4. Robustesse Réelle : L'étude met en lumière le fossé entre les benchmarks académiques et la réalité industrielle, soulignant la nécessité d'entraîner sur des données diversifiées pour garantir la fiabilité des systèmes d'IA dans le monde réel.

En résumé, Xray-Visual établit une nouvelle référence pour les modèles de vision multimodaux scalables, combinant une efficacité computationnelle exceptionnelle, une précision de pointe et une robustesse inégalée face aux défis des données du monde réel.