Modern Computer Vision from CNNs to Foundation Models: A Unified Framework for Representation Learning

Imaginez que vous essayiez d'apprendre à un robot à voir le monde. Pendant longtemps, la meilleure façon de faire cela était de donner au robot un ensemble de règles très spécifiques et rigides, comme un chef suivant une recette étape par étape. Mais le monde est désordonné, coloré et plein de surprises. Récemment, les scientifiques ont tenté de construire des « modèles de fondation » (foundation models) — des cerveaux massifs et super intelligents qui ne se contentent pas de suivre une recette, mais qui apprennent réellement ce que sont les choses en étudiant des millions d'images, tout comme un enfant apprend en regardant autour de lui. Ces modèles sont désormais si puissants qu'ils peuvent non seulement identifier un chat sur une photo, mais aussi le décrire, en dessiner un nouveau à partir de zéro, ou même comprendre son son. La grande question que se posent les chercheurs est la suivante : tous ces différents types de robots intelligents sont-ils en fait simplement des versions différentes de la même chose ? Cherchent-ils tous à construire la même sorte de « carte » interne du monde, en utilisant simplement des outils différents pour y parvenir ?

Ce document, écrit par une équipe de chercheurs, agit comme un guide touristique pour ce paysage de la vision par ordinateur en mutation rapide. Au lieu de traiter les différents types d'IA comme des tribus distinctes, les auteurs proposent un « cadre unifié ». Ils suggèrent que, qu'un modèle utilise les couches convolutionnelles de la vieille école (qui regardent de petits fragments d'une image), les « Transformers » modernes (qui regardent l'image entière à la fois), ou des modèles génératifs (qui créent de nouvelles images), ils accomplissent tous fondamentalement la même tâche : construire et manipuler une « représentation latente » cachée du monde. Pensez à cette représentation comme à un langage secret et compressé que l'IA utilise pour comprendre la réalité. Le document soutient que les frontières entre les modèles qui reconnaissent les choses, les modèles qui en parlent et les modèles qui les dessinent s'estompent. Ils convergent tous vers une intelligence plus générale capable de gérer la perception, le raisonnement et la création, tout à la fois.

L'évolution des yeux du robot

Pour comprendre où nous en sommes, nous devons regarder comment les « yeux » du robot ont changé. Pendant plus d'une décennie, l'outil dominant a été le Réseau de Neurones Convolutionnels (CNN). Vous pouvez voir un CNN comme un petit détective local. Il possède une petite loupe (un filtre) qu'il fait glisser sur une image, à la recherche de motifs simples comme des bords ou des coins. Il est très doué pour ce travail local et excelle dans l'apprentissage à partir de petites quantités de données car il possède des règles intégrées (biais inductifs) sur la façon dont le monde fonctionne, comme « les objets ont généralement des parties proches les unes des autres ». Cependant, ce détective a un angle mort : il a du mal à relier les points entre des éléments éloignés dans l'image. Il pourrait voir l'oreille d'un chien et sa queue, mais ne pas réaliser qu'ils appartiennent au même chien s'ils se trouvent aux deux extrémités de la photo.

Puis est arrivé le Vision Transformer (ViT). Si le CNN est un détective local, le ViT est un commère global. Au lieu de faire glisser une loupe, il décompose l'image en petits morceaux de puzzle (patches) et permet à chaque morceau de discuter avec tous les autres en même temps. Cela se fait via un mécanisme appelé « auto-attention » (self-attention). Soudain, le robot peut voir toute l'image à la fois. Il peut instantanément relier l'oreille et la queue, peu importe la distance qui les sépare. Cela a rendu l'IA incroyablement puissante, mais cela a eu un coût : ces modèles de « commérages » sont affamés. Ils ont besoin de quantités massives de données pour apprendre car ils n'ont pas les mêmes règles intégrées que les CNN ; ils doivent découvrir les règles du monde par eux-mêmes.

La Grande Convergence : Mélanger les Outils

Le document met en lumière une tendance fascinante : les deux approches commencent à fusionner. Les chercheurs ont réalisé que le détective local et le commère global possèdent chacun des forces qui manquent à l'autre. Ils ont donc commencé à construire des Architectures Hybrides. Imaginez une équipe où le détective local effectue le scan initial pour trouver les contours, puis le commère global prend le relais pour comprendre l'ensemble de la scène. Des modèles comme CoAtNet et MaxViT font exactement cela. Ils utilisent des couches convolutionnelles pour obtenir les détails locaux efficacement, puis passent aux mécanismes d'attention pour comprendre la vue d'ensemble. Le document suggère que ce n'est pas un mélange aléatoire ; c'est une évolution nécessaire pour obtenir le meilleur des deux mondes : l'efficacité des données des CNN et le puissant raisonnement des Transformers.

L'Ascension du Cerveau de « Fondation »

Le prochain grand bond décrit dans le document est le passage vers les Modèles de Fondation. Ce sont les « super-cerveaux » du monde de l'IA. Au lieu d'entraîner un robot à simplement reconnaître des chats, les scientifiques ont commencé à les entraîner sur des milliards d'images sans aucune étiquette (apprentissage auto-supervisé). Des modèles comme DINO et DINOv2 en sont des exemples. Ils apprennent à comprendre la structure du monde simplement en regardant des images. Si vous leur montrez une photo d'un chat de face, puis de profil, ils apprennent que ce sont le même objet, même sans que personne ne leur dise « c'est un chat ».

Le document explique que ces modèles deviennent si performants dans la compréhension des représentations visuelles qu'ils peuvent être utilisés pour presque tout. DINOv3, par exemple, crée des cartes si détaillées d'une image que vous pouvez les utiliser pour trouver des parties spécifiques d'un objet ou faire correspondre des objets similaires à travers différentes photos, le tout sans avoir besoin d'un entraînement spécifique pour ces tâches. C'est comme si le robot avait appris la « grammaire » de la vision, de sorte qu'il puisse parler n'importe quel « dialecte » (tâche) que vous lui demandez.

Parler et Dessiner : Modèles Multimodaux et Génératifs

L'histoire devient encore plus passionnante lorsque ces cerveaux visuels commencent à parler et à dessiner. Les modèles multimodaux comme CLIP et ImageBind connectent le monde visuel au monde des mots et des sons. CLIP apprend à faire correspondre des images avec des descriptions textuelles. C'est comme apprendre au robot que l'image d'un « coucher de soleil » et les mots « coucher de soleil » signifient la même chose. ImageBind va plus loin, liant les images à l'audio, à la profondeur et même à des capteurs de mouvement, créant un espace partagé unique où tous ces sens différents coexistent.

Ensuite, il y a les Modèles Génératifs, plus précisément les Modèles de Diffusion. Ce sont les artistes. Ils ne se contentent pas de reconnaître une image ; ils en créent une. Ils partent d'une toile remplie de bruit statique aléatoire et, étape par étape, retirent progressivement le bruit pour révéler une image claire. Le document note que ces modèles utilisent désormais les mêmes cerveaux « Transformer » que ceux utilisés pour la reconnaissance. Les Diffusion Transformers (DiT) remplacent les anciens artistes convolutionnels par les nouveaux cerveaux de commères globaux, rendant la génération d'art plus rapide et plus cohérente. Des méthodes plus récentes comme le Rectified Flow tentent de rendre ce processus encore plus direct, transformant le voyage lent et bruité en une ligne droite et fluide.

La Vue d'Ensemble : Un Langage Unifié

La conclusion centrale de ce document est que toutes ces approches différentes — CNN, Transformers, apprentissage auto-supervisé, systèmes multimodaux et art génératif — ne sont pas des îles séparées. Elles convergent toutes vers une manière unique et unifiée de concevoir la vision. Les auteurs soutiennent que nous devrions cesser de les voir comme des outils différents et commencer à les voir comme différentes manières de construire et d'utiliser une représentation latente.

Considérez cette représentation latente comme un langage secret et compressé que l'IA utilise pour décrire le monde.

• Les CNN construisent ce langage en utilisant des règles locales.
• Les Transformers le construisent en laissant tout le monde communiquer avec tout le monde.
• Les Modèles de Fondation apprennent ce langage en lisant toute la bibliothèque d'Internet.
• Les Modèles Génératifs utilisent ce langage pour écrire de nouvelles histoires (créer des images).

Le document suggère que l'avenir de la vision par ordinateur n'est pas de choisir un vainqueur. Au contraire, il s'agit de construire une Intelligence Visuelle à Usage Général. Ces futurs systèmes seront capables de voir, de comprendre, de parler et de créer, le tout au sein d'un même cadre. Ils seront capables de regarder une photo, d'expliquer ce qui s'y passe, de répondre à des questions à son sujet et même d'en dessiner une nouvelle version, car ils partagent le même « cerveau » sous-jacent pour comprendre le monde.

La Route à Suivre : Défis et Rêves

Bien que le document soit optimiste quant à cette convergence, il souligne également que nous n'y sommes pas encore. Il reste de grands obstacles.

• Efficacité : Ces modèles massifs sont gourmands en puissance de calcul. Les faire fonctionner sur de petits appareils (comme des téléphones ou des robots) reste un défi.
• Confiance et Sécurité : Comme ces modèles sont très complexes, il est difficile de savoir pourquoi ils prennent certaines décisions. Si une IA médicale dit qu'un patient est malade, nous devons savoir si elle a raison ou si elle ne fait que deviner. Le document insiste sur la nécessité d'un « déploiement digne de confiance », signifiant des modèles fiables et capables de s'expliquer.
• Données : Ces modèles ont besoin de quantités énormes de données de haute qualité. Trouver suffisamment de bonnes données sans tout copier sur Internet est un problème croissant.

En conclusion, ce document brosse le portrait d'un domaine en pleine maturation. Nous passons de la construction de robots spécialisés pour des tâches uniques (comme compter des voitures) à la création d'assistants visuels universels capables d'apprendre, de raisonner et de créer. Les outils changent, mais l'objectif devient plus clair : créer des machines qui ne voient pas le monde comme une simple collection de pixels, mais comme une réalité riche et interconnectée qu'elles peuvent comprendre et avec laquelle elles peuvent interagir.