Imaginez un monde où votre ordinateur ne se contente pas de « voir » une image ou de « lire » une phrase, mais comprend qu'une image, une phrase, une carte de profondeur et un croquis de contours sont simplement des langages différents décrivant la même réalité. Pendant longtemps, l'intelligence artificielle a été comme un spécialiste qui ne parle qu'un seul dialecte ; un modèle peut être excellent pour écrire des histoires mais médiocre pour dessiner, ou incroyable pour reconnaître des objets mais incapable de savoir à quelle distance ils se trouvent. Les scientifiques ont tenté de construire un « traducteur universel » pour ces différents types de données — ce qu'ils appellent des « modalités » — afin qu'un seul cerveau puisse passer de l'une à l'autre sans effort. Le grand défi a été de comprendre comment apprendre à un seul cerveau à parler tous ces langages avec fluidité sans avoir besoin d'un traducteur distinct pour chaque paire de langues.

Voici MODUS, un nouveau type de modèle d'IA qui agit comme un maître polyglotte. Au lieu de construire une machine massive et lourde avec des parties différentes pour des tâches différentes, les chercheurs ont construit un cerveau de type « decoder-only » (décodeur uniquement). Pensez à cela comme un conteur qui écoute une histoire et la poursuit, peu importe la langue dans laquelle l'histoire est racontée. Que vous lui donniez une photo, une description textuelle, une carte de profondeur (qui montre la distance des objets) ou un croquis de contours, MODUS traite tout cela comme un flux unique et continu de tokens (comme des mots dans une phrase). Il n'a pas besoin d'outils spéciaux pour la profondeur ou d'outils spéciaux pour le texte ; il prédit simplement ce qui vient après dans la séquence. Cela signifie qu'il peut prendre une photo et générer une carte de profondeur, ou prendre une carte de profondeur et générer une photo, ou même les enchaîner : photo → contours → profondeur → nouvelle photo, tout cela en une seule étape. L'article montre que cette approche fonctionne étonnamment bien, permettant au modèle d'accomplir des tâches complexes comme l'auto-vérification de son propre travail (self-verification) et la création d'images cohérentes à travers plusieurs étapes, le tout en utilisant une architecture unique et unifiée.

Le Cerveau Polyglotte : Comment fonctionne MODUS

Imaginez que vous avez un ami qui est incroyable pour raconter des histoires. Si vous lui donnez l'image d'un chat, il peut la décrire. Si vous lui donnez une description d'un chat, il peut le dessiner. Maintenant, imaginez que ce même ami puisse aussi vous dire à quelle distance se trouve le chat, ou dessiner un croquis de son contour, ou même expliquer ce que le chat ressent, le tout sans changer de personnalité ni avoir besoin d'un cerveau différent pour chaque tâche. C'est essentiellement ce que fait MODUS.

Par le passé, les modèles d'IA étaient souvent construits comme un couteau suisse doté de nombreux outils séparés : une lame pour le texte, une pour les images, une pour la profondeur. Si vous vouliez passer d'une carte de profondeur à une image, vous deviez peut-être utiliser une chaîne de différents modèles, chacun passant le relais au suivant. Cet article soutient que cela est inefficace et lourd. À la place, MODUS utilise une approche de type decoder-only. En termes simples, un « décodeur » est un type d'IA qui apprend en prédisant la partie suivante d'une séquence. Pensez à cela comme à un jeu de « téléphone arabe » où l'IA essaie de deviner le mot suivant, le pixel suivant ou la prochaine valeur de profondeur en se basant sur tout ce qui l'a précédée.

La magie de MODUS est qu'il traite tout comme une séquence.

• Le texte est une séquence de mots.
• Les images sont décomposées en minuscules patchs et transformées en une séquence de nombres.
• Les cartes de profondeur et les normales de surface (qui montrent la direction vers laquelle une surface fait face) sont également transformées en séquences.

Parce que tout n'est qu'une séquence de tokens, MODUS n'a pas besoin de « têtes » différentes (parties spécialisées) pour différentes tâches. Il regarde simplement la séquence d'entrée et prédit la séquence de sortie. Si vous lui donnez une photo et demandez une carte de profondeur, il traite la photo comme le « début » de l'histoire et la carte de profondeur comme la « suite ». Si vous lui donnez une carte de profondeur et demandez une photo, il inverse le scénario.

Le Superpouvoir « Any-to-Any »

L'article appelle cela la modélisation Any-to-Any (N'importe quoi vers n'importe quoi). C'est la capacité de prendre n'importe quelle combinaison d'entrées et de générer n'importe quelle combinaison de sorties.

• Entrée : Une photo d'une pièce. Sortie : Une description textuelle de la pièce.
• Entrée : Une description textuelle d'une pièce. Sortie : Une photo de la pièce.
• Entrée : Une photo d'une pièce. Sortie : Une carte de profondeur (montrant où se trouvent les meubles).
• Entrée : Une carte de profondeur. Sortie : Une photo.

La plupart des modèles précédents ne pouvaient faire que des paires spécifiques, comme « Texte vers Image » ou « Image vers Texte ». MODUS brise ces murs. Il peut même faire des choses qui semblent étranges pour d'autres modèles, comme transformer un « contour Canny » (un croquis de contours) directement en une carte de profondeur, ou combiner une photo et une consigne textuelle pour générer une carte de normales de surface.

La Recette Secrète : Échantillonnage Uniforme et Entraînement par Étapes

Vous vous demandez peut-être : « Si c'est juste prédire le prochain token, pourquoi est-ce difficile ? » Les chercheurs ont découvert quelques points délicats.

Premièrement, il y avait un problème de confusion de modalité. Lorsque le modèle apprenait à générer des images ou des cartes de profondeur, il se trompait parfois. On pouvait lui demander de générer une carte de profondeur, mais il produisait accidentellement une carte de contours. L'article a découvert que cela arrivait à cause de la manière dont les « étapes temporelles » (timesteps) étaient échantillonnées pendant l'entraînement. Imaginez entraîner un modèle à dessiner un tableau en partant d'un fouillis flou et en le rendant progressivement plus net. Si vous passez trop de temps dans le milieu du processus (où c'est encore flou) et pas assez de temps au tout début (où le modèle décide ce qu'il est en train de dessiner), le modèle se confond sur ce qu'il est censé dessiner.

Pour corriger cela, l'équipe a utilisé un échantillonnage uniforme des étapes temporelles (uniform timestep sampling). Au lieu de se concentrer sur les étapes intermédiaires, ils se sont assurés que le modèle s'entraîne de manière égale sur les toutes premières étapes (décider de la modalité) et sur les toutes dernières étapes (affiner les détails). Cela a aidé le modèle à apprendre à dire : « D'accord, je suis en train de dessiner une carte de profondeur », avant de commencer à se soucier des détails.

Deuxièmement, ils ont utilisé une approche d'entraînement par étapes (staged training). Ils n'ont pas tout jeté au modèle en même temps.

1. Étape 1 : Ils lui ont appris les bases des éléments en 1D comme le texte et les boîtes englobantes (bounding boxes - ancrage/grounding).
2. Étape 2 : Ils ont ajouté les éléments spatiaux en 2D comme la profondeur, les normales de surface et les contours.
3. Étape 3 : Ils lui ont appris à gérer plusieurs entrées à la fois (multi-condition) et à les enchaîner.

Cette approche étape par étape a permis au modèle d'apprendre sans être submergé, lui permettant d'hériter des connaissances solides acquises lors de son entraînement sur le texte et les images, puis d'étendre ces connaissances à de nouveaux types de données.

Génération Chaînée et Auto-Vérification

L'une des fonctionnalités les plus intéressantes de MODUS est la Génération Chaînée (Chained Generation). Comme MODUS traite tout comme une séquence unique, il peut utiliser sa propre sortie comme entrée pour l'étape suivante.

• Imaginez que vous vouliez générer une scène en 3D à partir d'une description textuelle.
• Au lieu d'essayer de passer directement de « Texte » à « Scène 3D », MODUS peut faire : Texte → Croquis de contours → Carte de profondeur → Image finale.
• Le croquis de contours aide le modèle à comprendre la disposition, la carte de profondeur l'aide à comprendre la géométrie, et l'image finale est construite sur cette base solide.

L'article montre que cet enchaînement rend le résultat final beaucoup plus cohérent. Si vous essayez simplement de passer de Texte à Image directement, le modèle pourrait se tromper sur la disposition. Mais en passant par une étape intermédiaire (comme un croquis de contours), le modèle « verrouille » la structure avant d'ajouter les couleurs et les détails.

Un autre tour de main efficace est l'Auto-Vérification Cross-Modale (Cross-Modal Self-Verification). Puisque MODUS peut générer n'importe quelle modalité, il peut vérifier son propre travail.

• Si MODUS génère une image à partir d'une consigne textuelle, il peut immédiatement générer une carte d'ancrage (grounding map, montrant où se trouvent les objets) ou répondre à une question sur l'image (VQA).
• Si l'image générée ne correspond pas à la description textuelle lorsqu'elle est vérifiée de cette manière, le modèle peut la rejeter et réessayer.
• L'article a constaté que l'utilisation de cette méthode d'auto-vérification améliorait la qualité des images générées, les rendant plus précises par rapport à la consigne sans avoir besoin d'outils externes pour les noter.

Les Résultats : Un Seul Modèle pour Tout Régner

Les chercheurs ont testé MODUS sur un ensemble de données massif appelé MODUS-DATASET, qui contient 29 millions d'échantillons où les images sont appariées avec toutes ces différentes annotations (profondeur, contours, texte, etc.). Ils ont entraîné le modèle sur ces données et ont constaté qu'il est très performant sur tous les plans.

• Il peut effectuer l'Ancrage Visuel (Visual Grounding - trouver des objets dans une image selon le texte) aussi bien que des modèles spécialisés.
• Il peut estimer la Profondeur et les Normales de Surface avec une grande précision.
• Il peut générer des images à partir de texte de manière compétitive avec d'autres modèles de pointe.
• Crucialement, il fait tout cela avec un seul et même modèle. Vous n'avez pas besoin de télécharger un modèle différent pour la profondeur, un autre pour les contours et un autre pour le texte.

L'article note explicitement que, bien que les modèles précédents aient souvent eu du mal à égaler les performances d'experts spécialisés sur une seule tâche, MODUS parvient à être compétitif avec eux tout en offrant la flexibilité de tout faire en même temps. Cela suggère que l'approche « decoder-only » est une fondation puissante pour l'avenir de l'IA multimodale, capable de gérer divers types de données sans nécess avoir besoin d'architectures complexes et personnalisées pour chaque nouvelle tâche.

En bref, MODUS est un pas vers une IA plus unifiée — une IA qui ne voit pas le monde comme des catégories de données séparées, mais comme une histoire unique et interconnectée qui peut être racontée, racontée à nouveau et traduite dans n'importe quel langage qu'elle choisit.