ERNIE 5.0 Technical Report
Cet article présente ERNIE 5.0, le premier modèle de fondation unifié autorégressif à l'échelle de la production de l'ordre du trillion de paramètres, divulgué publiquement, qui prend en charge nativement la compréhension et la génération multimodales à travers le texte, l'image, la vidéo et l'audio grâce à une architecture de mélange d'experts ultra-parcimonieuse et un nouveau paradigme d'entraînement élastique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'idée maîtresse : Le cerveau « Couteau Suisse »
Imaginez que la plupart des modèles d'IA actuels sont comme une équipe de spécialistes : une personne écrit, une autre dessine et une troisième chante. Ils peuvent se parler, mais ce sont des personnes distinctes avec des cerveaux séparés.
ERNIE 5.0 est différent. C'est un cerveau unique et massif qui apprend à écrire, dessiner, chanter et créer des vidéos en même temps, dès le premier jour. Au lieu d'ajouter un « module de dessin » à un « cerveau d'écriture », ERNIE 5.0 est entraîné dès le départ pour comprendre qu'une image, un son et un mot ne sont que des types différents de « tokens » (comme des pièces de puzzle) qui s'emboîtent dans le même grand puzzle.
1. Le moteur : Une usine intelligente et parcimonieuse
Le document décrit l'architecture du modèle comme un Ultra-Sparse Mixture-of-Experts (MoE) (Mélange d'experts ultra-parcimonieux).
- L'analogie : Imaginez une immense usine avec 1 000 travailleurs spécialisés différents (les experts). Lorsqu'une tâche arrive, le directeur de l'usine (le routeur) ne réveille pas les 1 000 travailleurs. Au lieu de cela, il ne réveille que les 2 ou 3 meilleurs travailleurs pour cette tâche spécifique.
- L'innovation : Dans les anciens modèles, le directeur pouvait avoir des règles différentes pour les « tâches d'écriture » par rapport aux « tâches de dessin ». Dans ERNIE 5.0, le directeur est agnostique à la modalité. Peu importe si la requête est un poème ou une peinture ; il regarde simplement le contenu et choisit les meilleurs travailleurs. Cela permet au modèle d'être énorme (des billions de paramètres) tout en restant rapide et efficace, car il n'utilise qu'une infime fraction de son cerveau pour une tâche donnée.
2. Le style d'apprentissage : « Taille unique » (Entraînement élastique)
Habituellement, si une entreprise veut une petite IA pour un téléphone et une grande IA pour un serveur, elle doit entraîner deux modèles différents ou réduire la taille du grand plus tard (comme couper un gâteau). C'est du gaspillage et cela gâche souvent le goût du gâteau.
ERNIE 5.0 utilise l'Entraînement Élastique.
- L'analogie : Imaginez l'entraînement d'un gymnaste. Au lieu de l'entraîner uniquement pour un enchaînement complet, vous l'entraînez pour faire l'enchaînement complet, mais vous lui demandez aussi de sauter aléatoirement quelques sauts ou d'utiliser une poutre plus courte pendant l'entraînement.
- Le résultat : À la fin de l'entraînement, ce gymnaste est si bien préparé qu'il peut exécuter l'enchaînement complet parfaitement, ou il peut instantanément passer à un enchaînement plus court et plus simple sans avoir besoin d'un entraînement supplémentaire. Cela signifie qu'un seul modèle ERNIE 5.0 peut être « réduit » à la volée pour s'adapter à un téléphone, une tablette ou un supercalculateur sans perdre beaucoup de performance.
3. Voir et entendre : Parler la même langue
Pour gérer les images et l'audio, le modèle utilise des traducteurs spéciaux (tokenizers) pour transformer les images et les sons dans la même « langue » que le texte.
- Vision (Images/Vidéo) : Le modèle traite une image unique comme une « vidéo d'une seule image ». Il apprend à prédire la « l'échelle » suivante de détail (comme zoomer) et l'image suivante dans le temps. Il utilise une approche « hybride », regardant à la fois la vue d'ensemble (la sémantique) et les détails minuscules (les pixels), comme un artiste qui comprend à la fois l'histoire d'une peinture et les coups de pinceau.
- Audio (Parole/Son) : Il décompose le son en couches, comme si l'on épluchait un oignon. La première couche capture le « sens » (ce qui est dit), et les couches plus profondes capturent la « texture » (le ton de la voix, le bruit de fond). Il prédit ces couches une par une, de l'idée générale vers les détails les plus fins.
4. Devenir plus intelligent : Apprentissage par renforcement avec indices
Après l'entraînement initial, le modèle doit apprendre à raisonner et à suivre des instructions complexes. Cela se fait par l'Apprentissage par Renforcement (RL).
- Le défi : Parfois, le modèle reste bloqué sur des problèmes difficiles et arrête d'essayer (effondrement de l'entropie).
- La solution : Les chercheurs ont introduit l'Apprentissage Adaptatif basé sur des Indices (Adaptive Hint-based Learning).
- L'analogie : Imaginez un étudiant passant un examen de mathématiques difficile. S'il est bloqué, l'enseignant ne lui donne pas simplement la réponse. Au lieu de cela, l'enseignant lui donne un petit indice (« Pense à la première étape »). À mesure que l'étudiant progresse, l'enseignant donne de moins en moins d'indices jusqu'à ce que l'étudiant puisse résoudre le problème seul.
- Cela aide le modèle à apprendre des tâches difficiles sans se décourager ou abandonner.
5. Les résultats : Équilibré et prêt pour le monde réel
Le document affirme qu'ERNIE 5.0 est le premier modèle de type production-scale (échelle de production) de ce genre (des billions de paramètres) qui gère nativement le texte, l'image, la vidéo et l'audio ensemble.
- Performance : Il est aussi performant (voire meilleur) que les modèles spécialisés en lecture, mathématiques, codage et dessin.
- Efficacité : Grâce à sa conception « élastique », vous pouvez le réduire pour n'utiliser que 35 % de sa puissance totale tout en obtenant toujours 95 % des résultats. Cela le rend pratique pour fonctionner sur différents appareils, des serveurs puissants aux petits gadgets.
En résumé : ERNIE 5.0 est un cerveau d'IA unifié, flexible et efficace qui apprend tout en même temps. Il n'a pas besoin d'être réentraîné pour s'adapter à différents appareils, et il traite les images, les sons et les mots comme faisant partie de la même conversation, plutôt que comme des sujets séparés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.