💻 computer science

Sumi: Open Uniform Diffusion Language Model from Scratch

Le document présente Sumi, un modèle de langage de diffusion uniforme de 7B entièrement ouvert, préentraîné de zéro sur 1,5 billion de jetons, qui sert de premier point de référence à grande échelle pour l'étude de la diffusion uniforme native et démontre des performances compétitives sur les tests de connaissances, de raisonnement et de codage.

Auteurs originaux : Mengyu Ye, Keito Kudo, Wataru Ikeda, Ryosuke Matsuda, Keisuke Sakaguchi, Jun Suzuki

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mengyu Ye, Keito Kudo, Wataru Ikeda, Ryosuke Matsuda, Keisuke Sakaguchi, Jun Suzuki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Une nouvelle façon d'écrire avec l'IA

Imaginez que vous essayez d'écrire une histoire.

L'ancienne méthode (Modèles autorégressifs) : C'est comme écrire avec un stylo sur du papier. Vous écrivez un mot, puis le suivant, puis le suivant. Une fois que vous avez écrit un mot, c'est fait. Si vous faites une erreur, vous devez raturer ou recommencer toute la page. Vous ne pouvez pas revenir en arrière pour changer le premier mot sans réécrire tout ce qui suit.
La nouvelle méthode (Sumi / Diffusion uniforme) : Imaginez que vous peignez un tableau sur une toile déjà recouverte de bruit statique (comme de la neige sur une vieille télévision). Au lieu d'écrire mot par mot, vous regardez l'ensemble de la toile d'un coup. Vous pouvez choisir n'importe quel mot dans la phrase, l'effacer et le remplacer par un meilleur. Vous pouvez faire cela encore et encore, en affinant toute l'histoire simultanément jusqu'à ce qu'elle soit parfaite.

L'article présente Sumi (qui signifie « encre » en japonais), un modèle d'IA de 7 milliards de paramètres qui utilise cette méthode de « peinture ». C'est la première fois que quelqu'un construit un modèle de cette taille de zéro en utilisant cette technique spécifique, plutôt que de simplement ajuster un ancien modèle de « l'écriture au stylo ».

Comment ils l'ont construit : L'analogie de l'école

Pour entraîner Sumi, les chercheurs n'ont pas simplement déversé des textes aléatoires provenant d'Internet. Ils ont élaboré un « programme scolaire » très spécifique.

Le manuel scolaire (Pré-entraînement) : Ils ont nourri le modèle de 1,3 billion de mots. Mais ils n'ont pas pris n'importe quoi. Ils ont filtré les données pour donner la priorité à un contenu éducatif de haute qualité. Considérez cela comme si vous donniez à l'IA une bibliothèque remplie de manuels scolaires, d'encyclopédies et de guides de programmation, tout en filtrant beaucoup de bavardages informels d'Internet, de mèmes ou de blogs de faible qualité.
L'entraînement spécialisé (Milieu d'entraînement) : Après l'école générale, ils lui ont donné un « camp d'entraînement » axé sur trois sujets spécifiques : le Codage, les Mathématiques et le Raisonnement. Ils ont ajouté encore plus de code et de problèmes mathématiques à son régime alimentaire.
Le résultat : Grâce à ce régime riche en éducation, Sumi est très doué pour les connaissances, la logique et l'écriture de code. Cependant, comme il n'a pas assez consommé de nourriture de « conversation informelle » ou de « bon sens », il a un peu de mal avec les questions de bon sens quotidien (comme « Pourquoi les gens portent-ils des parapluies quand il pleut ? »).

La performance : À quel point le « peintre » est-il bon ?

Les chercheurs ont testé Sumi contre d'autres modèles d'IA célèbres (comme Llama et Falcon) qui utilisent la méthode traditionnelle de « l'écriture au stylo ».

Les victoires : Sur des tests impliquant des connaissances générales, le raisonnement et le codage, Sumi a performé aussi bien que les meilleurs modèles de « l'écriture au stylo », même si ces derniers ont été entraînés sur beaucoup plus de données.
Les points faibles : Sur des tests nécessitant du « bon sens » (comme comprendre des situations sociales), Sumi a obtenu des scores plus bas. Les auteurs admettent que c'est probablement parce que leurs données d'entraînement étaient trop concentrées sur les matières scolaires et pas assez sur la vie quotidienne.

L'expérience de la « Toile » : Trouver le point d'équilibre

L'une des parties les plus intéressantes de l'article est la façon dont ils ont testé la « flexibilité » du modèle.

La taille de la toile : Dans cette IA, vous devez décider de la longueur de la phrase avant de commencer à la générer. C'est ce qu'on appelle la « longueur de la toile » (canvas length).
La découverte : Sumi fonctionne mieux lorsque la toile mesure exactement 2048 tokens.
- Si la toile est trop courte, le modèle s'embrouille et écrit des charabia.
- Si la toile est trop longue, il s'embrouille aussi.
- C'est comme un musicien qui peut jouer une chanson parfaitement si la scène est d'une taille spécifique, mais si la scène est trop petite ou trop grande, il perd son rythme.

Le mystère de l'« engagement » : Comment décide-t-il ?

Puisque Sumi peut changer n'importe quel mot à tout moment, vous pourriez vous demander : Est-ce qu'il devine au hasard, ou a-t-il un plan ?

La découverte : Les chercheurs ont découvert que Sumi n'a pas un ordre fixe (comme « commencer par le début »). Au lieu de cela, il utilise un système de « confiance ».
- Il regarde l'ensemble de la phrase et dit : « Je suis assez sûr de ce mot, donc je le verrouille. Je ne suis pas sûr de ce mot-là, donc je continue à travailler dessus. »
- Cela crée un ordre naturel où il verrouille les parties faciles d'abord et garde les parties difficiles pour plus tard.
Vitesse parallèle : Parce qu'il verrouille les mots dont il est confiant en premier, il peut en fait écrire plusieurs mots en même temps (décodage parallèle) pour les tâches de codage, ce qui est plus rapide que l'ancienne méthode « un mot à la fois ».

Le mythe de l'« auto-correction »

Une grande promesse de cette méthode de « peinture » est que l'IA devrait pouvoir corriger ses propres erreurs facilement. Les chercheurs ont testé cela en donnant à Sumi du temps supplémentaire pour réviser ses réponses.

Le résultat : Étonnamment, cela n'a pas aidé. Même lorsque Sumi était autorisé à réécrire ses réponses plusieurs fois, il se contentait souvent de changer un mot pour le remettre tel qu'il était au départ. Il n'a pas réellement « appris » à corriger ses erreurs pendant le processus de génération. Il semble que le modèle atteigne un plafond et ne sache pas comment améliorer une réponse une fois qu'elle est engagée.

Résumé

Sumi est une expérience audacieuse montrant que nous pouvons construire une IA puissante de zéro en utilisant une méthode de « peinture » (Diffusion uniforme) plutôt que la méthode traditionnelle de « l'écriture ».

Il est excellent en : Mathématiques, codage et faits (parce qu'il a beaucoup étudié).
Il est correct en : Bon sens (parce qu'il a sauté les choses « amusantes »).
Il est étrange en : Changement d'avis (il ne s'auto-corrige pas encore très bien).

Les auteurs ont publié le modèle, le code et la recette exacte de ce qu'ils lui ont donné, dans l'espoir que d'autres scientifiques l'utiliseront pour découvrir comment rendre cette méthode de « peinture » encore meilleure.

Résumé technique : Sumi – Modèle de langage à diffusion uniforme ouvert entraîné de zéro

Énoncé du problème

Bien que les modèles de diffusion soient apparus comme une alternative prometteuse aux modèles de langage autorégressifs (AR), un fossé important subsiste dans le développement des Modèles de Langage à Diffusion Uniforme (UDLM) à grande échelle. Contrairement aux Modèles de Langage à Diffusion Masquée (MDLM), qui remplissent les jetons masqués de manière irréversible, les UDLM permettent la mise à jour de n'importe quel jeton à n'importe quelle étape, ce qui permet théoriquement une génération plus flexible et une autocorrection.

Cependant, aucun UDLM n'a été préentraîné de zéro à la fois à des échelles de paramètres importantes (milliards de paramètres) et à de gros budgets de jetons (billions de jetons). Les UDLM existants à grande échelle sont soit des points de contrôle (checkpoints) optimaux en termes de calcul entraînés sur de petits budgets de jetons, soit des modèles adaptés à partir d'architectures AR préentraînées (par exemple, DiffusionGemma). Par conséquent, le comportement d'une diffusion uniforme native à grande échelle dans un régime riche en données reste inexploré, manquant d'un point de référence clair pour étudier les lois d'échelle, la dynamique de génération et les compromis par rapport aux bases de référence AR et MDLM établies.

Méthodologie

Architecture du modèle et objectif d'entraînement

Les auteurs présentent Sumi, un UDLM de 7 milliards de paramètres entièrement ouvert.

Architecture : Sumi utilise un Transformer bidirectionnel indépendant du temps avec 36 couches, une taille de dimension cachée de 4 096 et des MLP Swiglu. Il emploie l'attention par requêtes groupées (32 têtes, 8 groupes KV), la normalisation RMSNorm et des plongements (embeddings) d'entrée/sortie non liés. Pour atténuer les "attention sinks", une fonction softmax décalée d'un pas est appliquée dans l'attention.
Objectif : Le modèle est entraîné en utilisant l'objectif de Diffusion Discrète d'Interpolation Généralisée (GIDD), spécifiquement sous sa forme reparamétrée par le rapport signal sur bruit (SNR).
Calendrier de bruit (Noise Schedule) : L'entraînement utilise un bruit uniforme pur avec le log-SNR restreint à $\lambda \in [-9, 9]$ .
Tokenisation : Le tokenizer OLMo 3 est utilisé avec une taille de vocabulaire de 100 278.

Régime d'entraînement

Sumi a été préentraîné de zéro sur 1,5 billion de jetons en utilisant 288 GPU NVIDIA H100 (totalisant environ 43 308 heures-GPU).

Pré-entraînement (1,3 billion de jetons) : Réalisé à une longueur de séquence de 1 184 avec une taille de lot globale de 4 608. Le mélange de données est fortement pondéré vers le contenu éducatif, filtré et reclassé par des scores éducatifs dérivés d'un classificateur distillé Qwen3-32B.
Milieu d'entraînement (250 milliards de jetons) : Deux étapes suivent le pré-entraînement :
- 130 milliards de jetons à la longueur originale (1 184).
- 120 milliards de jetons à une longueur étendue (4 864).
- Le mélange se concentre davantage sur le code, les mathématiques et le raisonnement, comprenant 32,5 % de données de codage, 29,7 % de mathématiques, 21,0 % de général et 16,8 % de raisonnement.

Stratégie d'inférence

Longueur de la toile (Canvas Length) : Le modèle utilise une longueur de toile fixe de 2 048 jetons pour toutes les évaluations. Cette longueur a été choisie car les performances se dégradent considérablement sur des toiles nettement plus courtes ou plus longues.
Échantillonnage : Les auteurs explorent l'échantillonnage adaptatif basé sur la confiance par rapport à l'échantillonnage ancestral.
Protocole d'évaluation : Toutes les évaluations utilisent le lm-evaluation-harness modifié pour le scoring de diffusion. Pour les tâches de vraisemblance (likelihood), les positions au-delà de la réponse sont remplies de jetons aléatoires ; pour les tâches de génération, les mises à jour sont restreintes à la longueur de génération.

Contributions clés

Premier UDLM natif à grande échelle : Sumi est le premier UDLM préentraîné de zéro à une grande échelle de paramètres (7B) et un grand budget de jetons (1,5T), fournissant une base pour étudier la diffusion uniforme native.
Sortie ouverte : Les auteurs publient les poids du modèle, les points de contrôle et la recette complète de l'entraînement, incluant une spécification complète du mélange de données sur des corpus publics.
Sondes d'inférence exploratoires : L'article présente des analyses directionnelles sur la dynamique de génération, incluant la sensibilité de la longueur de la toile, l'ordre d'engagement des jetons, les capacités de décodage parallèle et le potentiel d'autocorrection.

Résultats

Performance sur les benchmarks

Sumi a été évalué sur 13 benchmarks répartis en quatre catégories et comparé à des modèles AR ouverts (Falcon-7B, Llama 2-7B, OLMo-7B) entraînés sur des budgets de jetons comparables.

Connaissances générales et Codage : Sumi est compétitif, obtenant les meilleurs scores parmi les modèles évalués sous le même protocole sur MMLU, TruthfulQA, HumanEval et MBPP. Cela est attribué au mélange de données riche en éducation et en code.
Raisonnement et Mathématiques : Sumi est compétitif avec Llama 2-7B et surpasse Falcon-7B sur des tâches comme GSM8K et ARC, bien qu'il soit en retrait derrière des modèles plus grands ou entraînés différemment (ex: LLaDA-8B, Llama 3-8B).
Sens Commun : Sumi est nettement moins performant sur les benchmarks de sens commun (PIQA, HellaSwag, WinoGrande). Les auteurs attribuent cet écart à la composition de données riche en éducation, ce qui a été observé pour dégrader les performances de sens commun, bien qu'ils notent que l'écart est probablement plus important que ce que la seule composition des données peut expliquer.

Observations lors de l'inférence

Sensibilité de la toile : La fluidité de la génération est hautement sensible à la longueur de la toile. Sumi génère de manière fluide dans une bande dépendante de la tâche (centrée autour de 2 048), mais se dégrade brutalement en dehors de cette plage, particulièrement sur les toiles courtes.
Ordre d'engagement (Commitment Order) : Bien que l'objectif d'entraînement soit indépendant de l'ordre, l'échantillonnage basé sur la confiance induit un ordre d'engagement auto-organisé. Le modèle a tendance à engager les jetons déterminables tôt et à différer les incertains, une structure absente de l'échantillonnage ancestral.
Décodage Parallèle : Sur les tâches de codage (HumanEval, MBPP), le modèle supporte un décodage parallèle modeste (engager jusqu'à 4 jetons par étape) avec une perte de précision minimale. Cependant, l'arithmétique multi-étapes (GSM8K) reste sensible à l'ordre, se dégradant immédiatement avec des étapes parallèles.
Autocorrection : Un budget de révision explicite (permettant des passages de débruitage supplémentaires) ne produit pas d'autocorrection. Bien que le modèle écrase les jetons engagés, ces éditions sont principalement des "allers-retours" ( $A \to B \to A$ ) plutôt que des améliorations dirigées, laissant la précision finale inchangée.

Signification et affirmations

L'article positionne Sumi comme une ressource fondamentale pour la communauté afin d'étudier la diffusion uniforme native à grande échelle. Les auteurs soulignent que leurs sondes d'inférence sont "directionnelles plutôt que conclusives", destinées à motiver la recherche future sur des aspects mal compris des UDLM, tels que :

Les comportements de génération intrinsèques de la diffusion uniforme par rapport à la diffusion masquée.
Les conditions sous lesquelles l'autocorrection pourrait être réalisable.
L'impact de la composition des données sur les forces et faiblesses spécifiques des modèles de diffusion.

Les auteurs déclarent explicitement que Sumi est publié comme un modèle de base préentraîné sans ajustement d'instructions (instruction tuning) ni filtrage de sécurité, destiné à soutenir la recherche plutôt qu'un déploiement direct. Ils avertissent que le modèle hérite des risques standards associés aux modèles de langage de base, notamment le potentiel de contenus préjudiciables et d'inexactitudes factuelles.