💬 NLP

Diffutron: A Masked Diffusion Language Model for Turkish Language

Ce papier présente Diffutron, un modèle de diffusion masqué conçu spécifiquement pour la langue turque, qui, grâce à une stratégie d'entraînement efficace et un ajustement progressif, atteint des performances compétitives par rapport à des modèles beaucoup plus volumineux.

Auteurs originaux : Şuayp Talha Kocabay, Talha Rüzgar Akkuş

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Şuayp Talha Kocabay, Talha Rüzgar Akkuş

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🇹🇷 Diffutron : Le "Peintre" qui apprend le turc sans lire ligne par ligne

Imaginez que vous voulez écrire un roman en turc. La plupart des intelligences artificielles actuelles (comme les modèles "autoregressifs") fonctionnent comme un écrivain très méticuleux mais lent : ils écrivent un mot, puis un autre, puis un autre, comme des dominos qui tombent les uns après les autres. C'est efficace, mais c'est lent et cela les empêche de voir l'ensemble de la phrase d'un seul coup.

Les auteurs de cet article ont créé Diffutron, un modèle différent qui fonctionne comme un peintre ou un sculpteur. Au lieu d'écrire mot par mot, il commence avec une toile entièrement blanche (ou un bloc de pierre brut) et affine progressivement son œuvre jusqu'à ce que le texte apparaisse, en regardant l'ensemble de la phrase simultanément. C'est plus rapide et plus fluide.

Mais il y a un défi : le turc est une langue agglutinante. C'est comme un jeu de Lego où l'on peut empiler des dizaines de petites pièces (suffixes) sur un seul mot pour changer complètement son sens. C'est très complexe pour une IA.

Voici comment Diffutron a été construit, étape par étape, avec des analogies simples :

1. La Fondation : Apprendre les bases du turc (Pré-entraînement)

Avant de pouvoir créer, Diffutron devait apprendre le turc.

L'analogie : Imaginez un étudiant étranger qui connaît déjà bien le français et l'anglais (c'est le modèle de base multilingue). Pour qu'il parle parfaitement le turc, on ne lui fait pas réapprendre tout le dictionnaire de zéro (ce qui serait trop long et risquerait de faire oublier ses autres langues).
La méthode (LoRA) : Les chercheurs ont utilisé une technique appelée LoRA. C'est comme si on donnait à l'étudiant un carnet de notes spécial (une petite couche d'adaptation) pour apprendre les spécificités du turc, sans toucher à son cerveau principal. Cela lui permet d'apprendre vite et de garder ses connaissances générales intactes.
Le résultat : Après avoir lu des millions d'articles de presse et de Wikipédia, le modèle comprend maintenant très bien la structure des phrases turques.

2. L'Entraînement : De l'élève au professeur (Instruction Tuning)

Savoir lire ne suffit pas ; il faut savoir répondre aux questions. Les chercheurs ont utilisé une stratégie en deux étapes pour transformer le modèle en un assistant utile.

Étape 1 : L'école primaire (Instruction de base)
- On a donné au modèle des exercices simples : "Dis bonjour", "Traduis ceci". C'est comme apprendre à un enfant à tenir un stylo et à répondre poliment.
Étape 2 : L'université (Instruction avancée)
- Ensuite, on a passé le modèle à des exercices plus difficiles : "Explique la différence entre deux concepts", "Écris un poème sur la nostalgie". C'est ici qu'on affine sa capacité à comprendre les nuances complexes du turc.

3. Le Résultat : Un petit géant

Le plus impressionnant de Diffutron, c'est sa taille.

L'analogie : La plupart des modèles puissants sont comme des camions de 20 tonnes (ils ont des milliards de paramètres et nécessitent des usines entières pour tourner). Diffutron, lui, est une Fiat 500 (il n'a que 307 millions de paramètres).
La performance : Malgré sa petite taille, Diffutron arrive à faire aussi bien, voire mieux, que certains camions géants sur des tâches turques spécifiques ! Il est beaucoup moins cher à faire tourner et plus rapide.

Pourquoi c'est important ?

Pour le turc : C'est l'une des premières fois qu'on applique cette technologie "de peinture" (diffusion) à une langue aussi complexe que le turc. Cela prouve qu'on n'a pas besoin de modèles gigantesques pour avoir de bons résultats.
Pour l'avenir : Cela ouvre la porte à des IA plus écologiques (moins d'énergie) et plus accessibles pour des langues qui ne sont pas l'anglais.
La méthode : Ils ont montré qu'en combinant un apprentissage progressif (d'abord les bases, puis les détails) avec une architecture nouvelle (diffusion), on peut obtenir des résultats incroyables avec peu de ressources.

En résumé

Diffutron est un petit modèle d'intelligence artificielle spécialisé en turc. Au lieu d'écrire mot par mot comme un robot lent, il "sculpte" le texte en le regardant en entier, comme un artiste. Grâce à une méthode d'apprentissage en deux temps et une adaptation intelligente, il rivalise avec des géants beaucoup plus gros, prouvant que pour parler turc, on n'a pas besoin d'un camion, une petite voiture bien conduite suffit.

Les chercheurs ont rendu leur travail public pour que tout le monde puisse l'utiliser et l'améliorer !

Titre : Diffutron : Un Modèle de Langage par Diffusion Masquée pour la Langue Turque

1. Problématique

Les modèles de langage (LLM) actuels dominent le paysage de l'IA, mais ils reposent presque exclusivement sur des architectures autogressives (AR) (comme GPT ou Llama). Ces modèles génèrent du texte token par token, ce qui impose des limites sur la vitesse de génération et restreint la capacité à considérer le contexte global d'une phrase simultanément.

Bien que les Modèles de Langage par Diffusion Masquée (MDLM) émergent comme une alternative non-autogressive prometteuse permettant une génération parallèle et une considération globale du contexte, leur application reste limitée aux langues anglaises. Les langues morphologiquement riches et agglutinantes comme le turc posent des défis uniques :

Complexité des structures morphologiques.
Risque d'oubli catastrophique lors de l'adaptation de modèles multilingues.
Manque de données d'instruction de haute qualité natives.
Absence d'architectures non-autogressives adaptées à ces langues.

2. Méthodologie

L'approche proposée, Diffutron, est un modèle de diffusion masquée léger et efficace en paramètres, conçu spécifiquement pour le turc. Le pipeline d'entraînement se déroule en trois étapes principales :

A. Pré-entraînement Continu (Continual Pre-training - CPT)

Base : Utilisation du modèle multilingue jhu-clsp/mmBERT-base.
Adaptation : Application de l'adaptation à faible rang (LoRA) sur tous les modules linéaires (Attention Q, K, V, O et MLP) pour capturer la complexité agglutinante du turc sans altérer les connaissances linguistiques de base.
- Configuration LoRA : Rang $r=256$ , Alpha $\alpha=256$ , entraînant environ 14,94 % des paramètres.
Données : Un corpus composite de 2 millions de séquences (Wikipédia turque, articles de presse Havadis, et corpus web nettoyé Temiz-OSCAR), filtré à une longueur maximale de 512 tokens.
Objectif : Aligner l'espace latent du modèle sur la distribution linguistique turque tout en préservant le raisonnement cross-lingual.

B. Affinement par Instruction (Instruction Fine-Tuning - SFT)
Une stratégie d'affinement progressive en deux étapes a été employée pour débloquer les capacités génératives :

Première étape : Entraînement sur le jeu de données metunlp/LlamaTurk-Instruction-Set pour apprendre les fondamentaux du suivi d'instructions (20 époques).
Deuxième étape : Entraînement sur le jeu de données turkish-nlp-suite/InstrucTurca, contenant des instructions plus complexes et nuancées (8 époques).

Optimisation : Utilisation de l'optimiseur AdamW avec un taux d'apprentissage de $1 \times 10^{-4}$ .

C. Architecture de Génération (Diffusion)
Contrairement aux modèles AR, Diffutron traite la génération comme un processus de diffusion discret :

Processus Forward : Corruption progressive du texte original en un état de bruit (masques <mask>) sur $T$ étapes.
Processus Reverse : Le modèle apprend à débruiter la séquence en prédisant les tokens masqués en se basant sur le contexte bidirectionnel, permettant une génération parallèle.

3. Contributions Clés

Première application détaillée : Diffutron est l'un des premiers modèles de diffusion masquée appliqués à une langue agglutinante (turc).
Efficacité des paramètres : Le modèle ne compte que 307 millions de paramètres (0,3B), ce qui est significativement plus petit que les baselines AR standards (souvent 2B à 7B+).
Pipeline d'entraînement optimisé : Combinaison réussie de CPT avec LoRA et d'un affinement par instruction progressif pour surmonter les défis de stabilité et de plasticité.
Ressources Open Source : Publication des modèles, des jeux de données de pré-entraînement et des scripts d'entraînement sur Hugging Face.

4. Résultats Expérimentaux

Les performances ont été évaluées sur une sous-ensemble de la suite de benchmarks CETVEL (adaptée au turc).

Analyse Intrinsèque (Perplexité) :
- Le pré-entraînement continu a réduit la perplexité sur le jeu de données Bilkent Turkish Writings de 3,42 (modèle de base) à 2,75 (Diffutron), indiquant une meilleure maîtrise de la distribution linguistique turque.
Performances sur les Tâches (Benchmarks) :
- Malgré sa taille réduite (0,3B), Diffutron (étape 2) atteint un score moyen de 34,68 sur les benchmarks sélectionnés.
- Comparaison : Il surpasse des modèles autogressifs beaucoup plus grands :
  - Kumru-2B (2 milliards de paramètres) : 34,09
  - TURNA (1,1 milliard) : 33,19
  - Kanarya-2B : 40,78 (Diffutron est compétitif sur des tâches spécifiques comme la classification de nouvelles et la similarité sémantique, bien que les modèles 7B+ restent supérieurs sur certains benchmarks globaux).
- Efficacité : Diffutron démontre qu'un modèle 7 fois plus petit peut rivaliser avec des modèles 2B+ grâce à l'objectif de diffusion masquée et au réglage fin multi-étapes.

5. Signification et Limites

Signification :
Ce travail remet en question le dogme selon lequel seule l'échelle massive (plusieurs milliards de paramètres) permet une compétence linguistique dans des langues complexes. Il valide l'efficacité des architectures de diffusion non-autogressives pour les langues à ressources limitées et agglutinantes, offrant une voie viable pour une génération de haute performance avec des budgets de calcul contraints.

Limites :

Écosystème de données : Le manque de modèles fondateurs natifs pour le turc a nécessité l'utilisation d'un backbone multilingue, limitant potentiellement la qualité de représentation par rapport à une architecture native.
Données d'instruction : La rareté des jeux de données d'instruction turcs natifs de haute qualité oblige à utiliser des données synthétiques ou traduites.
Fenêtre de contexte : Limitée à 256 tokens, ce qui restreint les tâches de génération longue ou de résumé.
Évaluation : L'évaluation s'est limitée à un sous-ensemble de CETVEL en raison des contraintes computationnelles.

En conclusion, Diffutron ouvre la voie à une exploration plus large des modèles de diffusion pour le traitement du langage naturel (NLP) dans les langues peu dotées en ressources, démontrant que l'efficacité architecturale peut compenser partiellement le manque de volume de paramètres.