Imaginez que vous essayez d'apprendre à un robot comment écrire une histoire. Pendant longtemps, la meilleure façon de faire était de faire écrire au robot un mot à la fois, de gauche à droite, tout comme un humain lisant un livre. Cette méthode, appelée génération « autorégressive », est très fiable mais peut être lente, comme une seule personne tapant un roman sur une machine à écrire. Récemment, les scientifiques ont découvert une nouvelle façon appelée « diffusion », qui ressemble davantage à un peintre commençant avec une toile vierge recouverte de bruit statique et nettoyant progressivement l'image jusqu'à ce qu'une image claire apparaisse. Cette nouvelle méthode permet au robot de deviner de nombreux mots à la fois, ce qui pourrait potentiellement écrire beaucoup plus vite. Cependant, il y a un piège : bien que cette méthode de « nettoyage du bruit » soit très efficace en termes de flexibilité, elle s'embrouille parfois dans l'ordre des mots, ce qui mène à du charabia. La grande question pour les chercheurs est : comment obtenir la vitesse du peintre sans perdre la logique du flux de la machine à écrire ?

Ce document s'attaque à ce puzzle précis en examinant une version plus récente de ces modèles de « nettoyage du bruit » appelée Modèles de Langage à Diffusion par Blocs (BDLM). Les auteurs, Kai Syun Hou et James Kwok, ont découvert quelque chose de surprenant : même si ces modèles sont conçus pour être flexibles et deviner les mots dans n'importe quel ordre, ils « pensent » en réalité beaucoup plus comme l'ancienne machine à écrire de gauche à droite que quiconque ne l'aurait cru. Ils ont découvert qu'en forçant ces modèles à respecter un ordre strict de gauche à droite, tout en leur permettant de deviner quelques mots à la fois, on crée un point d'équilibre parfait. Ils appellent cette nouvelle méthode PARD (Décodage Autorégressif Parallèle). Voyez cela comme une équipe d'écrivains qui acceptent d'écrire dans l'ordre, mais au lieu d'attendre qu'une personne finisse une phrase entière avant que la suivante ne commence, ils interviennent tous simultanément pour finir les quelques mots suivants s'ils en sont assez confiants. Le résultat ? Le robot écrit nettement plus vite que l'ancienne méthode lente, mais l'histoire reste tout aussi logique et de haute qualité.

L'histoire du robot de « nettoyage du bruit »

Pour comprendre pourquoi cela importe, imaginons deux façons différentes dont un robot pourrait essayer d'écrire une phrase.

L'ancienne méthode (Autorégressive) : Imaginez un robot qui écrit une histoire lettre par lettre. Il écrit « T », puis « h », puis « e », puis « ». Il ne peut pas écrire le mot suivant tant qu'il n'a pas terminé le mot actuel. Il est très prudent et fait rarement des erreurs, mais il est lent. C'est comme une seule personne tapant un roman ; elle ne peut pas taper la dernière page tant qu'elle n'a pas fini la première.

La nouvelle méthode (Diffusion) : Maintenant, imaginez un robot qui commence avec une phrase où chaque mot est remplacé par un point d'interrogation (ou un « masque »). Sa tâche est de regarder toute la phrase et de deviner quels sont les mots manquants. Il n'a pas besoin de les deviner dans l'ordre. Il pourrait deviner le dernier mot en premier, puis le premier mot, puis le milieu. C'est comme un peintre regardant une toile floue et désordonnée et essayant de comprendre quelle est l'image finale. L'avantage est la vitesse : le robot peut corriger de nombreuses parties de la phrase en même temps. L'inconvénient est que s'il devine la fin de la phrase avant le début, il pourrait mal interpréter le contexte et produire des absurdités.

Pendant un certain temps, les scientifiques ont essayé de faire fonctionner le robot de « nettoyage du bruit » en le laissant deviner les mots dans l'ordre qu'il voulait, espérant qu'il trouverait le meilleur chemin. Mais les auteurs de ce document ont remarqué quelque chose d'étrange. Ils ont testé un nouveau type de robot appelé Modèle de Langage à Diffusion par Blocs (BDLM). Ces robots sont spéciaux car ils sont entraînés pour travailler par blocs (chunks) de texte, utilisant le texte propre des blocs précédents pour aider à deviner le bloc suivant.

La grande découverte : Le robot préfère l'ordre

Les auteurs ont mené une série d'expériences pour voir comment ces robots se comportent réellement. Ils ont comparé un robot de « nettoyage du bruit » standard (LLaDA) avec un nouveau robot « par blocs » (SDAR).

Ils ont découvert que le robot standard aime vraiment deviner les mots dans des ordres aléatoires. Mais le nouveau robot par blocs se comporte très différemment. Même s'il peut deviner les mots dans n'importe quel ordre, il préfère naturellement les deviner de gauche à droite, tout comme l'ancien robot de la machine à écrire.

Pour le prouver, ils ont examiné la « confiance » du robot. Si vous demandez à un robot de deviner le mot suivant, il a généralement un « score de confiance » pour chaque possibilité. Les auteurs ont découvert que pour le robot par blocs, les devinettes les plus confiantes étaient presque toujours les mots situés au tout début de la phrase restante. C'est comme si le robot avait une habitude secrète : « Je sais que je peux sauter d'un endroit à l'autre, mais je me sens vraiment plus à l'aise en commençant par la gauche. »

Ils ont même utilisé des mathématiques pour expliquer pourquoi cela arrive. Ils ont réalisé que pendant l'entraînement, le robot par blocs est confronté à de nombreux exemples où le côté gauche de la phrase est déjà écrit, et qu'il doit seulement deviner le côté droit. C'est exactement comme cela que l'ancien robot « machine à écrire » apprend. Le robot de « nettoyage du bruit » standard, quant à lui, est entraîné sur des phrases où des mots manquent un peu partout, il n'apprend donc jamais vraiment à se reposer sur la gauche en premier. Parce que le robot par blocs est entraîné de cette manière, il « veut » aller de gauche à droite.

La solution : PARD (L'équipe d'écrivains)

Alors, si le robot par blocs veut naturellement aller de gauche à droite, pourquoi ne pas simplement le faire aller de gauche à droite ? Le problème est que s'il va strictement de gauche à droite, il perd l'avantage de vitesse de deviner plusieurs mots à la fois. Il redevient lent.

Les auteurs ont trouvé une solution ingénieuse appelée PARD (Décodage Autorégressif Parallèle).

Imaginez un groupe d'écrivains travaillant ensemble sur une histoire.

1. La règle : Ils doivent écrire dans l'ordre, de gauche à droite.
2. Le rebondissement : Au lieu d'attendre qu'une personne finisse un mot avant que la suivante ne commence, ils regardent tous les quelques mots suivants. S'ils sont très confiants à propos du mot suivant, ils l'écrivent. S'ils sont aussi très confiants à propos du mot d'après, ils écrivent celui-là aussi.
3. Le filet de sécurité : S'ils ne sont pas sûrs du deuxième mot, ils s'arrêtent. Ils ne devinent pas le deuxième mot juste pour être rapides ; ils attendent d'être sûrs.

C'est ce que fait PARD. Il regarde les scores de confiance du robot. Si le robot est confiant concernant le premier mot masqué, il l'écrit. Ensuite, il vérifie immédiatement si le robot est également confiant concernant le mot suivant. Si oui, il l'écrit aussi. Il continue ainsi sur la ligne, écrivant un « préfixe » de mots confiants, jusqu'à ce qu'il rencontre un mot pour lequel le robot n'est pas sûr.

Les résultats : Rapide et précis

Les auteurs ont testé cette nouvelle méthode sur trois robots différents par blocs et six tâches différentes, incluant l'écriture de code et la résolution de problèmes mathématiques.

• Vitesse : PARD était beaucoup plus rapide que l'ancienne méthode de la « machine à écrire ». Dans certains cas, il était 3,64 fois plus rapide sur l'un des modèles. Il écrivait des jetons (chunks de texte) à un rythme allant jusqu'à 152 jetons par seconde, contre seulement 70 pour la méthode lente.
• Qualité : Malgré sa rapidité, les histoires et le code qu'il écrivait étaient tout aussi bons, voire souvent meilleurs, que les autres méthodes rapides qui tentaient de deviner les mots dans un ordre aléatoire. En fait, sur le modèle SDAR, PARD était en fait meilleur que les méthodes à ordre aléatoire, obtenant 81,1 % lors d'un test de codage contre 75,0 % pour la méthode aléatoire.
• La comparaison : Ils ont comparé PARD à d'autres méthodes « rapides » sophistiquées qui utilisent des règles complexes pour décider quels mots deviner. PARD les a systématiquement battues. Les méthodes complexes revenaient à essayer de résoudre un puzzle en sautant de façon aléatoire ; PARD revenait à résoudre le puzzle en suivant d'abord les pièces de bordure, ce qui s'est avéré être le chemin le plus efficace pour ces robots spécifiques.

Pourquoi cela importe

Le document suggère que pour ces nouveaux robots « par blocs », l'ancienne idée de « deviner dans n'importe quel ordre » n'est pas forcément la meilleure. Les robots ont un biais naturel vers une pensée de gauche à droite en raison de la façon dont ils ont été entraînés. En respectant ce biais et en n'ajoutant de la vitesse parallèle que lorsque le robot est sûr de lui, nous obtenons le meilleur des deux mondes : la vitesse d'une équipe d'écrivains et la précision d'un dactylo prudent.

Les auteurs précisent que c'est une méthode « sans réentraînement ». Ils n'ont pas eu besoin de réentraîner les robots ou de changer leurs « cerveaux » ; ils ont simplement changé la façon dont ils demandaient aux robots d'écrire. Cela en fait un outil très pratique qui peut être utilisé dès maintenant avec les modèles existants.

En bref, le document montre que parfois, la façon la plus rapide d'avancer est de se rappeler de se déplacer en ligne droite, mais en faisant de plus grands pas quand on est sûr de sa direction.