💬 NLP

SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens

L'article présente SONAR-LLM, un transformateur uniquement décodeur qui génère du texte en prédisant des plongements de phrases continus dans l'espace SONAR tout en étant entraîné via un objectif de perte d'entropie croisée au niveau des tokens, combinant ainsi l'abstraction sémantique des modèles de grands concepts avec l'efficacité et l'entraînement basé sur la vraisemblance de la prédiction de tokens autoregressifs.

Auteurs originaux : Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

Publié 2026-05-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nikita Dragunov, Temurbek Rahmatullaev, Elizaveta Goncharova, Nikita Kurdiukov, Aysel Mirzoeva, Anna Borisiuk, Andrey Kuznetsov, Anton Razzhigaev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment écrire une histoire.

L'Ancienne Méthode (LLM Standard) : Le Constructeur Brique par Brique
La plupart des modèles d'IA actuels sont comme un maçon très rapide et très méticuleux. Pour construire un mur (une histoire), ils posent une brique (un mot ou un « token ») à la fois. Ils s'arrêtent, réfléchissent, posent une brique, s'arrêtent, réfléchissent, posent une autre.

Avantages : Ils sont très précis.
Inconvénients : Si vous voulez construire un gratte-ciel (un document très long), ce processus prend beaucoup de temps. C'est lent car ils doivent s'arrêter et réfléchir pour chaque tout petit morceau.

La Méthode « LCM » (L'Expérience Précédente) : Le Rêveur
Récemment, des chercheurs ont essayé une nouvelle approche appelée « Large Concept Model » (LCM). Au lieu de poser des briques, ce modèle tente de « rêver » en phrases. Il imagine le sens de la phrase suivante comme un nuage continu et fluide d'idées (une « embedding ») plutôt que comme des mots spécifiques.

Avantages : Il saute les petites briques et passe directement à l'ensemble. C'est plus rapide pour les longues histoires.
Inconvénients : Parce qu'il se contente de « rêver » en nuages de sens, il se trompe parfois sur les mots réels. C'est comme un peintre qui sait exactement à quoi ressemble le sentiment d'un coucher de soleil mais qui peine à mélanger les nuances exactes d'orange et de rouge. L'entraînement était également instable, comme essayer de se tenir en équilibre sur une échelle branlante.

La Nouvelle Méthode (SONAR-LLM) : L'Architecte avec un Plan
Ce papier présente SONAR-LLM. Il combine le meilleur des deux mondes.

Imaginez SONAR-LLM comme un Architecte qui pense en « Plans de Phrases » mais qui parle en « Briques ».

Penser en Plans : Comme le Rêveur, SONAR-LLM planifie son histoire en prédisant la phrase suivante comme une unité entière. Il ne se soucie pas du mot suivant ; il se soucie de la prochaine idée. Cela le maintient rapide et efficace, même pour des romans d'un million de mots.
Parler en Briques : Voici le tour de magie. Une fois que l'Architecte a le « plan » (l'idée de la phrase), il ne se contente pas de deviner les mots. Il fait passer ce plan à travers un traducteur pré-entraîné et figé (le décodeur SONAR). Ce traducteur est un expert pour transformer des idées abstraites en phrases parfaites et grammaticalement correctes.
La Boucle de Rétroaction : Le modèle est ensuite noté sur la façon dont les mots réels qu'il a produits correspondent à l'histoire cible. Cela lui fournit un signal clair et stable pour apprendre (contrairement au Rêveur), garantissant que l'histoire finale sonne naturelle et humaine.

Pourquoi est-ce important ?

Vitesse vs Qualité : C'est rapide comme le Rêveur (car il traite des phrases entières à la fois) mais précis comme le Maçon (car il est noté sur les mots réels).
Longues Histoires : Le papier montre que pour des textes très longs (jusqu'à un million de mots), SONAR-LLM devient beaucoup plus efficace que les modèles standards. C'est comme passer de la marche pas à pas à de grandes enjambées ; plus le voyage est long, plus l'avantage est grand.
Le Secret du « Figement » : L'équipe a gardé le « traducteur » (le décodeur) figé, ce qui signifie qu'ils ne l'ont pas réentraîné. Cela a économisé une quantité massive de puissance de calcul. Ils n'ont entraîné que la partie « Architecte » qui décide quelle devrait être la phrase suivante.

Qu'ont-ils découvert ?

Meilleures Histoires : Lorsqu'ils ont demandé à un juge IA (GPT-4o) de noter les histoires, SONAR-LLM a écrit de meilleures histoires, plus créatives et plus cohérentes que les modèles « Rêveur » précédents.
Résumé : Il était également très bon pour résumer de longs articles en phrases courtes et percutantes.
La Mise en Garde : Si la tâche nécessite une précision extrême avec des chiffres ou des symboles (comme trouver un numéro de téléphone spécifique dans une botte de foin), le modèle fonctionne mieux si vous défigez le traducteur et lui permettez d'apprendre ces détails spécifiques. Mais pour la narration et le résumé normaux, le garder figé est parfait.

En Bref :
SONAR-LLM est un nouveau type d'écrivain IA qui planifie ses histoires en gros blocs significatifs (phrases) pour rester rapide, mais utilise un expert de confiance pour traduire ces blocs en mots parfaits. Cela le rend plus rapide que les modèles actuels pour les longs documents sans sacrifier la qualité de l'écriture.

Résumé Technique : SONAR-LLM

Énoncé du Problème

Les modèles de langage (LLM) autoregressifs opèrent typiquement au niveau du token, en minimisant l'entropie croisée sur un vocabulaire discret. Bien qu'efficaces, ce décodage fin crée un goulot d'étranglement pour le débit lors de séquences longues. À l'inverse, le Modèle de Grand Concept (LCM) de Meta réduit la latence en prédisant des embeddings au niveau de la phrase dans un espace continu, utilisant des objectifs de diffusion ou d'erreur quadratique moyenne (MSE). Cependant, la suppression des vraisemblances au niveau du token dans les LCM entraîne une optimisation moins stable et des difficultés à maintenir la structure narrative. Il existe un besoin pour un modèle qui conserve l'abstraction sémantique et l'efficacité de la génération au niveau de la phrase tout en rétablissant la stabilité de l'entraînement basé sur la vraisemblance.

Méthodologie

SONAR-LLM est un Transformer uniquement décodeur qui opère dans l'espace continu d'embeddings de phrases SONAR, mais est supervisé via une entropie croisée au niveau du token.

Architecture : Le modèle prédit l'embedding de la phrase suivante ( $\hat{e}_t$ ) étant donné un préfixe d'embeddings ( $e_{<t}$ ). Il utilise une architecture Transformer standard uniquement décodeur (similaire à Llama 3) avec des encodages de position rotatifs et une normalisation RMS, mais avec un vocabulaire d'embeddings de taille un (prédiction de vecteurs continus plutôt que de tokens discrets).
Objectif Hybride : Pour éviter les objectifs de diffusion ou MSE, le modèle propage la perte à travers un décodeur SONAR figé. L'embedding prédit $\hat{e}_t$ est décodé en logits de tokens à l'aide du décodeur figé ( $D$ ) et des tokens précédents de vérité terrain ( $s_{t,<i}$ ). Le modèle minimise l'entropie croisée standard entre ces logits et la séquence de tokens de vérité terrain de la phrase cible.
Processus d'Entraînement :
- Le texte est segmenté en phrases à l'aide du tokenizer Punkt.
- Les phrases sont encodées en vecteurs de longueur fixe ( $d=1024$ ) à l'aide d'un encodeur multilingue SONAR figé.
- Le modèle est entraîné avec un forçage de l'enseignant, où l'embedding de vérité terrain est fourni pour l'étape de temps suivante.
- La génération s'arrête lorsque la similarité cosinus entre l'embedding prédit et un embedding spécial « Fin de séquence » dépasse un seuil ( $\tau_{stop}=0.98$ ) ou qu'un nombre maximal de phrases est atteint.
Dégel du Décodeur : Bien que les expériences principales maintiennent l'encodeur et le décodeur SONAR figés pour des raisons d'efficacité, les auteurs ont exploré le dégel du décodeur. Cela a réduit significativement l'entropie croisée de validation, mais n'a produit des gains substantiels en aval que sur des tâches riches en symboles (par exemple, la recherche de l'aiguille dans la botte de foin) plutôt que sur la génération de langage naturel standard.

Contributions Clés

Objectif d'Embedding Conscient des Tokens : Introduction d'une méthode d'entraînement qui rétropropage l'entropie croisée au niveau du token à travers un décodeur SONAR figé, alignant les prédictions de phrases continues avec des cibles de tokens discrets.
Analyse des Lois d'Échelle : Un ajustement détaillé des lois d'échelle ( $L(N) = aN^{-\alpha} + b$ ) à travers différentes tailles de modèles (de 39M à 1,3 milliard de paramètres), quantifiant les exposants d'échelle pour SONAR-LLM, les LLM standards et les variantes LCM.
Évaluation Complète : Évaluation de la qualité du texte utilisant des métriques NLG standards (BLEU, ROUGE-L, METEOR) et des évaluations basées sur GPT-4o (grammaire, créativité, cohérence, intrigue), ainsi que des benchmarks de résumé (XSum, CNN/DM).
Analyse de l'Efficacité d'Inférence : Une analyse théorique des FLOPs démontrant que l'opération sur des segments de phrases offre une mise à l'échelle favorable pour les séquences longues par rapport au décodage au niveau du token.
Publication Open Source : Mise à disposition publique du code d'entraînement, des scripts d'évaluation et des points de contrôle préentraînés.

Résultats

Comportement d'Échelle : SONAR-LLM présente un exposant d'échelle fort ( $\alpha \approx 0,596$ ), comparable à d'autres modèles basés sur des embeddings, et démontre une utilisation efficace de la capacité accrue du modèle.
Qualité de Génération de Texte : Dans les évaluations GPT-4o, SONAR-LLM surpasse significativement les variantes LCM basées sur MSE et diffusion pour les métriques de grammaire, créativité, cohérence et intrigue. Bien que les LLM standards au niveau du token (avec recherche faisceau) obtiennent les scores absolus les plus élevés, SONAR-LLM égale ou approche leurs performances sur les métriques NLG standards (ROUGE-L, METEOR) à la plus grande échelle (900 millions de paramètres).
Résumé : SONAR-LLM surpasse largement les baselines au niveau de la phrase (LCM MSE et Diffusion) sur XSum et CNN/DM. Il égale les LLM au niveau du token sur le dataset plus abstrait XSum, mais reste légèrement en retrait sur CNN/DM, qui favorise les approches extractives.
Impact du Dégel : Le dégel du décodeur SONAR a amélioré la précision de correspondance exacte sur le benchmark RULER (NIAH) de 21,6 % à 41 %, indiquant des bénéfices pour les tâches nécessitant une reproduction précise de nombres ou de symboles, mais n'a apporté aucun gain significatif pour le résumé standard.
Efficacité d'Inférence : L'analyse théorique montre que bien que les deux approches aient une complexité quadratique, le coût effectif de SONAR-LLM croît presque linéairement avec la longueur de la séquence jusqu'à 1 million de tokens. Il dépasse les LLM standards en efficacité d'inférence pour des séquences supérieures à environ 4 096 tokens.

Importance et Revendications

L'article revendique que SONAR-LLM comble avec succès le fossé entre les modèles basés sur les concepts et les LLM autoregressifs traditionnels. En conservant l'abstraction sémantique du traitement au niveau de la phrase tout en rétablissant un signal d'entraînement basé sur la vraisemblance, le modèle atteint une optimisation stable et une qualité de génération compétitive sans avoir besoin d'échantillonneurs de diffusion.

Les auteurs positionnent SONAR-LLM comme une alternative prometteuse pour la génération en contexte long, offrant une option pratique et évolutive où le coût computationnel croît plus lentement que pour les modèles au niveau du token. Ils notent que, bien que le modèle raisonne en embeddings de phrases, il n'introduit pas de capacités génératives fondamentalement nouvelles au-delà des LLM existants, mais offre plutôt un niveau d'abstraction différent qui peut améliorer l'efficacité et la cohérence structurelle dans les séquences longues. Ce travail est présenté comme une avancée dans la génération de langage efficace et évolutive et l'apprentissage de représentations.