🤖 AI

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

Ce papier démontre que l'injection de vecteurs d'embedding aléatoires sans entraînement dans les entrées des grands modèles de langage améliore efficacement les performances de raisonnement en augmentant la diversité des tokens aux stades précoces et en élargissant le Pass@N, un mécanisme qui améliore à la fois la précision de l'inférence et les résultats de l'entraînement sans nécessiter de prompts doux appris.

Auteurs originaux : Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire brillant mais très rigide (le modèle de langage de grande taille) qui excelle dans la résolution de problèmes mathématiques, mais qui se coince parfois dans une ornière. Il suit toujours le même chemin pour trouver la réponse, et si ce chemin mène à une impasse, il abandonne.

Pendant longtemps, les chercheurs ont tenté de résoudre ce problème en « formant » le bibliothécaire avec des notes spéciales et personnalisées (appelées Soft Prompts) pour l'orienter vers de meilleures solutions. Ils supposaient que la magie résidait dans le contenu de ces notes.

Cet article pose une question différente : Et si la magie ne résidait pas dans les notes elles-mêmes, mais dans le simple acte de remettre au bibliothécaire un nouveau morceau de papier aléatoire avant qu'il ne commence ?

Voici la décomposition de leur découverte, les Soft Prompts Aléatoires (RSP), à l'aide d'analogies du quotidien :

1. L'expérience du « bruit aléatoire »

Au lieu d'entraîner une note spéciale, les chercheurs ont simplement saisi une poignée de gribouillis complètement aléatoires et dénués de sens (des nombres aléatoires) et les ont attachés au début ou à la fin du problème mathématique.

La surprise : Même si ces gribouillis ne contenaient aucune information utile, le bibliothécaire a soudainement commencé à mieux résoudre les problèmes. Dans certains cas, il s'est acquitté de la tâche aussi bien que s'il avait reçu une note parfaitement entraînée.
La leçon : L'amélioration ne provenait pas d'avoir appris quelque chose de nouveau. Elle provenait de l'acte d'injecter quelque chose de nouveau dans le mélange.

2. Comment cela fonctionne : l'analogie du « chemin de bifurcation »

Imaginez le processus de pensée du bibliothécaire comme une marche dans un couloir comportant de nombreuses portes.

Sans le papier aléatoire : Le bibliothécaire marche tout droit dans le couloir principal, ouvre la première porte qu'il voit et continue sur ce chemin. Si ce chemin est une impasse, il échoue.
Avec le papier aléatoire : Les gribouillis aléatoires agissent comme une rafale soudaine et confuse au tout début du couloir.
- Phase précoce (la bifurcation) : À cause de cette « rafale », le bibliothécaire s'arrête et regarde des différentes portes de celles qu'il verrait habituellement. Il pourrait ouvrir une porte qu'il n'aurait jamais envisagée auparavant. Cela crée une « bifurcation » dans sa pensée, menant à un chemin complètement différent vers la solution.
- Phase ultérieure (la stabilisation) : Alors que le bibliothécaire avance sur ce nouveau chemin, la « rafale » (le papier aléatoire) s'estompe car le couloir s'allonge et la mémoire du départ du bibliothécaire s'estompe. Il s'installe dans une démarche confiante sur ce nouveau chemin.

3. L'effet « lancer de dés » (Pass@N)

L'article a révélé que si vous demandez au bibliothécaire d'essayer le même problème 10 fois, mais en lui donnant un gribouillis aléatoire différent à chaque fois, vous obtenez 10 chemins différents.

Le résultat : Même si 9 de ces chemins sont erronés, le fait d'avoir forcé le bibliothécaire à essayer 10 points de départ différents signifie que vous avez beaucoup plus de chances de trouver le seul chemin correct parmi eux.
La limite : Si vous utilisez le même gribouillis aléatoire pour les 10 essais, ils empruntent tous le même chemin erroné. La magie ne fonctionne que si la « rafale » change à chaque fois.

4. Pourquoi cela compte

C'est gratuit : Vous n'avez pas besoin de passer des semaines à entraîner le modèle ou à lui enseigner de nouveaux faits. Vous ajoutez simplement du bruit aléatoire.
C'est structurel : L'article prouve que la « magie » de ces astuces avancées d'IA provient souvent de la structure de l'ajout de tokens supplémentaires, et non du contenu spécifique de ces tokens. C'est comme si secouer une boîte de pièces de puzzle vous aidait à trouver plus rapidement la pièce du coin appropriée, même si le secouement lui-même ne résout pas le puzzle.
Cela aide l'entraînement : Ils ont également montré que l'utilisation de cette « rafale » aléatoire pendant la phase d'entraînement du modèle (phase d'apprentissage) aide le modèle à apprendre plus vite et mieux, de la même manière qu'un entraîneur pourrait varier les exercices pour éviter qu'un athlète ne s'ennuie ou ne reste coincé dans une routine.

Résumé

L'article affirme que le hasard est un outil puissant. En injectant des vecteurs aléatoires et dénués de sens dans l'entrée de l'IA, vous la forcez à explorer différents « chemins » vers la réponse dès le début. Une fois qu'elle a choisi un chemin, elle y reste, mais parce que vous avez commencé avec un chemin différent, vous avez plus de chances d'arriver à destination que si vous vous en teniez simplement à l'itinéraire habituel. Il s'avère que parfois, secouer les choses est tout aussi efficace que enseigner quelque chose de nouveau.

Résumé Technique : Du Bruit à la Diversité : Injection d'Embeddings Aléatoires dans le Raisonnement des LLM

Énoncé du Problème

Les recherches récentes sur le raisonnement des modèles de langage de grande taille (LLM) se sont concentrées sur les Soft Prompts, qui insèrent des vecteurs d'embedding continus et entraînables dans les entrées du modèle pour orienter son comportement. Bien que ces méthodes (par exemple, Prefix-Tuning, SoftCoT, LTPO) aient démontré des gains de performance, une ambiguïté critique subsiste : l'amélioration est-elle due au contenu appris des vecteurs optimisés, ou à l'acte structurel d'injection lui-même ? Les travaux antérieurs attribuent ces gains aux représentations apprises, pourtant des contraintes théoriques suggèrent que les soft prompts ne biaisent l'attention que dans des directions fixes sans altérer les motifs d'attention relatifs entre les tokens de contenu. De plus, les méthodes existantes nécessitent un entraînement spécifique au domaine, sont sensibles aux hyperparamètres et manquent d'une explication théorique unifiée de leur efficacité.

Méthodologie : Soft Prompts Aléatoires (RSP)

Pour dissocier la contribution du contenu appris de l'acte d'injection, les auteurs proposent des Soft Prompts Aléatoires (RSP). Les RSP constituent une intervention sans entraînement où une séquence de vecteurs d'embedding aléatoires est ajoutée à l'entrée.

Construction : Les vecteurs RSP sont échantillonnés indépendamment à partir d'une distribution gaussienne isotrope ajustée à la moyenne ( $\mu_E$ ) et à la variance ( $\sigma_E$ ) des entrées du tableau d'embedding des tokens pré-entraînés.
$h_j \sim \mathcal{N}(\mu_E \mathbf{1}_d, \sigma_E^2 \mathbf{I}_d)$
Mécanisme : La méthode repose sur deux phases théoriques :
1. Exploration (Décodage précoce) : Lorsque le cache Key-Value (KV) est court, la masse d'attention ( $w$ ) allouée aux tokens aléatoires est significative. Étant donné que le RSP est isotrope, il perturbe l'état caché dans toutes les directions, déplaçant potentiellement les prédictions des tokens top- $K$ et ouvrant des trajectoires de raisonnement diversifiées qui diffèrent de la ligne de base.
2. Recuit (Décodage ultérieur) : À mesure que la génération auto-régressive progresse, le cache KV s'allonge. L'analyse théorique (Théorème 1) démontre que la borne supérieure de la masse d'attention allouée à la séquence RSP de longueur fixe décroît de manière monotone à mesure que le nombre de tokens réels ( $n$ ) augmente. Par conséquent, l'influence du RSP se dilue naturellement, permettant au modèle de s'engager dans un chemin de complétion unique.
Implémentation : Les RSP sont injectés en tant que suffixe (par défaut), préfixe ou infix. Crucialement, ils sont rééchantillonnés fraîchement pour chaque déroulement d'inférence ou trajectoire d'entraînement, garantissant l'indépendance.

Contributions Clés

Isolement des effets d'injection : Le RSP offre une lentille unifiée pour étudier l'effet structurel de l'injection de soft prompts. En éliminant entièrement l'étape d'entraînement, les auteurs démontrent que l'acte d'injecter des vecteurs aléatoires seul peut induire une précision comparable à celle des soft prompts optimisés.
Validation théorique et empirique : L'article établit un cadre théorique montrant comment la masse d'attention décroît avec la croissance du cache KV (Théorème 1) et comment une couverture isotrope assure l'accessibilité d'états de branchement diversifiés. Empiriquement, les RSP reproduisent les signatures d'entropie du décodage précoce des méthodes optimisées (LTPO, SoftCoT, TTSV) sans aucun paramètre appris.
Extension à l'entraînement : Les auteurs étendent le RSP de l'inférence à DAPO (un algorithme d'entraînement par apprentissage par renforcement), démontrant que le rééchantillonnage indépendant des RSP lors des déroulements se combine avec la préservation de la diversité au niveau de la perte pour générer des gains de performance supplémentaires.

Résultats Expérimentaux

Les auteurs ont évalué le RSP sur des benchmarks de raisonnement mathématique (MATH-500, GSM8K, AIME24) en utilisant des modèles tels que Qwen2.5-Math et LLaMA-3.1.

Gains de précision : Le RSP atteint une précision comparable ou supérieure à celle des soft prompts optimisés (TTSV, SoftCoT, LTPO) sans entraînement. Notamment, dans des scénarios de mismatch de format (application de modèles ChatML à des modèles de base non entraînés pour eux), le RSP a récupéré une précision significative (par exemple, +29,0 points de pourcentage sur Qwen2.5-Math-1.5B pour MATH-500).
Diversité et Pass@N :
- Niveau Token : Le RSP induit un décalage distinct dans la distribution du premier token ( $\rho$ de Spearman = 0,709 contre 1,0 pour le scaling de température), élargissant le support au-delà des 10 premiers tokens de la ligne de base.
- Niveau Trajectoire : Le RSP génère des chemins de raisonnement sémantiquement diversifiés (distance inter-amas plus élevée) tout en maintenant une cohérence au sein du groupe.
- Niveau Résultat : Le Pass@N (probabilité d'au moins une réponse correcte sur $N$ tentatives) augmente significativement avec le rééchantillonnage indépendant. Le partage d'un seul RSP entre les échantillons n'apporte aucun gain, confirmant que la diversité provient de l'injection stochastique et non d'une perturbation fixe.
Intégration à l'entraînement : Dans l'entraînement DAPO, l'ajout de RSP aux déroulements a entraîné une précision moyenne maximale plus élevée (54,36 % contre 53,20 % pour DAPO seul) et a retardé la dégradation des performances, suggérant une amélioration des dynamiques d'exploration-exploitation.

Signification et Revendications

L'article revendique qu'une part substantielle du succès attribué aux soft prompts « appris » est en réalité un sous-produit structurel du mécanisme d'injection lui-même. L'acte d'introduire des perturbations aléatoires et isotropes au niveau de la couche d'entrée :

Augmente la diversité des tokens en phase précoce, permettant au modèle d'explorer des trajectoires de raisonnement qui pourraient être inaccessibles via le scaling de température standard (qui préserve l'ordre de classement).
S'atténue automatiquement à mesure que la génération progresse, empêchant le bruit aléatoire de déstabiliser la réponse finale.
Sert de contrôle révélant les limites de l'hypothèse des travaux antérieurs selon laquelle le contenu appris est le principal moteur des améliorations de raisonnement.

Les auteurs concluent que le RSP offre une alternative simple et sans entraînement pour améliorer la diversité et la précision du raisonnement, en particulier dans des scénarios où l'alignement de format est médiocre ou où l'exploration indépendante de trajectoires est cruciale pour l'entraînement basé sur le RL. Ils notent des limitations concernant l'explication théorique de la décroissance par couche et l'applicabilité aux tâches non mathématiques, présentant ce travail comme une analyse fondamentale des dynamiques d'injection plutôt que comme une solution déployée.