💬 NLP

Accelerated Test-Time Scaling with Model-Free Speculative Sampling

L'article présente STAND, une méthode de décodage spéculatif sans modèle qui exploite le brouillage stochastique adaptatif des N-grammes pour tirer parti des redondances inhérentes au raisonnement, permettant une réduction de 60 à 65 % de la latence d'inférence sur diverses tâches de raisonnement sans compromettre la précision ni nécessiter un entraînement supplémentaire du modèle.

Auteurs originaux : Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle très difficile, comme un problème mathématique complexe ou un défi de programmation astucieux. Vous avez un ami brillant mais qui réfléchit lentement (le modèle d'IA) capable de le résoudre, mais qui prend beaucoup de temps pour écrire chaque mot de sa solution, un par un.

Le Problème : La « Marche Lente »
Actuellement, lorsque les modèles d'IA raisonnent, ils parcourent leur solution étape par étape, comme une personne écrivant une phrase lettre par lettre. Si le modèle doit générer 1 000 mots, il doit s'arrêter, réfléchir et écrire 1 000 fois. C'est lent et cela consomme beaucoup d'énergie.

Certaines personnes tentent d'accélérer cela en demandant au modèle de générer 16 solutions différentes à la fois et d'en choisir la meilleure (comme demander à 16 personnes de résoudre le puzzle et de sélectionner la gagnante). Mais cela rend l'ordinateur encore plus sollicité, comme embaucher 16 personnes au lieu d'une seule.

La Solution : STAND (Le « Tour de Mémoire »)
L'article présente une nouvelle méthode appelée STAND. Imaginez STAND comme un « raccourci » astucieux qui ne nécessite pas d'embaucher un deuxième ami, plus petit, pour aider. Au lieu de cela, il utilise la propre mémoire de l'ami brillant pour deviner ce qui vient ensuite.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Reconnaître de Motifs » (N-grammes)

Lorsque votre ami brillant résout de nombreux puzzles, il utilise souvent les mêmes phrases ou étapes logiques encore et encore.

Ancienne Méthode : Si l'ami dit « La réponse est 42 », le système attend que le mot suivant soit écrit.
Méthode STAND : Le système se souvient que chaque fois que l'ami dit « La réponse est », il dit presque toujours « 42 » ensuite. Ainsi, le système devine les mots suivants à l'avance.

2. Le « Compteur de Confiance » (Rédaction Stochastique)

C'est la plus grande innovation de l'article.

L'Ancien Jeu de Devinettes : Les méthodes précédentes ressemblaient à un robot qui ne devinait que le mot le plus probable. Si l'ami était incertain, la devinette du robot était souvent fausse, et l'ami devait s'arrêter pour la corriger.
Le Jeu de Devinettes STAND : STAND est plus intelligent. Il se souvient non seulement quel mot a été utilisé, mais avec quelle confiance l'ami l'a dit.
- Analogie : Imaginez que votre ami choisit entre « Pomme » et « Banane ».
  - Ancienne Méthode : S'il dit « Pomme », le système devine « Pomme ». Si l'ami voulait en réalité dire « Banane », la devinette échoue.
  - Méthode STAND : Le système se souvient : « Quand ils ont dit "Pomme", ils étaient sûrs à 70 %, mais il y avait 30 % de chances pour "Banane" ». Ainsi, le système devine les deux possibilités simultanément, pondérées par leur probabilité. Cela rend la devinette beaucoup plus susceptible d'être juste.

3. L'« Arbre des Possibilités » (Recherche Arborescente)

Parfois, le chemin n'est pas une ligne droite ; c'est un embranchement.

La Stratégie : STAND construit un petit « arbre » de devinettes. Il ne devine pas seulement un mot suivant ; il devine plusieurs chemins différents que l'ami pourrait emprunter.
L'Optimisation : L'article mentionne une approche « pilotée par les données ». Imaginez que le système teste d'abord un énorme et désordonné arbre de devinettes. Ensuite, il examine les résultats et dit : « D'accord, ces branches ont toujours fonctionné, mais ces impasses n'ont jamais réussi ». Il élimine les impasses et conserve les meilleures branches, créant une carte ultra-efficace pour les devinettes futures.

4. Le « Coup de Boost » (Gumbel-Top-K)

Pour que ces devinettes se produisent instantanément sans ralentir l'ordinateur, l'article utilise une astuce mathématique appelée Gumbel-Top-K.

Analogie : Imaginez que vous avez un sac de billes et que vous devez choisir les 3 plus rapides. Au lieu de les choisir une par une (ce qui prend du temps), vous secouez le sac et laissez les 3 meilleures sortir toutes en même temps. Cela économise un temps précieux.

Les Résultats : Qu'ont-ils Découvert ?

Les chercheurs ont testé cela sur des problèmes difficiles de mathématiques, de sciences et de programmation.

Vitesse : Ils ont constaté que STAND rend l'IA 60 % à 65 % plus rapide que la méthode lente standard.
Précision : Crucialement, cela n'a pas rendu l'IA moins intelligente. Les réponses étaient tout aussi correctes qu'avant.
Aucun Entraînement Supplémentaire : Vous n'avez pas besoin d'enseigner quelque chose de nouveau à l'IA. C'est un outil « brancher et jouer ». Vous pouvez prendre n'importe quel modèle d'IA existant et y attacher immédiatement ce « tour de mémoire ».
Passage à l'Échelle : Plus l'IA explore de chemins (comme essayer 16 solutions différentes), mieux STAND fonctionne. C'est comme avoir une meilleure carte lorsque vous explorez une immense forêt.

En Résumé
STAND revient à donner à une IA lente et réfléchie une « fiche d'aide » fabriquée à partir de ses propres pensées passées. Au lieu d'écrire chaque mot à partir de zéro, elle utilise sa mémoire de motifs similaires pour prédire les mots suivants instantanément. Elle fait cela sans avoir besoin d'une deuxième IA pour l'aider, et elle maintient les réponses tout aussi intelligentes qu'avant, juste beaucoup plus rapides.

Résumé Technique : Mise à l'échelle accélérée au moment de l'inférence par Échantillonnage Spéculatif Sans Modèle (STAND)

Énoncé du Problème

Les techniques de mise à l'échelle au moment de l'inférence (TTS), telles que l'échantillonnage best-of-N, le vote majoritaire et la recherche arborescente, ont considérablement amélioré les capacités de raisonnement des Modèles de Raisonnement à Grande Échelle (LRM) en allouant des ressources de calcul supplémentaires lors de l'inférence. Cependant, ces méthodes entraînent des coûts de calcul substantiels dus à la génération de longues séquences et de multiples trajectoires. Les approches existantes axées sur l'efficacité, telles que l'entraînement avec des récompenses basées sur la longueur ou l'utilisation de modèles en cascade, font souvent face à un compromis fondamental où la réduction des coûts de calcul conduit à un sacrifice de la précision. De plus, bien que le décodage spéculatif (SD) offre une voie vers une accélération sans perte, de nombreuses méthodes de SD sans modèle existantes reposent sur des recherches déterministes de n-grammes qui échouent à exploiter la nature probabiliste des stratégies de génération basées sur l'échantillonnage utilisées dans les LRM.

Méthodologie : STAND

Les auteurs proposent STAND (STochastic Adaptive N-gram Drafting), une approche de décodage spéculatif sans modèle conçue pour accélérer le raisonnement des LLM sans nécessiter de modèles de brouillon supplémentaires ni de fine-tuning. STAND exploite la redondance inhérente aux trajectoires de raisonnement, où des motifs de raisonnement et des séquences de tokens similaires sont fréquemment réutilisés à travers différentes solutions.

La méthodologie repose sur trois innovations clés :

Module Adaptatif de N-grammes Basé sur les Logits :
Contrairement aux brouilleurs sans modèle traditionnels qui stockent des IDs de tokens discrets ou les k meilleurs tokens, STAND stocke les distributions de logits (distributions de probabilité) des tokens suivants pour les n-grammes observés.
- Efficacité Mémoire : Pour gérer de grands vocabulaires, le système ne maintient que les k indices supérieurs et leurs probabilités. Lorsqu'un n-gramme est rencontré à plusieurs reprises, les distributions sont fusionnées en utilisant une moyenne pondérée (traitant les indices non stockés comme ayant une probabilité nulle). La distribution résultante est tronquée aux 10 tokens les plus probables pour assurer une utilisation constante de la mémoire.
- Brouillage Stochastique : En préservant les informations probabilistes, STAND permet un brouillage stochastique, où les tokens de brouillon sont échantillonnés à partir de la distribution stockée plutôt que de sélectionner un seul token déterministe. Cela aligne la distribution de brouillon avec la stratégie d'échantillonnage du modèle cible, augmentant considérablement les taux d'acceptation des tokens.
Échantillonnage Optimisé via Gumbel-Top-K :
Pour échantillonner efficacement plusieurs tokens en parallèle pour l'arbre de brouillon, STAND remplace l'échantillonnage séquentiel par l'astuce Gumbel-Top-K. En ajoutant du bruit Gumbel aux probabilités logarithmiques et en sélectionnant les k indices supérieurs, la méthode échantillonne $k$ tokens sans remplacement en parallèle. Les termes de bruit Gumbel sont pré-calculés et mis en cache pour séparer la surcharge d'échantillonnage du processus de brouillage, réduisant ainsi davantage la latence.
Optimisation de l'Arbre de Brouillon Basée sur les Données :
Au lieu de s'appuyer sur une construction d'arbre heuristique ou purement dynamique, STAND emploie une approche basée sur les données pour optimiser les arbres de brouillon statiques.
- Processus : Un grand arbre initial (625 nœuds) est construit. Le décodage spéculatif est effectué sur un petit ensemble d'échantillons de données réels (par exemple, 30 échantillons). Le système suit les probabilités d'acceptation par nœud et sélectionne les 80 nœuds les plus efficaces pour les réorganiser en une structure d'arbre compacte et optimisée.
- Résultat : Cela garantit que la structure de l'arbre est optimisée empiriquement pour les performances réelles tout en conservant l'efficacité de calcul des arbres statiques.

Contributions Clés

Brouillage Stochastique Sans Modèle : L'article identifie que les méthodes de SD sans modèle existantes ignorent largement la stochasticité. STAND introduit un mécanisme pour préserver et utiliser les informations de logits des générations précédentes afin d'effectuer un brouillage stochastique, ce qui est crucial pour l'inférence de LRM basée sur l'échantillonnage.
Stockage Efficace des Logits : La proposition d'une représentation compressée et économe en mémoire pour les distributions de logits de n-grammes permettant un brouillage probabiliste sans la surcharge des modèles de brouillon neuronaux complets.
Construction d'Arbre Basée sur les Données : Une nouvelle méthode d'optimisation hors ligne pour les arbres de brouillon qui adapte la structure de l'arbre en fonction des taux d'acceptation empiriques, surpassant les conceptions d'arbres heuristiques.
Compatibilité Plug-and-Play : En tant qu'approche sans modèle, STAND ne nécessite aucun entraînement supplémentaire, aucun fine-tuning du modèle cible, ni de modèles de brouillon séparés, le rendant applicable à n'importe quel LRM existant.

Résultats Expérimentaux

Des évaluations extensives ont été menées sur le raisonnement mathématique (AIME-2024), les questions-réponses scientifiques (GPQA-Diamond) et la programmation (LiveCodeBench) en utilisant les modèles DeepSeek-R1-Distill-Qwen-7B et 14B.

Débit et Latence : STAND réduit la latence d'inférence de 60–65 % par rapport au décodage autorégressif standard tout en maintenant la précision. En termes de débit, il surpasse les méthodes de décodage spéculatif les plus avancées de 14–28 %.
Mise à l'échelle Multi-Trajectoire : Les avantages de STAND augmentent avec le nombre de trajectoires de raisonnement. Dans les scénarios d'échantillonnage best-of-16, STAND atteint le débit et les longueurs d'acceptation les plus élevés, surpassant significativement les bases comme Token Recycle, ANPD et SAM.
Motifs d'Inférence Diversifiés :
- Trajectoire Unique : STAND améliore le débit d'environ 2,38 fois par rapport au décodage standard.
- Décodage par Lots : STAND maintient des accélérations significatives (jusqu'à 1,52 fois par rapport aux bases) même avec des tailles de lots de 8, alors que d'autres méthodes se dégradent.
- Recherche Arborescente au Moment de l'Inférence : Dans la Recherche Arborescente à Vérificateur Diversifié (DVTS), STAND atteint une accélération moyenne de 2,54 fois par rapport au décodage standard.
Études d'Ablation :
- Stochastique vs Déterministe : Le brouillage stochastique produit systématiquement des probabilités d'acceptation plus élevées (5–8 % de plus) et un débit supérieur par rapport au brouillage déterministe.
- Optimisation de l'Arbre : Les arbres optimisés via la méthode basée sur les données surpassent les arbres heuristiques (par exemple, issus de Token Recycle) sur les tâches in-domain (AIME) et out-of-domain (GPQA).
- Structure de l'Arbre : Les arbres optimisés pour STAND présentent une plus grande profondeur (jusqu'à 13 niveaux contre 7 pour les bases) et une structure de « longue traîne », reflétant la capacité du modèle à exploiter des séquences déterministes plus longues trouvées dans les trajectoires de raisonnement.

Importance et Revendications

L'article revendique que STAND fournit une solution puissante et plug-and-play pour accélérer le raisonnement des modèles de langage. En exploitant la redondance dans les trajectoires de raisonnement et les informations probabilistes inhérentes à la génération basée sur l'échantillonnage, STAND réalise une accélération significative (réduction de latence de 60–65 %) sans compromettre la précision du modèle cible.

Les auteurs soulignent que, contrairement aux méthodes nécessitant un réentraînement du modèle ou le déploiement de modèles de brouillon séparés, STAND est entièrement sans modèle et compatible avec n'importe quel LRM existant. Il adresse efficacement le compromis entre performance et efficacité dans la mise à l'échelle au moment de l'inférence, en particulier dans les scénarios impliquant plusieurs trajectoires, un décodage par lots et une recherche arborescente. Le travail suggère que l'agrégation d'informations historiques (via le stockage de logits de n-grammes) est plus bénéfique pour la mise à l'échelle au moment de l'inférence que les méthodes qui remplacent ou ignorent simplement les données de trajectoires précédentes.

Note : Les auteurs reconnaissent les limitations concernant l'implémentation actuelle, qui utilise la bibliothèque HuggingFace (moins optimisée que vLLM ou SGLang) et une recherche de n-grammes basée sur Python, suggérant un potentiel pour une réduction supplémentaire de la latence avec des implémentations plus optimisées.