🤖 machine learning

Representation-Based Exploration for Language Models: From Test-Time to Post-Training

Cet article démontre que l'incorporation d'un simple bonus de diversité basé sur la représentation, dérivé des états cachés pré-entraînés, tant lors de l'échantillonnage à l'inférence que lors de l'apprentissage par renforcement post-entraînement, améliore considérablement les performances et l'efficacité d'échantillonnage des modèles de langage en favorisant la découverte de nouveaux comportements plutôt que le simple raffinement de ceux existants.

Auteurs originaux : Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Publié 2026-07-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy, Jordan T. Ash

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs ne se contentent pas de suivre des instructions, mais apprennent réellement à penser par eux-mêmes, en résolvant des énigmes et en écrivant du code en essayant, en échouant, puis en essayant à nouveau. C'est le domaine de l'apprentissage par renforcement (Reinforcement Learning ou RL), une branche de l'intelligence artificielle où un agent apprend en interagissant avec son environnement pour maximiser ses récompenses. Considérez cela comme l'entraînement d'un chien : s'il s'assoit, il reçoit une friandise ; s'il saute, il n'obtient rien. Avec le temps, le chien apprend les meilleurs comportements pour obtenir le plus de friandises possible.

Dans le monde des grands modèles de langage (les chatbots IA super intelligents que nous utilisons aujourd'hui), ce processus est appelé « post-entraînement ». Les scientifiques soumettent au modèle un problème mathématique ou une tâche de codage, le laissent générer une réponse, et vérifient si elle est correcte. Si elle l'est, le modèle reçoit une « récompense » et apprend à mieux faire cette chose spécifique la prochaine fois. Cependant, il y a un piège. Les méthodes actuelles agissent souvent comme un étudiant qui se contente de mémoriser les réponses du manuel. Ils deviennent très doués dans les astuces spécifiques qu'ils connaissent déjà, mais ils découvrent rarement de nouvelles façons de résoudre les problèmes. Ils se contentent de devenir plus affûtés dans ce qu'ils font déjà. La grande question que se posent les scientifiques est la suivante : pouvons-nous apprendre à ces modèles d'IA à être des explorateurs curieux plutôt que de simples mémorisateurs ? Pouvons-nous les encourager à essayer des approches étranges, inédites et diverses pour trouver des solutions que leur entraînement de base ne leur a jamais montrées ?

Cet article, intitulé « Representation-Based Exploration for Language Models », plonge précisément dans cette question. Les chercheurs, Jens Tuyls, Dylan J. Foster, Akshay Krishnamurthy et Jordan T. Ash, proposent une nouvelle méthode ingénieuse pour faire explorer l'IA. Au lieu de laisser le modèle deviner de manière aléatoire ou simplement répéter ce qu'il sait, ils donnent au modèle un « bonus de diversité ». Imaginez que vous cherchez un trésor caché dans une forêt géante. Un marcheur aléatoire pourrait errer sans but, tandis qu'un marcheur intelligent pourrait essayer de visiter chaque type d'arbre distinct pour s'assurer de ne manquer aucun indice. Cet article suggère d'utiliser les propres « pensées » internes du modèle (ses états cachés) pour mesurer à quel point une nouvelle idée est différente de celles qu'il a déjà essayées. Si une idée semble « fraîche » ou « inédite » par rapport à ses tentatives précédentes, elle reçoit un bonus de récompense, encourageant le modèle à continuer d'explorer cette nouvelle voie.

L'équipe a testé cette idée de deux manières principales. Premièrement, ils ont examiné l'exploration « au moment de l'inférence » (inference-time), qui est un test ponctuel. Ils ont généré des milliers de réponses pour un seul problème mathématique et ont utilisé leur « bonus de diversité » pour choisir les plus intéressantes à vérifier. Ils ont constaté que cette méthode était incroyablement efficace. Par exemple, sur un ensemble de données mathématiques difficiles appelé MATH, en utilisant leur méthode avec un modèle nommé Qwen-2.5-14b-Instruct, ils ont amélioré l'efficacité de la recherche d'une réponse correcte de plus de 50 % par rapport à un simple choix aléatoire de réponses. En fait, pour certaines tâches, ils ont eu besoin de 3 à 13 fois moins de tentatives pour trouver une solution correcte en utilisant cette stratégie d'exploration.

Deuxièmement, ils ont intégré cette stratégie d'exploration dans le processus d'entraînement proprement dit (post-entraînement). Ils voulaient voir si cela pouvait aider le modèle à apprendre de nouveaux comportements plutôt que de simplement affûter les anciens. Les résultats sont prometteurs. Lorsqu'ils ont entraîné le modèle avec ce bonus d'exploration, celui-ci ne s'est pas contenté de devenir meilleur dans les mêmes vieilles astuces ; il a commencé à générer des réponses qui semblaient beaucoup plus novatrices et créatives. Sur un ensemble de données de compétition mathématique difficile appelé AIME 2024, leur modèle enrichi par l'exploration a obtenu des performances comparables à une méthode d'entraînement standard utilisant quatre fois plus d'échantillons. Cela suggère qu'en encourageant délibérément la diversité, nous pouvons aider les modèles d'IA à découvrir de nouvelles capacités sans avoir besoin de quantités massives de données supplémentaires ou de puissance de calcul.

Cependant, les auteurs précisent avec prudence que ce n'est pas une solution miracle qui résout tout. Ils ont découvert que la méthode fonctionne mieux avec des modèles plus puissants et plus capables ; les modèles plus faibles ne bénéficiaient parfois pas de la méthode, voire s'en trouvaient dégradés. Ils ont également montré que, bien que cette approche aide le modèle à trouver de nouvelles solutions, cela ne signifie pas nécessairement que le modèle devient plus « intelligent » de manière générale, mais plutôt qu'il est meilleur pour naviguer dans le vaste espace des réponses possibles pour trouver la bonne. L'article suggère que cette « exploration délibérée » est une voie pratique pour l'avenir, offrant un moyen de dépasser la simple amélioration des compétences existantes pour tendre vers la découverte de nouveaux comportements authentiques dans les modèles de langage.

Résumé technique : Exploration basée sur les représentations pour les modèles de langage

Problématique

L'apprentissage par renforcement (RL) a montré son potentiel pour améliorer les modèles de langage (LM) dans des tâches dotées de récompenses vérifiables, telles que le raisonnement mathématique et la génération de code. Cependant, une limitation critique des techniques actuelles de post-entraînement par RL est l'incertitude quant à savoir si elles découvrent réellement de nouveaux comportements ou si elles se contentent d'« affiner » (amplifier) des capacités déjà présentes dans le modèle de base avec une probabilité modeste. Des preuves existantes suggèrent que les recettes de RL standard échouent souvent à débloquer des capacités absentes du modèle pré-entraîné, convergeant plutôt vers des solutions connues. De plus, la curation de données et les interventions algorithmiques pour atténuer ce problème deviennent des goulots d'étranglement, particulièrement dans des domaines complexes et ouverts.

L'article pose comme postulat que l'exploration délibérée — l'incitation explicite du modèle à découvrir des comportements véritablement nouveaux et diversifiés — est essentielle pour réaliser le plein potentiel du RL pour le raisonnement des modèles de langage. Le défi central consiste à quantifier la nouveauté et la diversité au sein de l'espace combinatoirement vaste du langage de manière scalable, tout en exploitant les connaissances préalables ancrées dans les modèles pré-entraînés pour guider cette recherche efficacement.

Méthodologie

Les auteurs proposent une stratégie d'exploration basée sur les représentations, utilisant des bonus elliptiques dérivés des états cachés du modèle de langage pré-entraîné. La méthodologie est évaluée via une approche à deux volets :

1. Sélection au moment de l'inférence

Pour isoler le rôle de la diversité de celui de l'optimisation et de la généralisation, les auteurs définissent d'abord un problème de sélection au moment de l'inférence. Étant donné un prompt $x$ et un grand ensemble de $N$ réponses candidates générées par un modèle fixe $\pi$ , l'objectif est de sélectionner un sous-ensemble de $k$ réponses qui soit maximalement diversifié et qui ait une haute probabilité de contenir une réponse correcte.

Mécanisme (RepExp) : L'algorithme sélectionne de manière itérative des réponses pour maximiser un bonus elliptique. Pour une réponse $y$ , un vecteur de caractéristiques $\bar{h}_\theta(x, y)$ est construit en faisant la moyenne des états cachés de la dernière couche du modèle sur les tokens de la réponse.
Métrique de diversité : La nouveauté d'une candidate $y$ étant donné un ensemble de réponses précédemment sélectionnées est définie par $div(y) = \bar{h}_\theta(x, y)^\top \Sigma^{-1} \bar{h}_\theta(x, y)$ , où $\Sigma$ est la matrice de covariance des caractéristiques sélectionnées. L'inverse de la covariance est mis à jour efficacement à l'aide de l'identité de Woodbury.
Objectif : Cette approche sélectionne un « coreset » de réponses diversifiées pour interroger un vérificateur, visant à améliorer l'efficacité du vérificateur (réduisant le nombre d'échantillons nécessaires pour trouver une réponse correcte).

2. Post-entraînement par RL

Les auteurs intègrent cette stratégie d'exploration dans le pipeline de post-entraînement GRPO (Group Relative Policy Optimization).

Augmentation de la récompense : Au lieu de sélectionner un sous-ensemble, le bonus elliptique est ajouté directement à la récompense extrinsèque. Pour un déroulement (rollout) $y_i$ , la récompense devient $r(x, y_i) + \beta \cdot \bar{h}_\theta(x, y_i)^\top \Sigma^{-1} \bar{h}_\theta(x, y_i)$ .
Implémentation : La matrice de covariance $\Sigma$ est réinitialisée pour chaque lot (batch) de déroulements d'entraînement afin de mesurer la nouveauté par rapport au lot actuel. Les vecteurs de caractéristiques sont projetés vers une dimension inférieure (ex: 512) via une projection aléatoire parcimonieuse pour assurer la scalabilité.

3. Extension au niveau du token (préliminaire)

Comme preuve de concept, les auteurs explorent également la modification du processus de génération autorégressif lui-même. En perturbant les logits au niveau du token avec un bonus elliptique à chaque étape de génération, ils visent à guider la diversité pendant le processus de génération plutôt qu'une sélection post-hoc.

Contributions et résultats clés

1. Amélioration de l'efficacité du vérificateur (Inférence)

L'article démontre que l'exploration basée sur les représentations améliore significativement l'efficacité du vérificateur sur un large éventail de modèles (Phi, Llama, Qwen) et de tâches (MATH, GSM8K, MBPP+, Game of 24).

Résultat : Pour des modèles comme Qwen-2.5-14b-Instruct, la méthode atteint une amélioration de plus de 50 % du nombre d'échantillons requis pour trouver une réponse correcte par rapport à l'échantillonnage aléatoire.
Corrélation avec la force du modèle : Les bénéfices de l'exploration augmentent avec la force du modèle ; les modèles plus puissants (ex: Qwen-32B) bénéficient de manière significative, tandis que les modèles plus faibles peuvent ne voir aucune amélioration ou subir une dégradation.
Sensibilité à la difficulté : La méthode offre les gains d'efficacité les plus importants sur les questions les plus difficiles (ex: le top 20 % les plus difficiles de MATH).

2. Amélioration de la performance et de la diversité du post-entraînement

L'intégration de l'exploration basée sur les représentations dans le post-entraînement par RL produit des performances supérieures par rapport au GRPO standard et aux baselines d'« improbabilité » (Unlikeliness).

Amélioration du Pass@k : La méthode maintient ou améliore les taux de pass@k pour de grandes valeurs de $k$ , alors que le GRPO standard dégrade souvent la performance par rapport au modèle de base pour de grands $k$ (un phénomène connu sous le nom de « effondrement de la diversité » ou diversity collapse).
Efficacité d'échantillonnage : Sur le benchmark AIME 2024, le modèle post-entraîné Qwen-2.5-7b-Instruct utilisant RepExp atteint un pass@80 qui correspond au pass@256 du GRPO standard, représentant une amélioration de 3x de l'efficacité de l'échantillonnage au moment du test.
Anti-affinement (Anti-Sharpening) : L'analyse des log-vraisemblances sous le modèle de base révèle que RepExp génère des réponses nettement plus nouvelles (plus faible vraisemblance) que celles du GRPO standard, qui a tendance à affiner la distribution du modèle de base. Cela suggère que la méthode parvient à s'échapper du « régime d'affinement ».

3. Application à la vérification à coût élevé

Dans une expérience préliminaire sur la génération de séquences de protéines (où la vérification via des travaux en laboratoire est coûteuse), la méthode a amélioré l'efficacité du vérificateur jusqu'à 56,9x par rapport à l'échantillonnage aléatoire, démontrant un potentiel d'utilité dans des domaines où la vérification est onéreuse.

Signification et affirmations

L'article affirme que l'exploration délibérée, guidée par une notion de diversité basée sur les représentations et fondée sur des principes, est une voie pratique pour découvrir de nouveaux comportements dans les modèles de langage au-delà du simple affinement.

Nouveauté de l'approche : Contrairement aux travaux antérieurs qui reposent sur des réseaux auxiliaires (ex: Random Network Distillation) ou une curation de données complexe, cette méthode exploite les propres états cachés du modèle pré-entraîné, ne nécessant aucun mécanisme d'apprentissage supplémentaire.
Stratégie de validation : Les auteurs soulignent la valeur de leur évaluation en deux étapes (sélection au moment de l'inférence suivie du post-entraînement) comme moyen de dissocier les bénéfices de la diversité des autres mécanismes de RL.
Portée modeste : Les auteurs reconnaissent que leur implémentation actuelle est un schéma « simple et fondé sur des principes ». Ils ne prétendent pas avoir résolu tous les défis de l'exploration, mais suggèrent que cette approche fournit une base solide et un cadre pour comprendre les compromis de stratégies plus sophistiquées. Ils notent que si l'exploration au niveau du token est prometteuse, elle entraîne actuellement des coûts computationnels plus élevés qui nécessitent une optimisation.

En résumé, l'article soutient qu'en encourageant explicitement la découverte de comportements diversifiés via des bonus basés sur les représentations, les modèles de langage peuvent être guidés pour trouver des solutions nouvelles que le post-entraînement par RL standard manque, augmentant ainsi plus efficacement leurs capacités de raisonnement.