💬 NLP

Do Reasoning Models Enhance Embedding Models?

Cet article démontre que l'initialisation des modèles d'embedding avec des LLM enrichis par le raisonnement n'apporte aucun avantage de performance par rapport aux modèles de base car l'apprentissage par renforcement avec récompenses vérifiables (RLVR) préserve la variété sémantique globale, permettant ainsi à l'apprentissage contrastif ultérieur de réaligner les représentations indépendamment de l'initialisation.

Auteurs originaux : Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Est-ce que « réfléchir » rend une carte meilleure ?

Imaginez que vous possédez une carte du monde géante et incroyablement détaillée (c'est un Grand Modèle de Langage). Cette carte vous aide à trouver votre chemin, à comprendre les relations entre les villes et à naviguer dans des terrains complexes.

Récemment, des scientifiques ont créé une nouvelle version de cette carte en apprenant au modèle à « réfléchir plus intensément » avant de répondre. Ils ont utilisé une méthode appelée RLVR (Reinforcement Learning with Verifiable Rewards ou Apprentissage par renforcement avec récompenses vérifiables). C'est comme donner à la carte un entraîneur strict qui lui dit : « Ne te contente pas de deviner l'itinéraire ; calcule chaque étape, vérifie tes calculs, et ne bouge que si tu es sûr à 100 % d'avoir raison. »

La grande question que les auteurs se sont posée était la suivante : Si la carte apprend à mieux « réfléchir », la carte elle-même devient-elle un meilleur outil de navigation ?

Plus précisément, ils voulaient savoir si ces modèles de « réflexion » produisent de meilleurs Embeddings (plongements lexicaux). En termes simples, un embedding est une façon de transformer une phrase en un point sur une carte. Si deux phrases signifient la même chose, leurs points devraient être situés juste à côté l'un de l'autre.

La Réponse Surprenante : Aucun Changement sur la Carte

Les auteurs ont testé cela en transformant ces modèles de « réflexion » en outils d'embedding. Ils les ont comparés aux modèles originaux, qui ne « réfléchissent » pas.

Le Résultat : Les modèles de « réflexion » ont obtenu des performances exactement identiques à celles des modèles originaux.

Analogie : Imaginez que vous avez une application GPS. Vous mettez à jour l'application pour que le conducteur puisse résoudre des problèmes mathématiques complexes pendant qu'il conduit. Vous pourriez vous attendre à ce que le conducteur prenne de meilleurs itinéraires. Mais quand vous testez le GPS, les itinéraires sont identiques. La « réflexion » n'a pas changé la carte du tout.

C'était surprenant car tout le monde supposait que si un modèle devient plus intelligent dans son raisonnement, sa compréhension interne du langage (sa « carte ») doit également s'améliorer.

Le Travail de Détective : Pourquoi cela s'est-il produit ?

Pour comprendre pourquoi la performance n'a pas changé, les auteurs ont inventé un nouvel outil appelé HRSA (Hierarchical Representation Similarity Analysis ou Analyse de similitude de représentation hiérarchique). Considérez l'HRSA comme une machine à rayons X à trois couches qui examine le cerveau du modèle sous différents angles :

Le Système de Coordonnées (Niveau de Représentation) : Les axes de la carte pointent-ils dans la même direction ?
La Forme du Terrain (Niveau Géométrique) : La forme des montagnes et des vallées est-elle la même ?
La Destination (Niveau Fonctionnel) : Le modèle sait-il toujours comment arriver aux mêmes endroits ?

Ce qu'ils ont découvert : Le « Réalignement du Manifold »

En utilisant leur machine à rayons X, ils ont découvert quelque chose de fascinant appelé Réalignement du Manifold.

Le processus de « réflexion » (RLVR) est comme un Randonneur :
Quand le modèle apprend à « réfléchir » (RLVR), il ne redessine pas toute la carte. Il ne déplace pas les montagnes et ne change pas l'océan. Au lieu de cela, il apprend simplement un meilleur chemin pour marcher sur le terrain existant.
- Forme Globale : La forme générale du monde (la « Géométrie Globale ») reste exactement la même.
- Forme Locale : Cependant, le randonneur réorganise les petits buissons et les rochers juste sous ses pieds (la « Géométrie Locale ») pour faciliter le voyage spécifique.
Le processus d'« Embedding » (Apprentissage Contrastif) est comme une Boussole :
Lorsqu'ils ont transformé ces modèles en outils d'embedding, ils ont utilisé une méthode d'entraînement appelée « Apprentissage Contrastif ». C'est comme une boussole qui force la carte à s'aligner sur une grille standard.
- Parce que le modèle de « réflexion » n'a modifié que les petits buissons (géométrie locale) et non les montagnes (géométrie globale), la boussole a pu facilement réaligner la carte.
- La boussole a ignoré les petits réarrangements et a replacé la carte du modèle de « réflexion » en parfait alignement avec la carte du modèle original.

La Comparaison : « Réflexion » vs « Mémorisation »

Les auteurs ont également comparé cela à une autre méthode appelée SFT (Supervised Fine-Tuning ou Ajustement fin supervisé), qui consiste à forcer le modèle à mémoriser une liste spécifique de réponses.

Le SFT est comme prendre un marteau pour frapper la carte. Cela écrase les montagnes et remodèle les vallées. Cela crée une carte totalement différente, c'est pourquoi les modèles SFT performent souvent différemment (parfois moins bien) sur les tâches d'embedding.
Le RLVR (Réflexion) est doux. Il préserve la structure de la carte, en optimisant simplement l'itinéraire.

La Conclusion

L'article conclut que le RLVR (l'entraînement par réflexion) n'améliore pas fondamentalement la carte sous-jacente.

Il optimise la trajectoire (le chemin que le modèle emprunte pour résoudre un problème).
Il ne restructure pas le paysage (la façon fondamentale dont le modèle comprend le langage).

Ainsi, si vous cherchez un meilleur modèle d'embedding (une meilleure carte pour trouver des textes similaires), entraîner simplement un modèle à « réfléchir » plus intensément ne servira à rien. Vous devez changer la carte elle-même, et pas seulement la façon dont le modèle la parcourt. Les modèles de « réflexion » parcourent simplement la même vieille carte, mais ils empruntent un itinéraire légèrement différent et plus prudent pour arriver à la même destination.

Résumé Technique : Les modèles de raisonnement améliorent-ils les modèles d'embedding ?

Énoncé du Problème

Les modèles d'embedding de texte à l'état de l'art sont de plus en plus construits en adaptant des modèles de langage (LLM) de type décodeur uniquement via l'apprentissage contrastif. Parallèlement, une nouvelle classe de « modèles de raisonnement » a émergé, entraînés par Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) pour atteindre des performances supérieures dans la résolution de problèmes complexes. Une hypothèse naturelle se pose : l'amélioration de la capacité de raisonnement des modèles ajustés par RLVR se traduit-elle par un espace de représentation sémantique supérieur lorsque ces modèles servent de socles (backbones) pour des tâches d'embedding ? Intuitivement, un modèle qui « réfléchit » plus profondément devrait structurer les relations sémantiques de manière plus efficace. Cependant, les premières observations empiriques suggèrent un paradoxe : les modèles d'embedding initialisés à partir de socles ajustés par RLVR présentent des performances statistiquement identiques à ceux initialisés à partir de modèles de base après un entraînement contrastif, malgré les bonds qualitatifs des modèles de raisonnement dans les tâches de raisonnement.

Méthodologie

Pour résoudre ce paradoxe et diagnostiquer la dynamique interne de ces représentations, les auteurs introduisent l'Analyse de Similitude de Représentation Hiérarchique (HRSA), un cadre étendant l'Analyse de Similitude de Représentation (RSA). La HRSA décompose la similitude des modèles en trois niveaux d'abstraction imbriqués, chacun possédant des propriétés d'invariance spécifiques :

Niveau de Représentation : Se concentre sur la base de coordonnées et la correspondance des caractéristiques. Les métriques incluent la Corrélation Dimensionnelle (testant la correspondance des axes de caractéristiques) et l'Analyse de Procruste Orthogonale (testant l'équivalence linéaire globale via des transformations orthogonales). Ce niveau est sensible aux rotations et aux permutations du système de coordonnées.
Niveau Géométrique : Se concentre sur la forme du manifold latent, invariant aux changements de base de coordonnées mais sensible aux déformations. Les métriques incluent l'Alignement de Noyau Centré Linéaire (Linear CKA) pour la géométrie globale et le Chevauchement des k-Plus Proches Voisins (k-NN Overlap) pour la préservation de la géométrie locale.
Niveau Fonctionnel : Se concentre sur les correspondances entrée-sortie et la solvabilité des tâches en aval. Cela est évalué à l'aide de Sondes Linéaires Inter-Modèles (Cross-Model Linear Probes), où une lecture linéaire entraînée sur un modèle est testée sur un autre pour déterminer si les mêmes frontières de décision sont valides à travers les représentations.

Configuration Expérimentale :
Les auteurs ont mené une étude de benchmarking systématique comparant les LLM de base ( $M_{base}$ ) à leurs homologues de raisonnement ajustés par RLVR ( $M_{reasoning}$ ). Ils ont affiné divers couples de ces socles en modèles d'embedding ( $M_{Emb}^{base}$ et $M_{Emb}^{reasoning}$ ) en utilisant des architectures et des recettes d'apprentissage contrastif (perte InfoNCE) identiques. L'évaluation a été réalisée sur les benchmarks MTEB (Multilingue et Code) et BRIGHT. L'étude comprenait également des modèles ajustés par SFT (Fine-Tuning Supervisé) comme groupe de contrôle pour souligner les différences entre les stratégies d'optimisation.

Résultats Clés

1. Effet Nul sur la Performance d'Embedding

Contrairement à l'hypothèse selon laquelle un raisonnement amélioré améliore les embeddings, les résultats montrent un effet nul. Les modèles d'embedding initialisés à partir de socles ajustés par RLVR atteignent une parité de performance avec ceux initialisés à partir de modèles de base sur tous les benchmarks (MTEB Multilingue, MTEB Code et BRIGHT). Les écarts de performance ( $\Delta$ ) sont proches de zéro, alors que les socles ajustés par SFT montrent souvent des écarts significatifs.

2. Résultats de la HRSA : Réalignement du Manifold

La HRSA révèle des comportements structurels distincts entre le RLVR et le SFT :

Niveau de Représentation : Le RLVR préserve largement la base de coordonnées. Les corrélations dimensionnelles restent élevées, et l'analyse de Procruste orthogonale produit des matrices proches de matrices de permutation (faible mélange de caractéristiques). En revanche, le SFT provoque un mélange destructeur des caractéristiques.
Niveau Géométrique :
- Géométrie Globale : Le RLVR agit comme une transformation quasi-isométrique, préservant la forme globale du manifold latent (Linear CKA élevé).
- Géométrie Locale : Le RLVR induit une réorganisation irréversible de la structure des voisinages locaux (chevauchement k-NN modéré), suggérant un re-groupement (re-clustering) des étapes de raisonnement sans altérer la carte sémantique globale.
Niveau Fonctionnel : Les sondes linéaires inter-modèles montrent une forte transférabilité, indiquant que les directions de lecture linéaire pertinentes pour les tâches restent stables sous le RLVR.

3. Phénomène de Réalignement du Manifold

Une découverte critique est le Réalignement du Manifold. Lorsque les socles ajustés par RLVR sont adaptés en modèles d'embedding via l'apprentissage contrastif, le processus d'entraînement induit un fort alignement entre les modèles initialisés par la base et ceux initialisés par le raisonnement. Ce réalignement corrige efficacement la dérive réversible de la base de coordonnées observée lors d'un entraînement prolongé par RLVR, résultant en des espaces d'embedding indiscernables.

Contributions Clés

Benchmarking Systématique : La première comparaison contrôlée démontrant que les méthodes RLVR actuelles n'améliorent pas intrinsèquement la qualité des embeddings lorsqu'elles sont utilisées comme socles, malgré leur succès dans les tâches de raisonnement.
Le Cadre HRSA : Un outil de diagnostic hiérarchique unifié (Représentation, Géométrie, Fonction) qui démêle la dérive de la base de coordonnées, les changements de géométrie du manifold et la stabilité de la lecture fonctionnelle. Ce cadre offre un ensemble d'outils pour les futures études d'interprétabilité.
Découverte du Réalignement du Manifold : L'identification du fait que le RLVR optimise les trajectoires au sein d'un paysage sémantique existant plutôt que de le restructurer fondamentalement. Plus précisément, le RLVR préserve la géométrie globale et les lectures linéaires tout en réorganisant les voisinages locaux, et l'apprentissage contrastif ultérieur peut écraser les dérives réversibles pour réaligner les manifolds.

Signification et Revendications

L'article affirme que le RLVR fonctionne principalement comme une optimisation de trajectoire au sein d'un paysage sémantique existant, plutôt que comme une restructuration fondamentale du paysage lui-même. Contraire au Fine-Tuning Supervisé (SFT), qui peut causer un mélange destructeur et une restructuration globale, le RLVR affine la politique du modèle pour traverser le manifold latent tout en préservant la richesse des connaissances du monde et les relations sémantiques globales établies lors du pré-entraînement.

Les auteurs postulent que le « raisonnement amélioré » des modèles RLVR est obtenu en réorganisant la géométrie locale (comment les états proches sont liés) et en optimisant les trajectoires de décision, tout en laissant le système de coordonnées à grande échelle et les directions de lecture linéaire largement intacts. Par conséquent, pour les tâches reposant sur la similitude sémantique globale (comme l'embedding et la recherche), l'avantage du RLVR ne se manifeste pas par un espace d'embedding supérieur, mais plutôt par une préservation robuste de l'ossature représentationnelle du modèle de base. L'article suggère que ce « Réalignement du Manifold » peut être un phénomène général dans l'apprentissage de représentations, s'étendant au-delà du texte vers la vision et l'audio, et propose que des comportements similaires pourraient potentiellement être obtenus via un SFT augmenté par une régularisation sensible à la géométrie.