💬 NLP

Do Reasoning Models Enhance Embedding Models?

Dieses Paper zeigt auf, dass die Initialisierung von Embedding-Modellen mit reasoning-enhanced LLMs keinen Leistungsvorteil gegenüber Basismodellen bietet, da Reinforcement Learning with Verifiable Rewards (RLVR) die globale semantische Mannigfaltigkeit bewahrt, was es dem nachfolgenden kontrastiven Lernen ermöglicht, die Repräsentationen unabhängig von der Initialisierung neu auszurichten.

Ursprüngliche Autoren: Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Macht „Nachdenken“ eine Karte besser?

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Weltkarte (dies ist ein Large Language Model). Diese Karte hilft Ihnen, Ihren Weg zu finden, Beziehungen zwischen Städten zu verstehen und komplexes Gelände zu navigieren.

Kürzlich haben Wissenschaftler eine neue Version dieser Karte erstellt, indem sie das Modell dazu brachten, vor der Antwort „intensiver nachzudenken“. Sie verwendeten eine Methode namens RLVR (Reinforcement Learning with Verifiable Rewards). Das ist so, als würde man der Karte einen strengen Trainer geben, der sagt: „Rate nicht einfach die Route; berechne jeden Schritt, überprüfe deine Mathematik und bewege dich erst, wenn du dir zu 100 % sicher bist, dass du richtig liegst.“

Die große Frage, die die Autoren stellten, war: Wenn die Karte lernt, besser zu „denken“, wird die Karte selbst dann zu einem besseren Werkzeug für die Navigation?

Speziell wollten sie wissen, ob diese „denkenden“ Modelle bessere Embeddings erstellen. Vereinfacht ausgedrückt ist ein Embedding eine Methode, um einen Satz in einen Punkt auf einer Karte zu verwandeln. Wenn zwei Sätze dasselbe bedeuten, sollten ihre Punkte direkt nebeneinander liegen.

Die überraschende Antwort: Keine Veränderung der Karte

Die Autoren testeten dies, indem sie die „denkenden“ Modelle in Embedding-Werkzeuge umwandelten. Sie verglichen sie mit den ursprünglichen, nicht-denkenden Modellen.

Das Ergebnis: Die „denkenden“ Modelle schnitten genau so gut ab wie die ursprünglichen Modelle.

Analogie: Stellen Sie sich vor, Sie haben eine GPS-App. Sie verbessern die App so, dass der Fahrer komplexe mathematische Probleme lösen kann, während er fährt. Sie würden erwarten, dass der Fahrer dadurch bessere Routen nimmt. Aber wenn Sie das GPS testen, sind die Routen identisch. Das „Nachdenken“ hat die Karte überhaupt nicht verändert.

Dies war überraschend, da alle davon ausgingen, dass, wenn ein Modell besser im logischen Schlussfolgern wird, auch sein internes Sprachverständnis (seine „Karte“) besser werden muss.

Die Detektivarbeit: Warum ist das passiert?

Um herauszufinden, warum die Leistung sich nicht änderte, erfanden die Autoren ein neues Werkzeug namens HRSA (Hierarchical Representation Similarity Analysis). Betrachten Sie HRSA als eine dreischichtige Röntgenmaschine, die das Gehirn des Modells aus verschiedenen Blickwinkeln betrachtet:

Das Koordinatensystem (Repräsentationsebene): Zeigen die Achsen der Karte in dieselbe Richtung?
Die Gestalt des Landes (Geometrieebene): Ist die Form der Berge und Täler dieselbe?
Das Ziel (Funktionsebene): Weiß das Modell immer noch, wie es an dieselben Orte gelangt?

Was sie fanden: Die „Manifold Realignment“ (Mannigfaltigkeits-Neuausrichtung)

Mit ihrem Röntgenblick entdeckten sie etwas Faszinierendes namens Manifold Realignment.

Der „Denkprozess“ (RLVR) ist wie ein Wanderer:
Wenn das Modell lernt zu „denken“ (RLVR), zeichnet es die gesamte Karte nicht neu. Es verschiebt weder die Berge noch verändert es den Ozean. Stattdessen lernt es lediglich einen besseren Pfad, um das bestehende Gelände zu durchqueren.
- Globale Form: Die allgemeine Form der Welt (die „Globale Geometie“) bleibt exakt gleich.
- Lokale Form: Der Wanderer ordnet jedoch die kleinen Büsche und Steine direkt unter seinen Füßen (die „Lokale Geometie“) neu an, um die spezifische Reise zu erleichtern.
Der „Embedding-Prozess“ (Contrastive Learning) ist wie ein Kompass:
Als sie diese Modelle in Embedding-Werkzeuge verwandelten, nutzten sie eine Trainingsmethung namens „Contrastive Learning“. Dies ist wie ein Kompass, der die Karte zwingt, sich an ein Standardgitter auszurichten.
- Da das „denkende“ Modell nur die kleinen Büsche (lokale Geometrie) und nicht die Berge (globale Geometie) verändert hat, konnte der Kompass die Karte leicht neu ausrichten.
- Der Kompass ignorierte die kleinen Umordnungen und rückte die Karte des „denkenden“ Modells wieder perfekt in die Ausrichtung mit der Karte des ursprünglichen Modells.

Der Vergleich: „Denken“ vs. „Auswendiglernen“

Die Autoren verglichen dies auch mit einer anderen Methode namens SFT (Supervised Fine-Tuning), was so ist, als würde man das Modell zwingen, eine spezifische Liste von Antworten auswendig zu lernen.

SFT ist wie ein Hammer, der auf die Karte trifft. Er zertrümmert die Berge und formt die Täler um. Dadurch entsteht eine völlig andere Karte, weshalb SFT-Modelle oft anders (manchmal schlechter) bei Embedding-Aufgaben abschneiden.
RLVR (Denken) ist sanft. Es hält die Struktur der Karte intakt und optimiert lediglich die Route.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass RLVR (das „Denktraining“) die zugrunde liegende Karte nicht grundlegend verbessert.

Es optimiert die Trajektorie (den Pfad, den das Modell nimmt, um ein Problem zu lösen).
Es verändert jedoch nicht die Landschaft (die fundamentale Art und Weise, wie das Modell Sprache versteht).

Wenn Sie also auf der Suche nach einem besseren Embedding-Modell sind (einer besseren Karte, um ähnliche Texte zu finden), wird es nicht helfen, ein Modell einfach nur härter „denken“ zu lassen. Sie müssen die Karte selbst verändern, nicht nur die Art und Weise, wie das Modell über sie wandert. Die „denkenden“ Modelle gehen lediglich dieselbe alte Karte ab, nehmen aber einen etwas anderen, sorgfältigeren Weg, um zum selben Ziel zu gelangen.

Technisches Resümee: Verbessern Reasoning-Modelle Embedding-Modelle?

Problemstellung

State-of-the-Art Text-Embedding-Modelle werden zunehmend durch die Anpassung von Decoder-only Large Language Models (LLMs) mittels kontrastivem Lernen konstruiert. Gleichzeitig ist eine neue Klasse von „Reasoning-Modellen“ entstanden, die mittels Reinforcement Learning with Verifiable Rewards (RLVR) trainiert werden, um eine überlegene Leistung bei komplexen Problemlösungen zu erzielen. Eine natürliche Hypothese ergibt sich: Überträgt sich die verbesserte Argumentationsfähigkeit von RLVR-optimierten Modellen in einen überlegenen semantischen Repräsentationsraum, wenn diese Modelle als Backbones für Embedding-Aufgaben dienen? Intuitiv sollte ein Modell, das „tiefer nachdenkt“, semantische Beziehungen effektiver strukturieren. Erste empirische Beobachtungen deuten jedoch auf ein Paradoxon hin: Embedding-Modelle, die von RLVR-optimierten Backbones initialisiert wurden, zeigen statistisch identische Leistungen wie solche, die von Base-Modellen initialisiert wurden, nachdem sie einem kontrastiven Training unterzogen wurden – trotz der qualitativ deutlichen Sprünge der Reasoning-Modelle in Reasoning-Aufgaben.

Methodik

Um dieses Paradoxon zu lösen und die internen Dynamiken dieser Repräsentationen zu diagnostizieren, führen die Autoren die Hierarchical Representation Similarity Analysis (HRSA) ein, ein Framework, das die Representational Similarity Analysis (RSA) erweitert. HRSA zerlegt die Ähnlichkeit von Modellen in drei verschachtelte Abstraktionsebenen, die jeweils spezifische Invarianzeigenschaften besitzen:

Repräsentationsebene (Representation Level): Konzentriert sich auf die Koordinatenbasis und die Merkmalskorrespondenz. Zu den Metriken gehören die dimensionale Korrelation (Test der achsenparallelen Merkmalsübereinstimmung) und die Orthogonale Procrustes-Analyse (Test der globalen linearen Äquivalenz via orthogonaler Transformationen). Diese Ebene reagiert empfindlich auf Rotationen und Permutationen des Koordinatensystems.
Geometrie-Ebene (Geometry Level): Konzentriert sich auf die Form der latenten Mannigfaltigkeit (Manifold), invariant gegenüber Änderungen der Koordinatenbasis, aber sensitiv gegenüber Deformationen. Die Metriken umfassen die Linear Centered Kernel Alignment (Linear CKA) für die globale Geometrie und die k-Nearest Neighbors (k-NN) Overlap für die Erhaltung der lokalen Geometrie.
Funktionsebene (Function Level): Konzentriert sich auf Input-Output-Abbildungen und die Lösbarkeit nachgeschalteter Aufgaben. Dies wird mittels Cross-Model Linear Probes evaluiert, wobei ein linearer Readout, der auf einem Modell trainiert wurde, auf einem anderen getestet wird, um zu bestimmen, ob dieselben Entscheidungsgrenzen über Repräsentationen hinweg gültig sind.

Experimentelles Setup:
Die Autoren führten eine systematische Benchmarking-Studie durch, in der sie Base-LLMs ( $M_{base}$ ) gegen ihre RLVR-optimierten Reasoning-Pendants ( $M_{reason}$ ) verglichen. Diese Backbone-Paare wurden unter Verwendung identischer Architekturen und kontrastiver Lernrezepte (InfoNCE Loss) in Embedding-Modelle ( $M_{Emb}^{base}$ und $M_{Emb}^{reason}$ ) transformiert. Die Evaluierung erfolgte auf den MTEB (Multilingual und Code) und BRIGHT Benchmarks. Die Studie beinhaltete zudem Supervised Fine-Tuning (SFT) optimierte Modelle als Kontrollgruppe, um Unterschiede in den Optimierungsstrategien hervorzuheben.

Kernergebnisse

1. Null-Effekt auf die Embedding-Leistung

Entgegen der Hypothese, dass verbessertes Reasoning die Embeddings verbessert, zeigen die Ergebnisse einen Null-Effekt. Embedding-Modelle, die von RLVR-optimierten Backbones initialisiert wurden, erreichen eine Leistungsparität mit solchen, die von Base-Modellen initialisiert wurden, über alle Benchmarks hinweg (MTEB Multilingual, MTEB Code und BRIGHT). Die Leistungsunterschiede ( $\Delta$ ) liegen nahe Null, während SFT-optimierte Backbones oft signifikante Abweichungen zeigen.

2. HRSA-Ergebnisse: Manifold-Realignierung

HRSA offenbart distinkte strukturelle Verhaltensweisen zwischen RLVR und SFT:

Repräsentationsebene: RLVR bewahrt weitgehend die Koordinatenbasis. Die dimensionalen Korrelationen bleiben hoch, und die Orthogonale Procrustes-Analyse liefert Matrizen, die Permutationsmatrizen nahekommen (geringe Merkmalsmischung). Im Gegensatz dazu verursacht SFT eine destruktive Mischung von Merkmalen.
Geometrie-Ebene:
- Globale Geometrie: RLVR wirkt wie eine nahezu isometrische Transformation, welche die globale Form der latenten Mannigfaltigkeit bewahrt (hohe Linear CKA).
- Lokale Geometrie: RLVR induziert eine irreversible Reorganisation der lokalen Nachbarschaftsstruktur (moderate k-NN Overlap), was auf eine Neuklusterung von Reasoning-Schritten hindeutet, ohne die globale semantische Karte zu verändern.
Funktionsebene: Cross-Model Linear Probes zeigen eine starke Transferierbarkeit, was darauf hindeutet, dass aufgabenspezifische lineare Readout-Richtungen unter RLVR stabil bleiben.

3. Phänomen der Manifold-Realignierung

Ein entscheidender Befund ist die Manifold-Realignierung. Wenn RLVR-optimierte Backbones via kontrastivem Lernen zu Embedding-Modellen angepasst werden, treibt der Trainingsprozess eine starke Ausrichtung (Alignment) zwischen den Base-initialisierten und den Reasoning-initialisierten Modellen voran. Diese Realignierung korrigiert effektiv den reversiblen Drift der Koordinatenbasis, der während des längeren RLVR-Trainings beobachtet wurde, was zu ununterscheidbaren finalen Embedding-Räumen führt.

Zentrale Beiträge

Systematisches Benchmarking: Der erste kontrollierte Vergleich, der zeigt, dass aktuelle RLVR-Methoden die Embedding-Qualität nicht inhärent verbessern, wenn sie als Backbones verwendet werden, trotz ihres Erfolgs in Reasoning-Aufgaben.
Das HRSA-Framework: Ein vereinheitlichtes, hierarchisches Diagnosetool (Repräsentation, Geometrie, Funktion), das den Drift der Koordinatenbasis, Änderungen der Manifold-Geometrie und die Stabilität funktionaler Readouts entwirrt. Dieses Framework bietet ein Werkzeug für zukünftige Interpretabilitätsstudien.
Entdeckung der Manifold-Realignierung: Die Identifizierung, dass RLVR Trajektorien innerhalb einer bestehenden semantischen Landschaft optimiert, anstatt die Landschaft selbst fundamental umzustrukturieren. Speziell bewahrt RLVR die globale Geometrie und die linearen Readouts, während es lokale Nachbarschaften reorganisiert; anschließendes kontrastives Lernen kann reversible Drifts überschreiben, um die Mannigfaltigkeiten wieder auszurichten.

Bedeutung und Behauptungen

Das Paper behauptet, dass RLVR primär als Trajektorien-Optimierung innerhalb einer bestehenden semantischen Landschaft fungiert und nicht als fundamentale Umstrukturierung der Landschaft selbst. Im Gegensatz zum Supervised Fine-Tuning (SFT), welches destruktive Mischung und globale Umstrukturierung verursachen kann, verfeinert RLVR die Policy des Modells zur Durchquerung der latenten Mannigfaltigkeit, während das reiche Weltwissen und die globalen semantischen Beziehungen, die während des Pre-trainings etabliert wurden, erhalten bleiben.

Die Autoren postulieren, dass das „verbesserte Reasoning“ von RLVR-Modellen durch die Reorganisation der lokalen Geometrie (wie benachbarte Zustände zusammenhängen) und die Optimierung von Entscheidungs-Trajektorien erreicht wird, während das großflächige Koordinatensystem und die linearen Readout-Richtungen weitgehend intakt bleiben. Folglich manifestiert sich der RLVR-Vorteil bei Aufgaben, die auf globaler semantischer Ähnlichkeit beruhen (wie Embedding und Retrieval), nicht als ein überlegener Embedding-Raum, sondern als eine robuste Bewahrung des Repräsentations-Backbones des Base-Modells. Das Paper legt nahe, dass diese „Manifold-Realignierung“ ein allgemeines Phänomen im Representation Learning sein könnte, das über Text hinaus auf Vision und Audio übertragbar ist, und schlägt vor, dass ähnliche Verhaltensweisen auch via SFT unter Verwendung von geometrie-bewusster Regularisierung erreicht werden könnten.