Technische Samenvatting: Verbeteren Redeneermodellen Embedding-modellen?

Probleemstelling

State-of-the-art tekst-embeddingmodellen worden steeds vaker geconstrueerd door decoder-only Large Language Models (LLMs) aan te passen via contrastief leren. Tegelijkertijd is er een nieuwe klasse van "redeneermodellen" opgekomen, getraind via Reinforcement Learning with Verifiable Rewards (RLVR) om superieure prestaties te behalen in complexe probleemoplossing. Een natuurlijke hypothese rijst: vertaalt de verbeterde redeneercapaciteit van RLVR-getunede modellen zich in een superieure semantische representatieruimte wanneer deze modellen dienen als ruggesteun voor embedding-taken? Intuïtief gezien zou een model dat "dieper nadenkt" de semantische relaties effectiever moeten structureren. Echter, initiële empirische observaties suggereren een paradox: embedding-modellen die zijn geïnitialiseerd vanaf RLVR-getunede ruggesteunen presteren statistisch identiek aan die geïnitialiseerd vanaf basismodellen na contrastieve training, ondanks de kwalitatieve sprongen van de redeneermodellen in redeneertaken.

Methodologie

Om deze paradox op te lossen en de interne dynamiek van deze representaties te diagnosticeren, introduceren de auteurs Hierarchical Representation Similarity Analysis (HRSA), een raamwerk dat Representational Similarity Analysis (RSA) uitbreidt. HRSA ontleedt de modelgelijkenis in drie geneste niveaus van abstractie, elk met specifieke invariantie-eigenschappen:

1. Representatieniveau: Richt zich op de coördinatenbasis en feature-correspondentie. Metrieken zijn onder meer Dimension-Wise Correlation (het testen van as-georiënteerde feature-matching) en Orthogonal Procrustes Analysis (het testen van globale lineaire equivalentie via orthogonale transformaties). Dit niveau is gevoelig voor rotaties en permutaties van het coördinatensysteem.
2. Geometrieniveau: Richt zich op de vorm van de latente manifold, invariant voor veranderingen in de coördinatenbasis maar gevoelig voor deformaties. Metrieken zijn Linear Centered Kernel Alignment (Linear CKA) voor globale geometrie en k-Nearest Neighbors (k-NN) Overlap voor het behoud van lokale geometrie.
3. Functioneel Niveau: Richt zich op input-output mapping en de oplosbaarheid van downstream taken. Dit wordt geëvalueerd met behulp van Cross-Model Linear Probes, waarbij een lineaire readout getraind op één model wordt getest op een ander model om te bepalen of dezelfde beslissingsgrenzen geldig zijn over verschillende representaties heen.

Experimentele Opzet:
De auteurs voerden een systematische benchmarkstudie uit waarbij diverse paren van deze ruggesteunen, bestaande uit base LLMs ($M_{base}$) en hun RLVR-getunede redeneermodellen ($M_{reason}$), werden vergeleken. Deze ruggesteunen werden gefinetuned tot embedding-modellen ($M_{Emb}^{base}$ en $M_{Emb}^{reason}$) met behulp van identieke architecturen en contrastieve leerrecepten (InfoNCE loss). De evaluatie werd uitgevoerd op de MTEB (Multilingual en Code) en BRIGHT benchmarks. De studie omvatte ook Supervised Fine-Tuning (SFT) getunede modellen als controlegroep om verschillen tussen optimalisatiestrategieën te benadrukken.

Belangrijkste Resultaten

1. Null-effect op Embedding-prestaties

In tegenstelling tot de hypothese dat verbeterde redenering de embeddings verbetert, laten de resultaten een null-effect zien. Embedding-modellen geïnitialiseerd vanaf RLVR-getunede ruggesteunen bereiken prestatie-gelijkheid met die geïnitialiseerd vanaf basismodellen over alle benchmarks (MTEB Multilingual, MTEB Code en BRIGHT). De prestatiekloof ($\Delta$) is nagenoeg nul, terwijl SFT-getunede ruggesteunen vaak significante afwijkingen vertonen.

2. HRSA-bevindingen: Manifold Realignment

HRSA onthult onderscheidend structureel gedrag tussen RLVR en SFT:

• Representatieniveau: RLVR behoudt grotendeels de coördinatenbasis. Dimension-wise correlaties blijven hoog, en Orthogonal Procrustes-analyse levert matrices op die dicht bij permutatiematrices liggen (weinig feature mixing). In contrast hiermee veroorzaakt SFT destructieve mixing van features.
• Geometrieniveau:
  • Globale Geometrie: RLVR werkt als een bijna isometrische transformatie, waardoor de globale vorm van de latente manifold behouden blijft (hoge Linear CKA).
  • Lokale Geometrie: RLVR induceert een onomkeerbare reorganisatie van de lokale buurtstructuur (matige k-NN overlap), wat suggereend is voor een her-clustering van redeneerstappen zonder de globale semantische kaart te wijzigen.
• Functioneel Niveau: Cross-model lineaire probes tonen sterke overdraagbaarheid, wat aangeeft dat taak-relevante lineaire readout-richtingen stabiel blijven onder RLVR.

3. Fenomeen van Manifold Realignment

Een cruciale bevinding is Manifold Realignment. Wanneer RLVR-getunede ruggesteunen worden aangepast tot embedding-modellen via contrastief leren, drijft het trainingsproces een sterke uitlijning aan tussen de op de basis geïnitialiseerde en de op redeneren geïnitialiseerde modellen. Deze realignment corrigeert effectief de omkeerbare coördinatenbasis-drift waargenomen tijdens langdurige RLVR-training, wat resulteert in onde indistinguisheembare uiteindelijke embedding-ruimtes.

Belangrijkste Bijdragen

1. Systematische Benchmarking: De eerste gecontroleerde vergelijking die aantoont dat huidige RLVR-methoden de embeddingkwaliteit niet inherent verbeteren wanneer ze als ruggesteun worden gebruikt, ondanks hun succes in redeneertaken.
2. Het HRSA-raamwerk: Een verenigd, hiërarchisch diagnostisch instrument (Representatie, Geometrie, Functie) dat coördinatenbasis-drift, manifold-geometrie veranderingen en functionele readout-stabiliteit ontrafelt. Dit raamwerk biedt een toolkit voor toekomstige interpretabiliteitsstudies.
3. Ontdekking van Manifold Realignment: De identificatie dat RLVR de trajecten binnen een bestaand semantisch landschap optimaliseert in plaats van het fundamenteel te herstructureren. Specifiek behoudt RLVR de globale geometrie en lineaire readouts terwijl het lokale buurten reorganiseert, en kan daaropvolgende contrastieve leer de omkeerbare drifts overschrijven om de manifolds opnieuw uit te lijnen.

Betekenis en Claims

Het artikel claimt dat RLVR primair functioneert als een trajectoptimalisatie binnen een bestaand semantisch landschap, in plaats van een fundamentele herstructurering van het landschap zelf. In tegenstelling tot Supervised Fine-Tuning (SFT), die destructieve mixing en globale herstructurering kan veroorzaken, verfijnt RLVR het beleid van het model voor het traverseren van de latente manifold, terwijl de rijke wereldkennis en globale semantische relaties die tijdens pre-training zijn vastgesteld, behouden blijven.

De auteurs stellen dat de "verbeterde redenering" van RLVR-modellen wordt bereikt door de lokale geometrie te reorganiseren (hoe nabijgelegen staten zich tot elkaar verhouden) en beslissingstrajecten te optimaliseren, terwijl de grootschalige coördinatensystemen en lineaire readout-richtingen grotendeels intact blijven. Daarom vertaalt het RLVR-voordeel zich niet in een superieure embedding-ruimte voor taken die steunen op globale semantische gelijkenis (zoals embedding en retrieval), maar eerder in een robuust behoud van de representatieve ruggesteun van het basismodel. Het papier suggereert dat dit "Manifold Realignment" een algemeen fenomeen kan zijn in representatie-leren, reikend buiten tekst naar visie en audio, en stelt voor dat vergelijkbare gedragingen potentieel bereikt kunnen worden via SFT aangevuld met geometrie-bewuste regularisatie.