💬 NLP

Do Reasoning Models Enhance Embedding Models?

Este artículo demuestra que inicializar modelos de incrustación con LLM mejorados con razonamiento no produce ninguna ventaja de rendimiento sobre los modelos base porque el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) preserva la variedad semántica global, permitiendo que el aprendizaje contrastivo subsecuente realinee las representaciones independientemente de la inicialización.

Autores originales: Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Publicado 2026-01-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Pregunta: ¿Hace que "pensar" mejore un mapa?

Imagina que tienes un mapa del mundo gigante e increíblemente detallado (esto es un Modelo de Lenguaje Grande o LLM). Este mapa te ayuda a encontrar tu camino, entender las relaciones entre ciudades y navegar por terrenos complejos.

Recientemente, los científicos crearon una nueva versión de este mapa enseñándole al modelo a "pensar más profundamente" antes de responder. Utilizaron un método llamado RLVR (Reinforcement Learning with Verifiable Rewards o Aprendizaje por Refuerzo con Recompensas Verificables). Es como darle al mapa un entrenador estricto que le dice: "No te limites a adivinar la ruta; calcula cada paso, comprueba tus cálculos y solo muévete si estás 100% seguro de que estás en lo cierto".

La gran pregunta que se plantearon los autores fue: Si el mapa aprende a "pensar" mejor, ¿se convierte el mapa mismo en una mejor herramienta de navegación?

Específicamente, querían saber si estos modelos que "piensan" crean mejores Embeddings (incrustaciones). En términos sencillos, un embedding es una forma de convertir una frase en un punto en un mapa. Si dos frases significan lo mismo, sus puntos deberían estar justo uno al lado del otro.

La Respuesta Sorprendente: Sin cambios en el mapa

Los autores probaron esto convirtiendo los modelos que "piensan" en herramientas de embeddings. Los compararon con los modelos originales que no "piensan".

El Resultado: Los modelos que "piensan" funcionaron exactamente igual que los modelos originales.

Analogía: Imagina que tienes una aplicación de GPS. Actualizas la aplicación para que el conductor pueda resolver problemas matemáticos complejos mientras conduce. Podrías esperar que el conductor tome mejores rutas. Pero cuando pruebas el GPS, las rutas son idénticas. El hecho de "pensar" no cambió el mapa en absoluto.

Esto fue sorprendente porque todo el mundo asumía que si un modelo se vuelve más inteligente en su razonamiento, su comprensión interna del lenguaje (su "mapa") también debe mejorar.

El Trabajo de Detective: ¿Por qué sucedió esto?

Para descubrir por qué el rendimiento no cambió, los autores inventaron una nueva herramienta llamada HRSA (Hierarchical Representation Similarity Analysis o Análisis de Similitud de Representación Jerárquica). Piensa en el HRSA como una máquina de rayos X de tres capas que observa el cerebro del modelo desde diferentes ángulos:

El Sistema de Coordenadas (Nivel de Representación): ¿Están los ejes del mapa apuntando en la misma dirección?
La Forma del Terreno (Nivel de Geometría): ¿Es la misma la forma de las montañas y los valles?
El Destino (Nivel Funcional): ¿Sigue sabiendo el modelo cómo llegar a los mismos lugares?

Lo que encontraron: El "Realineamiento del Manifold"

Utilizando su máquina de rayos X, descubrieron algo fascinante llamado Realineamiento del Manifold.

El proceso de "Pensar" (RLVR) es como un Excursionista:
Cuando el modelo aprende a "pensar" (RLVR), no redibuja todo el mapa. No mueve las montañas ni cambia el océano. En su lugar, simplemente aprende un mejor camino para caminar a través del terreno existente.
- Forma Global: La forma general del mundo (la "Geometría Global") permanece exactamente igual.
- Forma Local: Sin embargo, el excursionista sí reorganiza los pequeños arbustos y rocas que tiene justo bajo sus pies (la "Geometría Local") para facilitar el viaje específico.
El proceso de "Embedding" (Aprendizaje Contrastivo) es como una Brújula:
Cuando convirtieron estos modelos en herramientas de embeddings, utilizaron un método de entrenamiento llamado "Aprendizaje Contrastivo". Esto es como una brújula que obliga al mapa a alinearse con una cuadrícula estándar.
- Debido a que el modelo que "piensa" solo cambió los pequeños arbustos (geometría local) y no las montañas (geometría global), la brújula pudo realinear fácilmente el mapa.
- La brújula ignoró los pequeños reajustes y volvió a alinear perfectamente el mapa del modelo que "piensa" con el mapa del modelo original.

La Comparación: "Pensar" vs. "Memorizar"

Los autores también compararon esto con un método diferente llamado SFT (Supervised Fine-Tuning o Ajuste Fino Supervisado), que es como obligar al modelo a memorizar una lista específica de respuestas.

SFT es como tomar un martillo contra el mapa. Aplasta las montañas y da nueva forma a los valles. Esto crea un mapa completamente distinto, razón por la cual los modelos SFT a menudo funcionan de manera diferente (a veces peor) en las tareas de embeddings.
RLVR (Pensar) es suave. Mantiene la estructura del mapa intacta, simplemente optimizando la ruta.

La Conclusión

El artículo concluye que el RLVR (el entrenamiento para "pensar") no mejora fundamentalmente el mapa subyacente.

Optimiza la trayectoria (el camino que el modelo toma para resolver un problema).
No reestructura el paisaje (la forma fundamental en que el modelo entiende el lenguaje).

Por lo tanto, si buscas un mejor modelo de embeddings (un mejor mapa para encontrar textos similares), entrenar a un modelo para que "piense" más intensamente no ayudará. Necesitas cambiar el mapa mismo, no solo la forma en que el modelo camina a través de él. Los modelos que "piensan" solo están recorriendo el mismo mapa de siempre, pero tomando una ruta ligeramente diferente y más cuidadosa para llegar al mismo destino.

Resumen Técnico: ¿Mejoran los modelos de razonamiento a los modelos de embedding?

Planteamiento del Problema

Los modelos de embedding de texto de última generación se construyen cada vez más adaptando modelos de lenguaje de gran escala (LLM) de solo decodificador mediante aprendizaje contrastivo. Simultáneamente, ha surgido una nueva clase de "modelos de razonamiento", entrenados mediante Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) para lograr un rendimiento superior en la resolución de problemas complejos. Surge una hipótesis natural: ¿se traduce la capacidad de razonamiento mejorada de los modelos ajustados mediante RLVR en un espacio de representación semántica superior cuando estos modelos sirven como bases para tareas de embedding? Intuitivamente, un modelo que "piensa" más profundamente debería estructurar las relaciones semánticas de manera más efectiva. Sin embargo, las observaciones empíricas iniciales sugieren una paradoja: los modelos de embedding inicializados desde backbones ajustados con RLVR muestran un rendimiento estadísticamente idéntico a los inicializados desde modelos base tras el entrenamiento contrastivo, a pesar de los saltos cualitativos que demuestran los modelos de razonamiento en tareas de razonamiento.

Metodología

Para resolver esta paradoja y diagnosticar la dinámica interna de estas representaciones, los autores introducen el Análisis de Similitud de Representación Jerárquica (HRSA), un marco que extiende el Análisis de Similitud de Representación (RSA). El HRSA descompone la similitud del modelo en tres niveles anidados de abstracción, cada uno con propiedades de invarianza específicas:

Nivel de Representación: Se centra en la base de coordenadas y la correspondencia de características. Las métricas incluyen la Correlación por Dimensión (que prueba la correspondencia de características alineadas con los ejes) y el Análisis de Procrustes Ortogonal (que prueba la equivalencia lineal global mediante transformaciones ortogonales). Este nivel es sensible a las rotaciones y permutaciones del sistema de coordenadas.
Nivel de Geometría: Se centra en la forma del manifold latente, siendo invariante a los cambios de la base de coordenadas pero sensible a las deformaciones. Las métricas incluyen el Alineamiento de Kernel Centrado Lineal (Linear CKA) para la geometría global y el Solapamiento de k-Vecinos más Cercanos (k-NN Overlap) para la preservación de la geometría local.
Nivel de Función: Se centra en los mapeos de entrada-salida y la capacidad de resolución de tareas descendentes (downstream). Esto se evalúa mediante Sondas Lineales de Modelos Cruzados (Cross-Model Linear Probes), donde una lectura lineal entrenada en un modelo se prueba en otro para determinar si los mismos límites de decisión son válidos a través de las representaciones.

Configuración Experimental:
Los autores llevaron a cabo un estudio de benchmarking sistemático comparando LLMs base ( $M_{base}$ ) contra sus contrapartes de razonamiento ajustadas con RLVR ( $M_{reason}$ ). Ajustaron mediante fine-tuning diversos pares de estos backbones en modelos de embedding ( $M_{Emb}^{base}$ y $M_{Emb}^{reason}$ ) utilizando arquitecturas idénticas y recetas de aprendizaje contrastivo (pérdida InfoNCE). La evaluación se realizó en los benchmarks MTEB (Multilingüe y Código) y BRIGHT. El estudio también incluyó modelos ajustados mediante Fine-Tuning Supervisado (SFT) como control para resaltar las diferencias entre estrategias de optimización.

Resultados Clave

1. Efecto Nulo en el Rendimiento de Embedding

Contrario a la hipótesis de que el razonamiento mejorado mejora los embeddings, los resultados muestran un efecto nulo. Los modelos de embedding inicializados desde backbones ajustados con RLVR alcanzan un rendimiento de paridad con aquellos inicializados desde modelos base en todos los benchmarks (MTEB Multilingüe, MTEB Código y BRIGHT). Las brechas de rendimiento ( $\Delta$ ) son cercanas a cero, mientras que los backbones ajustados con SFT suelen mostrar desviaciones significativas.

2. Hallazgos de HRSA: Realineación del Manifold

El HRSA revela comportamientos estructurales distintos entre RLVR y SFT:

Nivel de Representación: El RLVR preserva en gran medida la base de coordenadas. Las correlaciones por dimensión se mantienen altas, y el análisis de Procrustes Ortogonal arroja matrices cercanas a matrices de permutación (bajo mezclado de características). En contraste, el SFT causa un mezclado destructivo de las características.
Nivel de Geometría:
- Geometría Global: El RLVR actúa como una transformación casi isométrica, preservando la forma global del manifold latente (alto Linear CKA).
- Geometría Local: El RLVR induce una reorganización irreversible de la estructura de vecindad local (solapamiento de k-NN moderado), lo que sugiere un re-agrupamiento de los pasos de razonamiento sin alterar el mapa semántico global.
Nivel de Función: Las sondas lineales de modelos cruzados muestran una fuerte transferibilidad, indicando que las direcciones de lectura lineal relevantes para la tarea permanecen estables bajo RLVR.

3. Fenómeno de Realineación del Manifold

Un hallazgo crítico es la Realineación del Manifold. Cuando los backbones ajustados con RLVR se adaptan en modelos de embedding mediante aprendizaje contrastivo, el proceso de entrenamiento impulsa una fuerte alineación entre los modelos inicializados con el modelo base y los inicializados con el de razonamiento. Esta realineación corrige efectivamente la deriva reversible de la base de coordenadas observada durante el prolongado entrenamiento de RLVR, resultando en espacios de embedding indistinguibles.

Contribuciones Clave

Benchmarking Sistemático: La primera comparación controlada que demuestra que los métodos actuales de RLVR no mejoran inherentemente la calidad de los embeddings cuando se utilizan como backbones, a pesar de su éxito en tareas de razonamiento.
El Marco HRSA: Una herramienta de diagnóstico jerárquica unificada (Representación, Geometría, Función) que desentraña la deriva de la base de coordenadas, los cambios en la geometría del manifold y la estabilidad de la lectura funcional. Este marco ofrece un conjunto de herramientas para futuros estudios de interpretabilidad.
Descubrimiento de la Realineación del Manifold: La identificación de que el RLVR optimiza las trayectorias dentro de un paisaje semántico existente en lugar de reestructurarlo fundamentalmente. Específicamente, el RLVR preserva la geometría global y las lecturas lineales mientras reorganiza los vecindarios locales, y el aprendizaje contrastivo posterior puede sobrescribir las derivas reversibles para realinear los manifolds.

Significado y Reivindicaciones

El artículo sostiene que el RLVR funciona principalmente como una optimización de trayectoria dentro de un paisaje semántico existente, en lugar de una reestructuración fundamental del mismo. A diferencia del Fine-Tuning Supervisado (SFT), que puede causar un mezclado destructivo y una reestructuración global, el RLVR refina la política del modelo para atravesar el manifold latente preservando el rico conocimiento del mundo y las relaciones semánticas globales establecidas durante el pre-entrenamiento.

Los autores postulan que el "razonamiento mejorado" de los modelos RLVR se logra reorganizando la geometría local (cómo se relacionan los estados cercanos) y optimizando las trayectorias de decisión, dejando la gran escala del sistema de coordenadas y las direcciones de lectura lineal mayormente intactas. En consecuencia, para tareas que dependen de la similitud semántica global (como el embedding y la recuperación), la ventaja de RLVR no se manifiesta como un espacio de embedding superior, sino como una preservación robusta del backbone representacional del modelo base. El artículo sugiere que esta "Realineación del Manifold" puede ser un fenómeno general en el aprendizaje de representaciones, extendiéndose más allá del texto hacia la visión y el audio, y propone que comportamientos similares podrían lograrse mediante SFT aumentado con regularización consciente de la geometría.