💬 NLP

Do Reasoning Models Enhance Embedding Models?

Este artigo demonstra que inicializar modelos de embedding com LLMs com raciocínio aprimorado não gera vantagem de desempenho sobre os modelos base porque o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) preserva o manufold semântico global, permitindo que o aprendizado contrastivo subsequente realinhe as representações independentemente da inicialização.

Autores originais: Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Publicado 2026-01-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wun Yu Chan, Shaojin Chen, Huihao Jing, Kwun Hang Lau, Elton Chun-Chai Li, Zihao Wang, Haoran Li, Yangqiu Song

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta: "Pensar" Torna um Mapa Melhor?

Imagine que você tem um mapa gigante e incrivelmente detalhado do mundo (isso é um Modelo de Linguagem de Grande Escala ou LLM). Este mapa ajuda você a encontrar seu caminho, entender as relações entre cidades e navegar por terrenos complexos.

Recentemente, cientistas criaram uma nova versão deste mapa ensinando o modelo a "pensar com mais rigor" antes de responder. Eles usaram um método chamado RLVR (Reinforcement Learning with Verifiable Rewards - Aprendizado por Reforço com Recompensas Verificáveis). É como dar ao mapa um treinador rigoroso que diz: "Não apenas adivinhe a rota; calcule cada passo, verifique sua matemática e só se mova se tiver 100% de certeza de que está certo".

A grande pergunta que os autores fizeram foi: Se o mapa aprende a "pensar" melhor, o próprio mapa se torna uma ferramenta melhor para navegação?

Especificamente, eles queriam saber se esses modelos de "pensamento" criam melhores Embeddings. Em termos simples, um embedding é uma forma de transformar uma frase em um ponto em um mapa. Se duas frases significam a mesma coisa, seus pontos devem estar bem próximos um do outro.

A Resposta Surpreendente: Nenhuma Mudança no Mapa

Os autores testaram isso transformando os modelos de "pensamento" em ferramentas de embedding. Eles os compararam com os modelos originais, que não "pensam".

O Resultado: Os modelos de "pensamento" performaram exatamente da mesma forma que os modelos originais.

Analogia: Imagine que você tem um aplicativo de GPS. Você atualiza o aplicativo para que o motorista possa resolver problemas matemáticos complexos enquanto dirige. Você pode esperar que o motorista escolha rotas melhores. Mas, quando você testa o GPS, as rotas são idênticas. O "pensar" não mudou o mapa de forma alguma.

Isso foi surpreendente porque todos assumiam que, se um modelo se torna mais inteligente no raciocínio, sua compreensão interna da linguagem (seu "mapa") também deve melhorar.

O Trabalho de Detetive: Por Que Isso Aconteceu?

Para descobrir por que o desempenho não mudou, os autores inventaram uma nova ferramenta chamada HRSA (Hierarchical Representation Similarity Analysis - Análise de Similaridade de Representação Hierárquica). Pense no HRSA como uma máquina de raio-X de três camadas que observa o cérebro do modelo de diferentes ângulos:

O Sistema de Coordenadas (Nível de Representação): Os eixos do mapa estão apontando para a mesma direção?
A Forma do Terreno (Nível de Geometria): O formato das montanhas e vales é o mesmo?
O Destino (Nível Funcional): O modelo ainda sabe como chegar aos mesmos lugares?

O Que Eles Descobriram: O "Realinhamento do Manifold"

Usando seu raio-X, eles descobriram algo fascinante chamado Realinhamento de Manifold.

O Processo de "Pensar" (RLVR) é como um Trilheiro:
Quando o modelo aprende a "pensar" (RLVR), ele não redesenha o mapa inteiro. Ele não move as montanhas nem muda o oceano. Em vez disso, ele apenas aprende um caminho melhor para caminhar pelo terreno existente.
- Forma Global: A forma geral do mundo (a "Geometria Global") permanece exatamente a mesma.
- Forma Local: No entanto, o trilheiro consegue rearranjar os pequenos arbustos e pedras logo abaixo de seus pés (a "Geometria Local") para tornar a jornada específica mais fácil.
O Processo de "Embedding" (Aprendizado Contrastivo) é como uma Bússola:
Quando eles transformaram esses modelos em ferramentas de embedding, usaram um método de treinamento chamado "Aprendizado Contrastivo". Isso é como uma bússola que força o mapa a se alinhar com uma grade padrão.
- Como o modelo de "pensamento" alterou apenas os pequenos arbustos (geometria local) e não as montanhas (geometria global), a bússola pôde facilmente realinhar o mapa.
- A bússola ignorou os pequenos rearranjos e reposicionou o mapa do modelo de "pensamento" em perfeito alinhamento com o mapa do modelo original.

A Comparação: "Pensar" vs. "Memorizar"

Os autores também compararam isso com um método diferente chamado SFT (Supervised Fine-Tuning - Ajuste Fino Supervisionado), que é como forçar o modelo a memorizar uma lista específica de respostas.

SFT é como usar um martelo no mapa. Ele esmaga as montanhas e remodela os vales. Isso cria um mapa completamente diferente, e é por isso que os modelos de SFT frequentemente performam de forma diferente (às vezes pior) em tarefas de embedding.
RLVR (Pensar) é suave. Ele mantém a estrutura do mapa intacta, apenas otimizando a rota.

A Conclusão

O artigo conclui que o RLVR (o treinamento de "pensar") não melhora fundamentalmente o mapa subjacente.

Ele otimiza a trajetória (o caminho que o modelo percorre para resolver um problema).
Ele não reestrutura a paisagem (a forma fundamental como o modelo entende a linguagem).

Portanto, se você está procurando por um modelo de embedding melhor (um mapa melhor para encontrar textos semelhantes), treinar um modelo para "pensar" com mais rigor não ajudará. Você precisa mudar o mapa em si, não apenas a maneira como o modelo caminha sobre ele. Os modelos de "pensamento" estão apenas percorrendo o mesmo mapa antigo, mas seguindo uma rota um pouco diferente e mais cuidadosa para chegar ao mesmo destino.

Resumo Técnico: Modelos de Raciocínio Melhoram Modelos de Embedding?

Declaração do Problema

Os modelos de embedding de texto de última geração são cada vez mais construídos adaptando modelos de Linguagem de Grande Escala (LLMs) do tipo decoder-only via aprendizado contrastivo. Concomitantemente, uma nova classe de "modelos de raciocínio" surgiu, treinada via Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para alcançar um desempenho superior em resolução de problemas complexos. Surge uma hipótese natural: a capacidade de raciocínio aprimorada dos modelos ajustados via RLVR se traduz em um espaço de representação semântica superior quando esses modelos servem como backbones para tarefas de embedding? Intuitivamente, um modelo que "pensa" mais profundamente deveria estruturar as relações semânticas de forma mais eficaz. No entanto, observações empíricas iniciais sugerem um paradoxo: modelos de embedding inicializados a partir de backbones ajustados via RLVR apresentam desempenho estatisticamente idêntico aos inicializados a partir de modelos base após o treinamento contrastivo, apesar dos saltos qualitativos dos modelos de raciocínio em tarefas de raciocínio.

Metodologia

Para resolver este paradoxo e diagnosticar a dinâmica interna dessas representações, os autores introduzem a Análise de Similaridade de Representação Hierárquica (HRSA), um framework que estende a Análise de Similaridade de Representação (RSA). A HRSA decompõe a similaridade do modelo em três níveis aninhados de abstração, cada um com propriedades de invariância específicas:

Nível de Representação: Foca na base de coordenadas e na correspondência de características. As métricas incluem Correlação por Dimensão (testando o pareamento de características alinhadas aos eixos) e Análise de Procrustes Ortogonal (testando a equivalência linear global via transformações ortogonais). Este nível é sensível a rotações e permutações do sistema de coordenadas.
Nível de Geometria: Foca na forma do manifold latente, sendo invariante a mudanças de base de coordenadas, mas sensível a deformações. As métricas incluem Alinhamento de Kernel Centrado Linear (Linear CKA) para geometria global e Sobreposição de k-Vizinhos Mais Próximos (k-NN Overlap) para preservação da geometria local.
Nível de Função: Foca em mapeamentos entrada-saída e na solvabilidade de tarefas subsequentes (downstream). Isso é avaliado usando Sondas Lineares entre Modelos (Cross-Model Linear Probes), onde um readout linear treinado em um modelo é testado em outro para determinar se as mesmas fronteiras de decisão são válidas entre as representações.

Configuração Experimental:
Os autores conduziram um estudo de benchmarking sistemático comparando LLMs base ( $M_{base}$ ) contra seus contrapartes de raciocínio ajustados via RLVR ( $M_{reason}$ ). Eles realizaram o ajuste fino de diversos pares desses backbones em modelos de embedding ( $M_{Emb}^{base}$ e $M_{Emb}^{reason}$ ) utilizando arquiteturas e receitas de aprendizado contrastivo idênticas (perda InfoNCE). A avaliação foi realizada nos benchmarks MTEB (Multilingual e Code) e BRIGHT. O estudo também incluiu modelos ajustados via Ajuste Fino Supervisionado (SFT) como um controle para destacar as diferenças entre as estratégias de otimização.

Principais Resultados

1. Efeito Nulo no Desempenho de Embedding

Contrário à hipótese de que o raciocínio aprimorado melhora os embeddings, os resultados mostram um efeito nulo. Os modelos de embedding inicializados a partir de backbones ajustados via RLVR alcançam paridade de desempenho com aqueles inicializados a partir de modelos base em todos os benchmarks (MTEB Multilingual, MTEB Code e BRIGHT). As lacunas de desempenho ( $\Delta$ ) são próximas de zero, enquanto os backbones ajustados via SFT frequentemente apresentam desvios significativos.

2. Descobertas da HRSA: Realinhamento de Manifold

A HRSA revela comportamentos estruturais distintos entre RLVR e SFT:

Nível de Representação: O RLVR preserva amplamente a base de coordenadas. As correlações por dimensão permanecem altas, e a análise de Procrustes Ortogonal produz matrizes próximas a matrizes de permutação (baixo mistério de características). Em contraste, o SFT causa uma mistura destrutiva de características.
Nível de Geometria:
- Geometria Global: O RLVR atua como uma transformação quase isométrica, preservando a forma global do manifold latente (alto Linear CKA).
- Geometria Local: O RLVR induz uma reorganização irreversível da estrutura de vizinhança local (sobreposição de k-NN moderada), sugerindo um re-agrupamento dos passos de raciocínio sem alterar o mapa semântico global.
Nível de Função: As sondas lineares entre modelos mostram forte transferibilidade, indicando que as direções de readout linear relevantes para a tarefa permanecem estáveis sob RLVR.

3. Fenômeno de Realinhamento de Manifold

Uma descoberta crítica é o Realinhamento de Manifold. Quando os backbones ajustados via RLVR são adaptados em modelos de embedding via aprendizado contrastivo, o processo de treinamento impulsiona um forte alinhamento entre os modelos inicializados pelo modelo base e os inicializados pelo modelo de raciocínio. Este realinhamento corrige efetivamente o desvio reversível da base de coordenadas observado durante o prolongado treinamento de RLVR, resultando em espaços de embedding indistinguíveis.

Principais Contribuições

Benchmarking Sistemático: A primeira comparação controlada demonstrando que os métodos atuais de RLVR não melhoram inerentemente a qualidade do embedding quando usados como backbones, apesar de seu sucesso em tarefas de raciocínio.
O Framework HRSA: Uma ferramenta de diagnóstico hierárquica unificada (Representação, Geometria, Função) que desmembra o desvio da base de coordenadas, as mudanças na geometria do manifold e a estabilidade do readout funcional. Este framework oferece um conjunto de ferramentas para futuros estudos de interpretabilidade.
Descoberta do Realinhamento de Manifold: A identificação de que o RLVR otimiza trajetórias dentro de um cenário semântico existente, em vez de reestruturá-lo fundamentalmente. Especificamente, o RLVR preserva a geometria global e os readouts lineares enquanto reorganiza as vizinhanças locais, e o aprendizado contrastivo subsequente pode sobrescrever desvios reversíveis para realinhar os manifolds.

Significância e Alegações

O artigo alega que o RLVR funciona primariamente como uma otimização de trajetória dentro de um cenário semântico existente, em vez de uma reestruturação fundamental do próprio cenário. Diferente do Ajuste Fino Supervisionado (SFT), que pode causar mistura destrutiva e reestruturação global, o RLVR refina a política do modelo para percorrer o manifold latente enquanto preserva o rico conhecimento de mundo e as relações semânticas globais estabelecidas durante o pré-treinamento.

Os autores postulam que o "raciocínio aprimorado" dos modelos RLVR é alcançado reorganizando a geometria local (como estados próximos se relacionam) e otimizando trajetórias de decisão, enquanto mantém o sistema de coordenadas de grande escala e as direções de readout linear amplamente intactos. Consequentemente, para tarefas que dependem de similaridade semântica global (como embedding e recuperação), a vantagem do RLVR não se manifesta como um espaço de embedding superior, mas sim como uma preservação robusta do backbone representacional do modelo base. O artigo sugere que este "Realinhamento de Manifold" pode ser um fenôão geral no aprendizado de representação, estendendo-se além do texto para visão e áudio, e propõe que comportamentos semelhantes poderiam potencialmente ser alcançados via SFT aumentado com regularização consciente da geometria.