💬 NLP

R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning

O R-Stitch é um framework de decodificação híbrida e livre de treinamento que acelera o raciocínio de grandes modelos de linguagem (LLMs) ao delegar tokens de baixa incerteza a modelos menores e reservar o processamento de tokens complexos para o modelo principal, reduzindo o custo de inferência sem comprometer a precisão.

Autores originais: Zhuokun Chen, Zeren Chen, Jiahao He, Lu Sheng, Mingkui Tan, Jianfei Cai, Bohan Zhuang

Publicado 2026-02-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zhuokun Chen, Zeren Chen, Jiahao He, Lu Sheng, Mingkui Tan, Jianfei Cai, Bohan Zhuang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente de pesquisa muito inteligente, mas que é um pouco "lento para pensar" (o LLM, como o GPT-4 ou o DeepSeek). Ele sabe tudo, mas para resolver um problema de matemática complexo, ele escreve parágrafos e parágrafos de raciocínio, o que leva muito tempo e gasta muita energia.

Ao lado dele, você tem um estagiário muito rápido, mas que às vezes é um pouco "superficial" (o SLM, um modelo menor). Ele responde instantaneamente, mas em problemas difíceis, ele costuma cometer erros ou dar respostas curtas demais que não chegam à solução.

Até agora, as empresas tentavam acelerar o processo de duas formas:

Ou deixavam o estagiário tentar adivinhar o que o mestre diria (o que falha muito quando eles pensam de forma diferente).
Ou tentavam forçar o mestre a falar menos (o que pode fazer ele errar).

O R-Stitch é como um "Maestro Inteligente" que coordena esses dois.

A Analogia do Maestro e a Partitura de Confiança

Imagine uma orquestra onde o Maestro (o R-Stitch) está lendo a partitura (o raciocínio) enquanto a música toca.

O Ritmo do Estagiário (Baixa Incerteza): Quando a música é simples — como uma escala básica ou um ritmo previsível — o Maestro diz: "Estagiário, pode assumir daqui!". O estagiário toca as notas rapidamente e sem esforço. Como o ritmo é óbvio, o Maestro não precisa gastar a energia do mestre.
O Sinal de Alerta (Alta Incerteza/Entropia): De repente, a música fica complexa, com notas dissonantes e um ritmo imprevisível. O Maestro percebe isso através de um sinal chamado Entropia (que é como o "suor" ou a "hesitação" na voz do estagiário). Quando a incerteza sobe, o Maestro faz um sinal para o estagiário parar e diz: "Mestre, assuma o controle agora! O terreno ficou perigoso".
A Costura (Stitching): O mestre entra em cena, resolve a parte difícil com precisão cirúrgica e, assim que a música volta a ficar previsível e tranquila, o Maestro faz a "costura" (o stitch) e devolve o comando para o estagiário.

Por que isso é revolucionário?

Não é "tudo ou nada": Diferente dos métodos antigos, que tentavam fazer o estagiário copiar o mestre, o R-Stitch aceita que eles são diferentes. Ele aproveita que o estagiário é mais direto e "curto" nas respostas para ganhar tempo.
Economia de Energia e Tempo: Ele não gasta o "cérebro caro" do mestre para coisas óbvias. O resultado? O sistema fica até 4 vezes mais rápido em alguns casos, sem perder a inteligência.
O Maestro que Aprende (R-Stitch+): Na versão avançada, o Maestro não usa apenas um termômetro de incerteza; ele treina um "sensor" especial (via Aprendizado por Reforço) para saber exatamente o momento perfeito de trocar de músico, equilibrando perfeitamente a velocidade com a precisão.

Em resumo: O R-Stitch é a arte de saber quando usar a força bruta da inteligência e quando usar a agilidade da simplicidade, costurando os dois mundos para que a resposta chegue rápido, mas sem erros.

Resumo Técnico: R-Stitch

1. O Problema: O Custo da Raciocínio (CoT)

O uso de Chain-of-Thought (CoT) — técnicas de prompt que incentivam modelos de linguagem (LLMs) a gerar passos intermediários de raciocínio — aumentou drasticamente a capacidade de resolução de problemas complexos (matemática, lógica, código). No entanto, isso introduz um custo de inferência proibitivo: o processo autorregressivo gera trajetórias de milhares de tokens, resultando em alta latência e alto custo computacional.

As soluções atuais tentam:

Encurtar o raciocínio: Reduzir o número de tokens gerados.
Speculative Decoding (Decodificação Especulativa): Usar um modelo pequeno (SLM) para propor tokens que um modelo grande (LLM) verifica. O problema é que, se o SLM e o LLM não forem muito consistentes, o processo sofre rollbacks constantes, o que pode tornar a inferência mais lenta do que o método tradicional.

2. Metodologia: R-Stitch e R-Stitch+

Os autores observaram que o Speculative Decoding falha ao exigir uma concordância exata de token por token, ignorando o fato de que modelos menores costumam produzir raciocínios mais concisos e corretos.

A. R-Stitch (Abordagem Baseada em Entropia):
O R-Stitch é um framework de decodificação híbrida que utiliza a entropia como um indicador de incerteza.

Roteamento por Entropia: Em cada passo de decodificação, o modelo calcula a entropia da distribuição de probabilidade do próximo token.
- Baixa Entropia (Alta Confiança): O token é aceito diretamente do SLM, economizando processamento do LLM.
- Alta Entropia (Baixa Confiança): O token é descartado e o LLM é invocado para "corrigir" o caminho e continuar a geração.
Stitching Bidirecional: O processo é simétrico. Se o LLM gerar um token de baixa entropia, o controle é devolvido ao SLM para reduzir o custo dos próximos passos.
Gestão de KV Cache: Para evitar redundância, o sistema reutiliza o cache de chaves-valores (KV Cache) existente, realizando apenas o prefill parcial dos novos tokens gerados pelo modelo alternativo.

B. R-Stitch+ (Abordagem Baseada em Aprendizado por Reforço):
Para superar a limitação de um limiar ( $\tau$ ) fixo de entropia, o R-Stitch+ introduz um roteador leve treinado via Aprendizado por Reforço (RL).

Recompensa Sensível à Latência: O roteador é treinado para maximizar a precisão e minimizar o tempo de execução real (latência), em vez de apenas contar o número de tokens.
Otimização DAPO: Utiliza o otimizador DAPO para aprender uma política de roteamento adaptativa que decide dinamicamente se deve trocar de modelo ou continuar.

3. Principais Contribuições

Novo Paradigma de Decodificação: Propõe o "Stitching" (costura) de trajetórias de modelos heterogêneos, permitindo que modelos pequenos e grandes colaborem de forma fluida.
Uso da Entropia como Proxy: Demonstra que a entropia local é um sinal robusto para prever erros de raciocínio.
Eficiência sem Retreinamento: O R-Stitch original é training-free, podendo ser aplicado imediatamente a modelos existentes.
Equilíbrio Flexível: Permite ajustar o trade-off entre velocidade e precisão apenas alterando o limiar de entropia ou a política do roteador.

4. Resultados Experimentais

Os testes foram realizados em benchmarks matemáticos desafiadores (AIME, AMC, MATH, etc.) usando modelos da família DeepSeek-R1 e QWQ.

Aceleração Significativa: O método alcançou acelerações de até 3.00× (no modelo de 7B), 3.85× (no de 14B) e 4.10× (no de 32B).
Preservação de Precisão: A perda de precisão foi negligenciável ou, em alguns casos, houve ganho de precisão (devido ao fato de o SLM gerar trajetórias menos verbosas e menos propensas a erros de truncamento).
Superioridade sobre Speculative Decoding: Enquanto o Speculative Decoding tradicional muitas vezes causa lentidão em tarefas de raciocínio devido à baixa consistência, o R-Stitch mantém a aceleração constante.
Baixo Overhead de Memória: O uso de um segundo KV Cache para o SLM adicionou uma carga de memória mínima (menos de 18% para o modelo de 7B).

5. Significância

O trabalho é significativo porque resolve um gargalo crítico na escalabilidade dos LLMs de raciocínio. Ao permitir que modelos menores assumam a maior parte do "trabalho pesado" de geração de texto comum, enquanto reservam o modelo maior para os momentos de dúvida lógica, o R-Stitch torna o uso de modelos de raciocínio avançados muito mais viável para aplicações em tempo real e em larga escala.