💬 NLP

When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

O artigo apresenta o ReaLM-Retrieve, um framework que otimiza o momento da recuperação para modelos de raciocínio de grande porte ao detectar lacunas de conhecimento no nível de cada etapa do raciocínio, o que melhora significativamente a precisão das respostas e a eficiência da recuperação, ao mesmo tempo que reduz chamadas de recuperação desnecessárias em comparação com abordagens padrão e de intervalo fixo.

Autores originais: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Publicado 2026-04-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dongxin Guo, Jikun Wu, Siu Ming Yiu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Descompasso da "Visita à Biblioteca"

Imagine que você é um detetive brilhante (o Modelo de Raciocínio de Grande Escala) tentando resolver um mistério complexo. Você tem um caderno onde anota seus pensamentos passo a passo. Às vezes, você fica travado porque não sabe um fato específico, como o nome de uma testemunha ou a data de um evento.

O Jeito Antigo (RAG Padrão):
Atualmente, a maioria dos sistemas age como um bibliotecário que entrega uma pilha de livros antes mesmo de você começar a escrever no seu caderno. Você lê os livros e, em seguida, tenta resolver o mistério inteiro.

O Defeito: Se você ficar travado no meio do seu processo de pensamento de 20 páginas porque esqueceu um detalhe, não pode voltar atrás e pedir um novo livro. Você fica preso com a informação que recebeu no início, mesmo que ela não tenha sido suficiente para as etapas posteriores.

O Jeito Novo (ReaLM-Retrieve):
Este artigo apresenta um sistema chamado ReaLM-Retrieve. Em vez de receber todos os livros de uma vez, o detetive pode caminhar até a biblioteca no meio de escrever suas anotações, mas apenas quando genuinamente precisar.

Como Funciona: As Três Ferramentas Mágicas

Os pesquisadores construíram um sistema com três partes principais para fazer essa "viagem à biblioteca no meio do pensamento" funcionar perfeitamente.

1. A "Verificação de Confiança" (Incerteza em Nível de Passo)

Imagine que o detetive pausa após cada parágrafo de seu caderno. Ele pergunta a si mesmo: "Eu realmente sei isso, ou estou apenas chutando?"

Métodos antigos verificavam isso a cada palavra (muito frequente) ou a cada frase (muito rígido).
ReaLM-Retrieve verifica no passo lógico. Ele pergunta: "Acabei de terminar um pensamento completo? Sinto-me inseguro sobre o próximo salto lógico?"
Se o detetive sentir uma "lacuna de conhecimento" (incerteza), o sistema a sinaliza. É como uma luz de "Verifique o Motor" que só acende quando o carro realmente precisa de combustível, e não apenas porque o motor está funcionando.

2. O "Gerente Inteligente" (Política de Intervenção Aprendida)

Só porque o detetive se sente inseguro não significa que ele deve correr para a biblioteca toda vez. Às vezes, ele está apenas pensando profundamente, não faltando fatos.

Este sistema age como um gerente inteligente sentado ao lado do detetive.
O gerente observa a "Verificação de Confiança" e o histórico do caso. Ele decide: "Ok, precisamos realmente procurar aquele fato específico agora," OU "Não, continue pensando, você vai resolver."
Ele também ajuda a escrever a pergunta perfeita para o bibliotecário (a consulta de pesquisa) para que o detetive receba exatamente a página certa, e não um livro inteiro de informações irrelevantes.

3. A "Entrega Ágil" (Integração Eficiente)

Ir à biblioteca leva tempo. Se o detetive parar por 5 minutos toda vez que precisar de um fato, todo o processo fica lento.

Os pesquisadores construíram um serviço de entrega de alta velocidade.
Em vez de entregar um livro inteiro ao detetive, eles entregam apenas o parágrafo exato de que ele precisa (comprimindo a informação).
Eles também usam um truque "especulativo": Se é provável que o detetive precise de um fato sobre "Paris" a seguir, o sistema busca essa informação enquanto o detetive ainda está escrevendo a frase atual. Se ele precisar, já estará lá instantaneamente.
Resultado: O sistema é 3,2 vezes mais rápido na obtenção de informações do que os métodos antigos.

Os Resultados: Mais Inteligente, Mais Rápido, Mais Barato

A equipe testou isso em três jogos de quebra-cabeça difíceis (MuSiQue, HotpotQA e 2WikiMultiHopQA) que exigem conectar muitos pontos para encontrar uma resposta.

Respostas Melhores: O sistema acertou a resposta 10% mais frequentemente do que o método padrão de "pegar todos os livros de uma vez".
Menos Viagens: Ele fez 47% menos viagens à biblioteca. Em vez de verificar a biblioteca a cada poucas frases (como o antigo método IRCoT), ele só foi quando absolutamente necessário.
O Ponto Ideal: Nos quebra-cabeças mais difíceis (exigindo 4 passos de lógica), o novo método foi significativamente melhor. Ele provou que menos viagens, bem cronometradas, à biblioteca são melhores do que viagens frequentes e aleatórias.

Um Exemplo da Vida Real do Artigo

O artigo dá um exemplo de uma pergunta: "Quem dirigiu o filme que ganhou o Oscar de Melhor Filme no ano em que o Muro de Berlim caiu?"

O Pensamento do Detetive:
1. "O Muro de Berlim caiu em 1989." (Confiante, nenhuma viagem à biblioteca necessária).
2. "O Melhor Filme de 1989 foi Driving Miss Daisy." (Confiante, nenhuma viagem).
3. "Quem dirigiu?" (Aqui, o detetive sente uma lacuna. O sistema diz: VÁ PARA A BIBLIOTECA).
4. O sistema busca o nome do diretor instantaneamente.
5. O detetive termina a resposta.
O Jeito Antigo: Teria buscado o nome do diretor logo no início, mesmo que o detetive não precisasse dele até o passo 3, desperdiçando tempo e potencialmente confundindo o detetive com informações demais cedo demais.

Resumo

ReaLM-Retrieve ensina modelos de IA a parar e pedir ajuda exatamente quando ficam travados, em vez de pedir ajuda antes de começar ou pedir ajuda com muita frequência. É como ter um assistente inteligente que sabe exatamente quando abrir a enciclopédia, economizando tempo e obtendo melhores resultados.

1. Declaração do Problema

O artigo aborda um desalinhamento temporal fundamental entre Modelos de Grande Raciocínio (LRMs) como DeepSeek-R1 e OpenAI o1, e os sistemas tradicionais de Geração Aumentada por Recuperação (RAG).

O Descompasso: O RAG padrão segue um paradigma de "recuperar-então-gerar", injetando contexto antes do início do raciocínio. No entanto, os LRMs geram cadeias de pensamento estendidas (12.000–25.000 tokens) envolvendo inferência multi-etapa, auto-verificação e retrocesso. Lacunas de conhecimento frequentemente surgem no meio da inferência e não podem ser antecipadas na fase de consulta.
Limitações dos Métodos Iterativos Existentes: Os métodos de recuperação iterativa atuais (por exemplo, IRCoT, FLARE) são inadequados para LRMs devido a:
1. Descompasso de Granularidade: Eles acionam a recuperação no nível de token ou frase, enquanto os LRMs operam no nível de etapa de raciocínio (unidades lógicas que abrangem múltiplas frases).
2. Indisponibilidade de Sinais: Métodos que dependem de probabilidades de token (FLARE) ou estados internos de atenção (DRAGIN) falham com modelos de "apenas conclusão" (como o1) que não expõem esses internos.
3. Colapso de Eficiência: A recuperação em intervalos fixos (por exemplo, após cada frase) é proibitivamente cara para cadeias longas, adicionando latência significativa e sobrecarga de tokens.

2. Metodologia: ReaLM-Retrieve

Os autores propõem o ReaLM-Retrieve, um framework consciente do raciocínio que integra a recuperação dinamicamente durante a cadeia de inferência. Ele consiste em três componentes principais:

A. Segmentação de Etapas de Raciocínio

Em vez de segmentação ao nível de frase, o sistema identifica etapas lógicas de raciocínio.

Mecanismo: Um classificador transformer leve de 3 camadas detecta limites de etapa com base em marcadores discursivos ("portanto", "no entanto"), conectivos lógicos, mudanças de tópico (via similaridade de embeddings) e pontuação.
Treinamento: Treinado em traços anotados por humanos do DeepSeek-R1, alcançando 94,2% de F1 na identificação de limites. Isso permite que o sistema trate a cadeia de raciocínio como uma sequência de unidades lógicas discretas, em vez de um fluxo de tokens.

B. Detecção de Incerteza ao Nível de Etapa (RSUS)

O sistema calcula uma Pontuação de Incerteza de Etapa de Raciocínio (RSUS) para determinar se uma etapa requer conhecimento externo.

Pontuação Composta: $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$ $R S U S (r_{i}) = α \cdot U_{v er b} + β \cdot U_{e n t} + γ \cdot U_{co n s}$
- $U_{verb}$ (Incerteza Verbalizada): O modelo é instruído a avaliar sua confiança (0–100). Para modelos de apenas conclusão, um proxy MLP aprendido estima isso com base em características de superfície e contagens de entidades.
- $U_{ent}$ (Entropia de Entidade): Mede a ambiguidade/cobertura esparsa de entidades nomeadas no corpus recuperado. Alta entropia indica que o modelo carece de conhecimento sobre entidades específicas.
- $U_{cons}$ (Consistência): Mede o acordo entre múltiplas continuações amostradas da etapa atual.
Eficiência: Este cálculo adiciona apenas ~8% de sobrecarga, evitando o custo massivo de entropia semântica ou amostragem de auto-consistência.

C. Política de Intervenção Aprendida e Integração Eficiente

Política ( $\pi$ ): Um modelo de bandito contextual decide se recuperar, qual consulta formular e como integrar a evidência. É treinada via REINFORCE para maximizar a precisão da resposta, penalizando o custo de recuperação (latência e contagem de chamadas).
Formulação de Consulta: A política gera consultas específicas direcionadas à necessidade de informação (por exemplo, "Qual é a relação de [entidade] com [conceito]?") em vez de apenas repetir a etapa atual.
Otimizações de Eficiência:
- Compressão Implícita: Mantém apenas frases de documentos recuperados que excedem um limiar de importância, reduzindo a expansão de contexto em 73%.
- Cache Especulativo: Pré-busca documentos para consultas prováveis da próxima etapa em paralelo; se o palpite estiver correto (taxa de acerto de 37%), a latência de recuperação é eliminada.
- Preservação de Cache KV: Para modelos de peso aberto, preserva os estados chave-valor em cache para porções de contexto inalteradas, reduzindo o tempo até o primeiro token em 2,1×.

3. Principais Contribuições

Granularidade ao Nível de Etapa: Desloca o gatilho de recuperação do nível de token/frase para o nível de etapa de raciocínio, alinhando-se com a estrutura lógica dos LRMs.
Incerteza Compatível com Caixa-Preta: Introduz o RSUS, um método que funciona em modelos de apenas conclusão (como o1) sem exigir acesso a probabilidades de token ou estados internos de atenção.
Integração Otimizada para Eficiência: Reduz a sobrecarga por recuperação em 3,2× em comparação com a integração ingênua, através de cache especulativo e compressão de contexto, permitindo implantação prática.

4. Resultados Experimentais

Avaliado em MuSiQue, HotpotQA e 2WikiMultiHopQA usando os modelos DeepSeek-R1 e QwQ.

Precisão: O ReaLM-Retrieve alcança uma melhoria absoluta média de 10,1% no F1 sobre o RAG padrão e 4,6% sobre o método anterior mais forte (ReARTeR).
- No MuSiQue (raciocínio de 2–4 saltos), alcança 71,2% de F1 (vs. 65,4% para IRCoT).
Eficiência:
- Menos Chamadas: Reduz as chamadas de recuperação em 47% em comparação com abordagens de intervalo fixo (1,8 chamadas vs. 3,4 chamadas para IRCoT no MuSiQue).
- Latência: Alcança 1,33× menor latência ponta a ponta que o IRCoT e 1,50× menor que a intercalação ingênua.
- Custo: Reduz os custos de tokens de saída em 16% devido a cadeias de raciocínio mais curtas (a evidência resolve a incerteza mais rapidamente).
Qualidade de Recuperação: Melhora o Recall@5 para 81,3% (vs. 72,6% para IRCoT), provando que o sistema recupera melhores evidências no momento certo.
Generalização: A política generaliza bem para diferentes arquiteturas de modelos (por exemplo, QwQ) e transfere-se entre benchmarks (treinado em HotpotQA, testado em MuSiQue) com queda mínima de desempenho.

5. Significado

Mudança de Paradigma: O artigo demonstra que "menos recuperações, melhor cronometradas" superam a recuperação frequente e de intervalo fixo. Isso estabelece uma nova fronteira de Pareto para o trade-off precisão-eficiência em tarefas intensivas de raciocínio.
Escalabilidade: Ao operar no nível de etapa de raciocínio e suportar modelos de apenas conclusão, o framework é aplicável aos LLMs proprietários mais capazes (como o1), que atualmente são inacessíveis a muitos esforços de pesquisa em RAG.
Design de Sistema: Fornece um modelo para integrar recuperação em tarefas de raciocínio de longo horizonte, movendo o RAG de uma etapa estática de pré-processamento para um parceiro de raciocínio dinâmico e adaptativo.

Em conclusão, o ReaLM-Retrieve resolve o descompasso crítico de temporização na integração LRM-RAG, entregando precisão state-of-the-art com custos computacionais significativamente reduzidos.