💬 NLP

DecoupleSearch: Decouple Planning and Search via Hierarchical Reward Modeling

Este artigo propõe o DecoupleSearch, um novo framework que aprimora o RAG Agêntico ao desacoplar os processos de planejamento e busca por meio de modelos de valor duplos e busca em feixe hierárquico, a fim de abordar desafios na supervisão de etapas e na complexidade do espaço de candidatos.

Autores originais: Hao Sun, Zile Qiao, Bo Wang, Guoxin Chen, Yingyan Hou, Yong Jiang, Pengjun Xie, Fei Huang, Yan Zhang

Publicado 2026-05-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hao Sun, Zile Qiao, Bo Wang, Guoxin Chen, Yingyan Hou, Yong Jiang, Pengjun Xie, Fei Huang, Yan Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um enigma muito complicado, como "Quem é o sogro de Gulcicek Hatun?". Você tem um assistente muito inteligente (a IA) que sabe muito, mas às vezes inventa coisas ou fica preso. Para ajudar, você entrega ao assistente um cartão de biblioteca para que ele possa consultar fatos. Isso é chamado de Geração Aumentada por Recuperação (RAG).

No entanto, o artigo argumenta que ter apenas um cartão de biblioteca não é suficiente. O assistente precisa saber como usá-lo. É aqui que entra o RAG Agente: o assistente age como um detetive, planejando sua investigação e procurando pistas passo a passo.

O problema é que esse detetive frequentemente se perde. Ele pode planejar um caminho de investigação ruim ou pode procurar as pistas erradas. O artigo, DecoupleSearch, propõe uma nova maneira de treinar esse detetive para que ele não se perca.

Veja como funciona, usando analogias simples:

1. O Problema: O Detetive "Tudo ou Nada"

Nos sistemas antigos, o detetive faria um plano, procuraria uma vez e esperaria pelo melhor. Se o plano estivesse ligeiramente errado ou a busca retornasse um livro chato, toda a resposta estaria errada. Era como tentar encontrar uma agulha num palheiro olhando apenas para um único ponto.

2. A Solução: O Sistema de "Duplo Treinador"

Os autores criaram um sistema chamado DecoupleSearch. Pense nisso como contratar dois treinadores especializados para o seu detetive:

O Treinador de Planejamento: Este treinador olha apenas para o plano. "Esta é uma boa estratégia para resolver o enigma?"
O Treinador de Busca: Este treinador olha apenas para as pistas. "Este livro é realmente útil para o nosso plano atual?"

Ao separar essas duas funções, o sistema pode corrigir um plano ruim sem se preocupar com a busca, e vice-versa.

3. Treinamento: O "Torneio de Prática" (MCTS)

Como você ensina esses treinadores? Você não pode apenas mostrar a eles o gabarito, porque os passos intermediários são complicados.
Em vez disso, o artigo usa um método chamado Busca em Árvore de Monte Carlo (MCTS). Imagine um videogame onde a IA joga o mesmo nível milhares de vezes.

Ela tenta diferentes caminhos (planos) e buscas.
Às vezes ela vence (obtém a resposta correta), às vezes perde.
No final de cada jogo, ela olha para trás em cada movimento que fez. "Esse movimento levou a uma vitória, então foi bom. Esse movimento levou a um beco sem saída, então foi ruim."
Ela atribui uma "pontuação" a cada passo individual. Isso cria um mapa massivo do que funciona e do que não funciona.

4. A Inferência: O Processo de "Poda da Árvore"

Quando a IA realmente responde a uma pergunta para um usuário real, ela não apenas chuta. Ela usa uma técnica chamada Busca em Feixe Hierárquico.
Imagine que você está escalando uma árvore para encontrar uma fruta específica.

Ramificação: Em cada galho, a IA não escolhe apenas um caminho. Ela faz crescer vários novos galhos (planos) e procura várias pistas diferentes.
A Poda: É aqui que o Treinador de Planejamento e o Treinador de Busca entram. Eles olham para todos os novos galhos.
- O Treinador de Planejamento diz: "Este galho parece promissor, mas aquele é um beco sem saída. Corte o beco sem saída."
- O Treinador de Busca diz: "Este livro que encontramos é inútil. Jogue-o fora. Mantenha este."
O Resultado: A IA mantém apenas os melhores galhos e corta o resto. Ela repete isso até chegar ao topo da árvore (a resposta final).

Por Que Funciona

O artigo testou isso em muitas perguntas difíceis (como enigmas históricos de múltiplos passos). Eles descobriram que:

Melhor Planejamento é Fundamental: Se o detetive tem um plano ruim, nenhuma quantidade de busca ajudará. O "Treinador de Planejamento" é crucial.
Modelos Pequenos Podem Ser Inteligentes: Mesmo um modelo de IA menor (como um modelo de 7 bilhões de parâmetros) poderia performar tão bem quanto um modelo muito maior e mais caro se usasse essa técnica de "poda". É como uma equipe pequena e bem treinada derrotando uma equipe gigante e não treinada.
Supera a Concorrência: O sistema superou outros métodos que não separavam o planejamento da busca ou que não usavam esse treinamento de "torneio de prática".

Resumo

DecoupleSearch é como dar ao seu detetive de IA dois treinadores especialistas e um simulador de prática. Em vez de chutar às cegas, a IA tenta muitos caminhos, aprende com seus erros no simulador e, ao resolver o problema real, corta agressivamente as ideias ruins e mantém apenas as melhores. Isso leva a respostas mais precisas, especialmente para perguntas complexas que exigem uma investigação profunda.

Resumo Técnico: DecoupleSearch

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) tornaram-se essenciais para fundamentar Modelos de Linguagem de Grande Escala (LLMs) em conhecimento externo, a fim de mitigar alucinações. No entanto, o RAG padrão frequentemente depende de fluxos de trabalho estáticos que lutam contra tarefas de raciocínio complexas e multi-etapa. O RAG Agente aborda isso introduzindo agentes autônomos que planejam e pesquisam iterativamente. Apesar de seu potencial, o RAG Agente enfrenta três desafios críticos:

Interdependência de Planejamento e Pesquisa: O sucesso do processo de raciocínio depende tanto de um planejamento de alta qualidade (determinar quais informações são necessárias) quanto de uma pesquisa precisa (recuperar essas informações). Erros em qualquer estágio se propagam, e otimizar um sem o outro é difícil.
Falta de Supervisão Intermediária: A maioria dos conjuntos de dados RAG fornece apenas respostas finais, não oferecendo feedback explícito sobre a qualidade das etapas intermediárias de raciocínio (por exemplo, a validade de um plano gerado ou a relevância de um documento recuperado).
Espaço de Busca Exponencial: O espaço de candidatos para planejamento e pesquisa cresce exponencialmente, tornando computacionalmente caro identificar caminhos de raciocínio ótimos através de exploração por força bruta.

Metodologia: DecoupleSearch

Os autores propõem o DecoupleSearch, um framework que desacopla os processos de planejamento e pesquisa usando modelos de valor duplo (um modelo de valor de planejamento e um modelo de valor de pesquisa) para permitir otimização independente. A metodologia consiste em três fases principais:

1. Anotação MCTS (Construção de Dados de Treinamento)

Para abordar a falta de supervisão intermediária, os autores empregam Busca em Árvore de Monte Carlo (MCTS) para construir árvores de raciocínio para consultas de treinamento.

Processo: O LLM atua como um agente para gerar planos e consultas de pesquisa, interagindo com um recuperador para expandir a árvore.
Avaliação: Durante a simulação, o LLM atua como um juiz para atribuir pontuações de recompensa ($-1 $a$ 1$) tanto às etapas de planejamento quanto às de pesquisa. Nós terminais recebem recompensas baseadas na correção da resposta final.
Retropropagação: As recompensas são retropropagadas através da árvore para atualizar os valores dos nós e as contagens de visitas, criando um conjunto de dados de caminhos de raciocínio de alta qualidade (corretos) e baixa qualidade (incorretos).

2. Treinamento do Modelo

O framework utiliza um modelo de política de backbone compartilhado ( $\pi_\theta$ ) inicializado a partir de um LLM pré-treinado.

Arquitetura: Duas camadas lineares auxiliares com ativação Tanh são adicionadas ao backbone para derivar o Modelo de Valor de Planejamento ( $V_\phi$ ) e o Modelo de Valor de Pesquisa ( $V_\psi$ ). Este design garante eficiência de parâmetros e otimização conjunta.
Função de Perda: Uma perda multi-tarefa é aplicada:
- Perda de Política: Negativo da verossimilhança logarítmica em caminhos de solução corretos para guiar a previsão de tokens.
- Perda de Valor: Erro Quadrático Médio (MSE) entre os valores previstos e as recompensas derivadas do MCTS para ambas as etapas de planejamento e pesquisa em todos os caminhos.

3. Inferência: Busca em Feixe Hierárquica

Durante a inferência, o sistema emprega um algoritmo de Busca em Feixe Hierárquica para navegar no espaço de busca exponencial de forma eficiente.

Exploração Desacoplada: Em cada etapa, o modelo de política gera múltiplos planos candidatos. O Modelo de Valor de Planejamento avalia e poda esses planos, retendo apenas os mais promissores.
Fundamentação da Pesquisa: Com base nos planos selecionados, a política gera múltiplas consultas de pesquisa. O Modelo de Valor de Pesquisa avalia os documentos recuperados, podando resultados de baixo valor.
Iteração: Este refinamento iterativo continua até que uma profundidade máxima seja alcançada ou nenhum nó possa ser expandido. A resposta final é selecionada com base no maior valor atribuído pelo modelo de planejamento.

Contribuições Principais

Framework Desacoplado: Introdução do DecoupleSearch, que separa a otimização de planejamento e pesquisa por meio de modelos de valor duplo, permitindo o refinamento independente da lógica de raciocínio e da fundamentação da recuperação.
Supervisão Impulsionada por MCTS: Uma abordagem inovadora para gerar sinais de supervisão intermediária para RAG Agente, usando MCTS para anotar árvores de raciocínio com recompensas em nível de etapa, superando a limitação de conjuntos de dados com apenas respostas finais.
Estratégia de Busca Eficiente: A proposta de Busca em Feixe Hierárquica, que alavanca os modelos de valor duplo para podar o espaço exponencial de candidatos, equilibrando exploração e custo computacional.
Validação Empírica: Experimentos extensivos demonstrando a eficácia do método em tamanhos variados de modelos de política (7B e 14B parâmetros) e diversos conjuntos de dados de QA.

Resultados Experimentais

O método foi avaliado em cinco conjuntos de dados: HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle (multi-hop) e TriviaQA (single-hop). Os modelos de política utilizados foram Qwen2.5-7B-Instruct e Qwen2.5-14B-Instruct.

Ganhos de Desempenho: O DecoupleSearch alcançou resultados state-of-the-art em todos os conjuntos de dados. Com o modelo 7B, mostrou uma melhoria média relativa de 25,8% sobre a melhor linha de base de desempenho.
Comparação: Superou métodos de prompting vanilla (Direto, CoT), métodos RAG avançados (Iterativo, Judge-then-retrieve) e outras linhas de base de RAG Agente (RAgent, Search-o1, GreedyAgent).
Escalonamento: Embora modelos maiores (14B) geralmente tenham desempenho melhor, a Busca em Feixe Hierárquica permitiu que o modelo 7B alcançasse desempenho comparável ao modelo 14B, destacando a eficácia do escalonamento no tempo de inferência.
Estudos de Ablação:
- Remover qualquer expansão de planejamento ou pesquisa degradou o desempenho, sendo a expansão de planejamento mais crítica.
- Os modelos de valor provaram ser essenciais; substituir a classificação baseada em valor por seleção aleatória resultou em quedas significativas de desempenho, particularmente na expansão de pesquisa.
- O desempenho ótimo foi observado com um tamanho de expansão de planejamento de aproximadamente 3, enquanto tamanhos de expansão de pesquisa maiores geralmente produziram melhores resultados.

Significado e Alegações

O artigo afirma que o DecoupleSearch aborda as limitações fundamentais dos sistemas atuais de RAG Agente ao tratar o planejamento e a pesquisa como problemas de otimização distintos, mas acoplados. Ao desacoplar esses processos e utilizar MCTS para gerar supervisão intermediária de alta qualidade, o framework permite que LLMs naveguem em tarefas de raciocínio complexas de forma mais eficaz.

Os autores enfatizam que sua abordagem permite que modelos menores compitam com modelos maiores por meio de estratégias de inferência estruturadas (Busca em Feixe Hierárquica), em vez de depender exclusivamente do escalonamento de parâmetros. O trabalho fornece uma metodologia robusta para melhorar a confiabilidade e a precisão de agentes autônomos em tarefas intensivas em conhecimento, especificamente mitigando o problema de "alucinação" através de fundamentação rigorosa de pesquisa e resolvendo o problema de "planejamento" por meio de exploração guiada por valor.

Os autores reconhecem limitações, notando o custo computacional da anotação MCTS e o foco atual em reter um único melhor caminho por etapa, deixando a exploração da retenção de múltiplos caminhos para trabalhos futuros.