💬 NLP

APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution

O artigo apresenta o APEX-Searcher, um novo framework de planejamento e execução agêntica que aprimora as capacidades de busca de modelos de linguagem para tarefas complexas, decoplando o processo em duas etapas: otimização estratégica do planejamento via aprendizado por reforço e execução robusta de subtarefas via ajuste fino supervisionado.

Autores originais: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Publicado 2026-03-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kun Chen, Qingchao Kong, Zhao Feifei, Wenji Mao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um detetive muito inteligente (o Modelo de Linguagem ou LLM) que leu milhões de livros, mas nunca saiu da biblioteca. Ele sabe muita coisa, mas se você perguntar algo que aconteceu ontem ou que exige conectar três fatos diferentes de lugares distintos, ele pode se perder ou inventar coisas (alucinar).

O problema é que, quando esse detetive tenta pesquisar na internet para responder perguntas complexas, ele costuma agir como um turista perdido: ele faz uma pergunta, lê o resultado, faz outra pergunta aleatória baseada no que leu, e assim por diante. Muitas vezes, ele dá voltas desnecessárias ou perde o foco.

O papel "APEX-Searcher" apresenta uma solução genial: em vez de apenas fazer o detetive pesquisar mais vezes, eles ensinaram o detetive a planejar a investigação antes de sair de casa.

Aqui está a explicação simples, dividida em duas partes principais, usando analogias do dia a dia:

1. O Grande Plano (Agentic Planning)

Antes de começar a pesquisar, o sistema usa uma técnica chamada Aprendizado por Reforço (RL). Pense nisso como um treinamento de estratégia militar.

O Problema: O detetive tenta resolver um quebra-cabeça gigante de uma só vez e se confunde.
A Solução: O sistema ensina o detetive a quebrar a pergunta complexa em pequenos passos lógicos.
- Exemplo: Se a pergunta é "O avô materno de X é o mesmo que o avô paterno de Y?", em vez de tentar responder tudo de uma vez, o detetive aprende a criar um plano:
  1. Quem é a mãe de X?
  2. Quem é o pai da mãe de X?
  3. Quem é a mãe de Y?
  4. Quem é o pai da mãe de Y?
  5. Compare os dois resultados.
O Treinamento: O sistema recompensa o detetive quando ele cria um plano que faz sentido e pune quando o plano é confuso. É como um professor corrigindo o roteiro de um filme antes de começar a filmar.

2. A Exploração Inteligente (Agentic Exploration)

Depois de ter o plano, o detetive precisa executá-lo. Aqui entra o Ajuste Fino Supervisionado (SFT).

O Problema: Mesmo com um plano, o detetive pode fazer perguntas de pesquisa ruins ou parar de pesquisar muito cedo.
A Solução: O sistema treina o detetive para ser um explorador experiente.
- Ele aprende a fazer perguntas de busca específicas para cada passo do plano.
- Ele aprende a decidir quando parar: "Já tenho informação suficiente para responder a este passo? Sim? Ótimo, vamos para o próximo. Não? Vamos pesquisar mais."
- Ele aprende a não repetir o que já leu (evitando "dar voltas" na mesma informação).

A Metáfora Final: O Arquiteto e o Pedreiro

Para entender a diferença entre o método antigo e o APEX-Searcher, imagine a construção de uma casa:

Método Antigo (RAG Iterativo): É como um pedreiro que começa a colocar tijolos sem um desenho. Ele coloca um tijolo, olha, coloca outro, olha de novo. Se ele percebe que errou, ele tenta consertar no meio da parede. O resultado pode ficar torto ou demorar muito.
APEX-Searcher: É como ter um Arquiteto (o Planejador) que desenha a planta baixa completa primeiro, dividindo a obra em etapas claras (fundação, paredes, telhado). Depois, um Pedreiro Especialista (o Executor) segue esse plano passo a passo, sabendo exatamente o que fazer em cada momento e quando parar.

Por que isso é importante?

Os testes mostraram que, ao separar o planejamento (o "o que fazer") da execução (o "como fazer"), o sistema consegue responder perguntas muito difíceis com muito mais precisão do que os sistemas atuais.

Resultado: O sistema não apenas "acha" a resposta, ele raciocina sobre como chegar lá, evitando erros e alucinações.
Para quem serve: Para qualquer pessoa ou empresa que precise de respostas precisas sobre temas complexos, onde uma simples busca no Google não é suficiente.

Em resumo, o APEX-Searcher ensina a Inteligência Artificial a pensar antes de agir, transformando um pesquisador impulsivo em um estrategista brilhante.

Título: APEX-Searcher: Aprimorando a Capacidade de Busca de LLMs através de Planejamento e Exploração Agentes

1. Problema e Motivação

Os Modelos de Linguagem de Grande Escala (LLMs) são poderosos, mas sofrem de duas limitações principais: conhecimento estático (frozen no momento do treinamento) e alucinações (geração de fatos incorretos). A Geração Aumentada por Recuperação (RAG) foi desenvolvida para mitigar isso, conectando LLMs a fontes de conhecimento externas.

No entanto, o RAG padrão (de uma única passagem) falha em perguntas multi-hop (complexas), que exigem a síntese de informações de múltiplas fontes interdependentes.

Limitação das abordagens existentes: A maioria das soluções atuais para perguntas multi-hop foca em aumentar o número de iterações de busca ou refinar consultas de forma reativa (tática). Elas frequentemente ignoram a capacidade intrínseca do LLM de planejamento estratégico.
O Gap: Sem uma estrutura de raciocínio global, os métodos iterativos atuais tendem a criar caminhos de busca ineficientes, repetitivos ou serem desviados por documentos irrelevantes. O problema não é apenas "buscar mais", mas "saber o que buscar e em que ordem".

2. Metodologia: O Framework APEX-Searcher

O APEX-Searcher propõe um framework hierárquico que separa o processo em duas fases distintas e sinérgicas: Planejamento de Alto Nível e Exploração de Baixo Nível.

Fase 1: Planejamento Agente Baseado em RL (Reinforcement Learning)

Objetivo: Decompor uma pergunta complexa ( $Q$ ) em uma sequência lógica e executável de sub-perguntas ( $S = \{s_1, s_2, ..., s_n\}$ ).
Mecanismo: Um agente de planejamento é treinado usando Otimização de Política Relativa de Grupo (GRPO), uma variante do RL que não requer uma função de valor auxiliar (como no PPO).
Função de Recompensa: A recompensa ( $R_{plan}$ ) é calculada comparando o plano gerado pelo agente com um plano "gold" (anotado por humanos). Utiliza-se uma pontuação F1 baseada em similaridade semântica (via embeddings de sentence-transformers e o algoritmo húngaro para emparelhamento ótimo) para medir a qualidade da decomposição, independentemente da ordem exata das frases.
Saída: Um plano estruturado onde sub-perguntas podem referenciar respostas anteriores (ex: "Qual é a nacionalidade de #1?").

Fase 2: Exploração Agente Baseada em SFT (Fine-Tuning Supervisionado)

Objetivo: Executar o plano gerado, realizando a recuperação de informação e o raciocínio iterativo para cada sub-pergunta.
Mecanismo: Um agente de execução é treinado via Fine-Tuning Supervisionado (SFT) em um dataset especializado de instruções multi-turno.
Processo Iterativo (Loop de Busca):
1. Avaliação de Conhecimento: O agente verifica se a resposta já está na base de conhecimento acumulada.
2. Decisão de Continuidade: Decide se deve continuar buscando ou se já tem informação suficiente.
3. Geração de Consulta Dinâmica: Formula novas consultas baseadas nas lacunas de informação, evitando repetições.
4. Recuperação e Filtragem: Busca documentos, remove duplicatas e atualiza o contexto.
Síntese Final: Após resolver todas as sub-perguntas, o agente sintetiza a resposta final e calcula um score de confiança.

3. Principais Contribuições

Novo Framework (APEX-Searcher): Uma arquitetura que integra explicitamente o planejamento estratégico (via RL) com a execução de busca (via SFT), superando a abordagem puramente reativa do RAG iterativo tradicional.
Treinamento com RL para Planejamento: Uso de GRPO com recompensas baseadas em decomposição de tarefas para ensinar o LLM a criar planos de raciocínio lógicos e eficientes.
Paradigma de Busca Baseado em Planejamento: Construção de um dataset de SFT específico que ensina o modelo a explorar bases de conhecimento de forma estratégica, gerenciando contexto e tomando decisões de continuação.
Validação Empírica: Demonstração robusta de que a separação entre "planejar" e "executar" resulta em ganhos significativos de desempenho em tarefas complexas.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos Qwen2.5-3B e Qwen2.5-7B em quatro benchmarks de perguntas multi-hop: HotpotQA, 2WikiMultiHopQA, MuSiQue e Bamboogle.

Desempenho Geral: O APEX-Searcher superou consistentemente os baselines (incluindo RAG Padrão, IRCoT, Search-o1, Search-R1 e ReasonRAG).
- No modelo 7B, alcançou uma média de 37.64 (EM - Exact Match), superando o melhor baseline anterior em aproximadamente 8.2%.
- No modelo 3B, alcançou 33.45, uma melhoria massiva de 149% em relação à linha de base sem treinamento específico.
Estudo de Ablação:
- Sinergia: O desempenho máximo é alcançado apenas quando Planejamento, RL e SFT estão ativos simultaneamente.
- Importância do RL: Adicionar RL ao módulo de planejamento melhorou significativamente a qualidade dos planos gerados.
- Importância do SFT: O SFT foi crucial para modelos menores (3B), compensando deficiências na capacidade de execução e uso de ferramentas.
Análise de Parâmetros:
- Aumentar o número de documentos recuperados além de 3 trouxe retornos decrescentes ou ruído.
- O número de "hops" (passos de raciocínio) permitidos mostrou correlação positiva com a precisão até certo ponto.
Qualidade do Planejamento: O modelo treinado com RL produziu planos mais concisos, evitando decomposição excessiva e utilizando referências cruzadas (#n) corretamente, em comparação com o modelo base.

5. Significado e Conclusão

O trabalho do APEX-Searcher destaca que, para tarefas complexas de busca de informação, a estratégia de planejamento é tão crítica quanto a capacidade de execução. Ao separar e otimizar especificamente a fase de decomposição de tarefas (via RL) e a fase de exploração (via SFT), o framework oferece uma solução mais robusta para o problema de raciocínio multi-hop do que as abordagens puramente iterativas.

Isso abre caminho para sistemas agentes mais sofisticados, onde o LLM não apenas responde a prompts, mas planeja ativamente sua jornada de descoberta de conhecimento, reduzindo alucinações e aumentando a precisão em cenários de conhecimento intensivo. As futuras direções incluem a aplicação de RL na fase de exploração e a expansão para buscas na web em tempo real.