RealRoute: Dynamic Query Routing System via Retrieve-then-Verify Paradigm

Resumo Técnico: RealRoute

1. O Problema

O paradigma de Geração Aumentada por Recuperação (RAG) tem sido fundamental para conectar Grandes Modelos de Linguagem (LLMs) a conhecimento externo. No entanto, a aplicação de RAG em cenários com fontes de dados heterogêneas (ex: bancos de dados privados, corpora globais, APIs especializadas) enfrenta desafios significativos.

A abordagem atual predominante utiliza a estratégia de "LLM como Roteador" (LLM-as-a-Router), onde um modelo de linguagem prevê, antes da recuperação, qual fonte específica deve ser consultada para cada sub-pergunta. Essa estratégia apresenta falhas críticas:

• Alucinação de Roteamento: Quando as fronteiras entre fontes de dados são ambíguas ou há sobreposição temática, o roteador pode cometer erros de previsão.
• Falha Catastrófica: Uma decisão de roteamento incorreta antes da recuperação impede que evidências críticas entrem na janela de contexto, levando a respostas erradas.
• Dependência de Fronteiras Definidas: Funciona bem apenas quando as fontes são perfeitamente separáveis, o que raramente ocorre em implantações reais.

2. Metodologia: O Paradigma "Recuperar-Então-Verificar"

O RealRoute propõe uma mudança de paradigma: em vez de uma seleção preditiva de fonte (hard routing), o sistema adota um fluxo robusto de Recuperação Paralela e Verificação Factual. O sistema opera em três fases principais:

• Fase I: Recuperação Paralela Consciente do Contexto

  • A pergunta complexa é decomposta em sub-perguntas dependentes.
  • Ao invés de escolher uma única fonte, o sistema executa uma recuperação paralela em todas as fontes candidatas disponíveis (ex: corpus local, global, BioASQ, SciQ).
  • Isso cria um "pool" unificado de candidatos, eliminando o risco de falha única por escolha errada de fonte.

• Fase II: Seleção Dinâmica de Evidência via "Adaptive Cap" (Teto Adaptativo)

  • Uma vez coletados os candidatos de todas as fontes, o sistema aplica um mecanismo de orçamento inteligente chamado Adaptive Cap.
  • O sistema identifica uma "fonte preferida" (com base em um roteador leve), mas não descarta as outras.
  • Mecanismo de Teto: A fonte preferida recebe um limite de tokens/candidatos mais alto, enquanto as fontes não preferidas recebem um limite menor (mas não nulo).
  • Isso garante que evidências valiosas de fontes secundárias não sejam perdidas, mesmo que a previsão inicial não seja perfeita.
  • A seleção final do pool de evidências é feita usando fusão de ranks (RRF), pontuação bruta ou um juiz baseado em LLM, dentro de um orçamento de contexto fixo.

• Fase III: Geração Adaptativa e Reflexão

  • O gerador produz a resposta baseada nas evidências selecionadas.
  • Se o modelo determinar que as evidências são insuficientes, um loop de reflexão é acionado. O sistema atualiza o histórico de falhas para desencorajar a mesma preferência de roteamento na próxima tentativa, explorando estratégias alternativas de alocação de evidências.

3. Contribuições Chave

• Mudança de Paradigma: Transição de "Roteamento Preditivo" (selecionar fonte antes de buscar) para "Recuperar-Então-Verificar" (buscar em tudo, filtrar depois).
• Robustez a Ambiguidades: O sistema mitiga falhas causadas por fronteiras de fontes sobrepostas ou mal definidas, garantindo a completude das evidências.
• Orçamento Adaptativo (Adaptive Cap): Uma técnica inovadora que equilibra a preferência de fonte com a necessidade de cobertura, evitando que uma única fonte monopolize o contexto enquanto mantém o custo computacional controlado.
• Ferramenta Open-Source: Liberação de um kit de ferramentas com interface web interativa que permite visualizar o processo de "re-roteamento" em tempo real e inspecionar a cadeia de verificação.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de perguntas de múltiplos saltos (multi-hop), como HotPotQA, SciQ e BioASQ, com configurações de 2, 3 e 4 fontes.

• Desempenho Superior: O RealRoute superou consistentemente as bases de comparação de roteamento rígido (Hard Routing) e outros paradigmas de RAG (como DeepSieve, ReAct, Reflexion).
  • No cenário de 2 fontes, houve aumento de EM (Exact Match) de 49,30 para 53,67 e redução no uso de tokens (de 3926 para 2711).
  • Em cenários heterogêneos (3 e 4 fontes), o RealRoute manteve alta estabilidade e precisão, trocando um custo de inferência controlado por uma cobertura de evidência muito mais ampla.
• Eficiência de Custo: Comparado a paradigmas de agentes complexos (como Reflexion), o RealRoute alcançou melhor precisão com um custo de tokens significativamente menor (redução de ~31% em comparação ao DeepSieve no benchmark HotPotQA).
• Comparação com Baselines: O sistema superou abordagens puramente generativas e métodos de roteamento rígido, demonstrando que a recuperação paralela seguida de filtragem é mais eficaz para tarefas de raciocínio complexo.

5. Significado e Impacto

O RealRoute representa um avanço significativo na construção de sistemas RAG para ambientes do mundo real, onde as fronteiras do conhecimento são frequentemente fluidas e heterogêneas.

• Confiabilidade: Ao eliminar a dependência de uma decisão de roteamento perfeita pré-recuperação, o sistema torna-se muito mais robusto contra falhas catastróficas.
• Escalabilidade: A abordagem de orçamento adaptativo permite que o sistema escale para múltiplas fontes sem explodir o custo computacional, mantendo o contexto dentro de limites viáveis.
• Aplicabilidade: Serve como uma solução padrão confiável e de baixo custo para aplicações que exigem integração de conhecimento corporativo interno com dados públicos e especializados, oferecendo transparência total através de sua interface de inspeção.

Em suma, o RealRoute demonstra que a verificação factual pós-recuperação é uma estratégia superior à seleção preditiva de fonte para garantir a precisão em sistemas de perguntas e respostas complexos.