Lightweight Query Routing for Adaptive RAG: A Baseline Study on RAGRouter-Bench

Título: Roteamento de Consultas Leve para RAG Adaptativo: Um Estudo de Base no RAGRouter-Bench

1. O Problema

Os pipelines de Geração Aumentada por Recuperação (RAG) utilizam diversas estratégias de recuperação que variam drasticamente em custo de tokens e capacidade. Enquanto um passo simples de recuperação densa (NaiveRAG) é rápido e barato, pipelines iterativos (IterativeRAG) podem lidar com consultas complexas, mas custam até 3,5 vezes mais em tokens.
A maioria dos sistemas implantados aplica uniformemente a mesma estratégia a todas as consultas, o que é ineficiente. O desafio é desenvolver um roteador que selecione a estratégia de recuperação mais adequada (e mais barata) para cada consulta específica. Embora existam benchmarks para isso, como o recém-lançado RAGRouter-Bench, não havia classificadores treinados especificamente nele até este trabalho. O objetivo é estabelecer uma linha de base para o roteamento baseado apenas no texto da consulta, antes de incorporar sinais do corpus.

2. Metodologia

O estudo realizou uma avaliação sistemática de classificadores leves para rotear consultas para uma das três estratégias de RAG, baseando-se apenas no texto da consulta.

• Dataset (RAGRouter-Bench):

  • 7.727 consultas distribuídas em quatro domínios: MuSiQue (Wikipédia), QuALITY (Literatura), UltraDomain (Jurídico) e GraphRAG-Bench (Médico).
  • Tipos de Consulta (Labels): Factual (single_hop), Raciocínio (multi_hop) e Resumo (summary).
  • Paradigmas de RAG Mapeados:
    • Factual $\rightarrow$ NaiveRAG (Custo 1.4x)
    • Raciocínio $\rightarrow$ HybridRAG (Custo 2.8x)
    • Resumo $\rightarrow$ IterativeRAG (Custo 3.5x)

• Recursos (Features): Três regimes de características foram extraídos do texto da consulta:

  1. Lexicais (TF-IDF): Unigramas e bigramas com escala sublinear de frequência de termos.
  2. Semânticos (MiniLM): Vetores densos (384 dimensões) usando o modelo all-MiniLM-L6-v2.
  3. Estruturais (Hand-crafted): 23 características manuais, incluindo comprimento da consulta, contagem de caracteres, tipo de palavra interrogativa (quem, como, por que), presença de negação e contagem aproximada de entidades nomeadas.

• Classificadores: Cinco algoritmos foram treinados em cada regime de recursos (Total de 15 combinações):

  • Regressão Logística, SVM (Kernel RBF), Random Forest, KNN e MLP.

• Avaliação:

  • Métricas principais: F1-Macro (para lidar com desequilíbrio de classes) e Acurácia.
  • Simulação de Custo: Cálculo de economia de tokens post-hoc comparando o roteamento do classificador contra o cenário de sempre usar o paradigma mais caro (IterativeRAG).

3. Contribuições Principais

1. Primeiras Linhas de Base: Estabelecimento dos primeiros classificadores de roteamento de lado da consulta no RAGRouter-Bench, cobrindo 15 combinações de classificador-recursos.
2. Análise Cross-Domínio: Identificação de onde o roteamento leve é mais e menos confiável (ex: domínio médico vs. jurídico).
3. Simulação de Custo e Trade-off: Demonstração quantitativa de quanto é possível economizar mantendo a qualidade, revelando que otimizar apenas a economia pode levar à degradação da resposta.

4. Resultados Chave

• Desempenho de Roteamento:

  • A melhor configuração foi TF-IDF com SVM, alcançando 93,2% de acurácia e um F1-Macro de 0,928.
  • Surpresa: Recursos lexicais (TF-IDF) superaram os embeddings semânticos (MiniLM) em 3,1 pontos de F1-Macro. Isso sugere que padrões de palavras-chave superficiais (como palavras interrogativas ou termos específicos de domínio) são preditores mais fortes do tipo de complexidade da consulta do que a semântica densa neste contexto.
  • Recursos estruturais tiveram o desempenho mais baixo (F1 ~0,788).

• Economia de Tokens:

  • A configuração TF-IDF + SVM simulou uma economia de 28,1% de tokens em comparação com o uso constante do paradigma mais caro.
  • Isso representa cerca de 79% da economia máxima teórica (35,2%) que seria possível com um roteador perfeito que conhece o tipo exato da consulta.
  • Nota Crítica: Um classificador "Majority Class" (que sempre prevê "Factual" e roteia para o método mais barato) alcançou 60% de economia, mas com um F1 de apenas 0,231, demonstrando que maximizar a economia isoladamente destrói a qualidade da resposta.

• Análise por Domínio:

  • Domínio Jurídico: O mais fácil de rotear (F1 de 0,967 com TF-IDF), possivelmente devido a padrões mais formulaicos.
  • Domínio Médico: O mais difícil (F1 de 0,803), provavelmente porque o corpus consiste em um único documento longo, tornando os sinais de vocabulário superficial menos discriminativos entre os tipos de consulta.

5. Significado e Conclusão

O trabalho estabelece que sinais de texto de superfície são suficientes para um roteamento de alta qualidade em RAG, sem a necessidade de embeddings semânticos complexos ou chamadas de LLM para decisão.

• Limitação Reconhecida: O estudo é uma "base" (floor) e não um teto. O RAGRouter-Bench demonstra que a seleção ideal do paradigma depende da interação entre a consulta e o corpus (estrutura do corpus), algo que classificadores baseados apenas em texto não capturam.
• Implicação Prática: Sistemas de RAG podem implementar roteadores leves e baratos (baseados em TF-IDF) para economizar significativamente em tokens sem sacrificar a precisão, mas devem estar cientes de que a otimização puramente econômica pode ser enganosa se não for balanceada com a métrica de qualidade (F1).
• Futuro: O trabalho destaca a lacuna que futuros sistemas devem preencher: incorporar sinais do lado do corpus para fechar a diferença entre o roteamento baseado apenas em texto e o roteamento ideal.