Talk to Right Specialists: Iterative Routing in Multi-agent Systems for Question Answering

1. O Problema

O artigo aborda um desafio crítico na aplicação de sistemas de Geração Aumentada por Recuperação (RAG) em ambientes corporativos e distribuídos:

• Soberania do Conhecimento: Em muitas organizações, o conhecimento não pode ser centralizado em um único repositório devido a restrições de governança, controle de acesso e confidencialidade. Diferentes unidades de negócio mantêm agentes RAG independentes com bases de conhecimento disjuntas (ex: documentos internos, contratos, relatórios de incidentes).
• Falhas no Cenário Atual:
  1. Desconhecimento do Usuário: Os usuários não sabem qual agente específico consultar para uma determinada pergunta.
  2. Ineficiência do "Broadcast-to-All": Uma estratégia ingênua de enviar a consulta a todos os agentes é ineficiente. Ela desperdiça recursos computacionais, aumenta a latência (esperando pelos agentes mais lentos) e degrada a qualidade da resposta devido ao excesso de contexto ruidoso (o problema "lost-in-the-middle", onde o modelo ignora evidências relevantes em meio a textos longos).
  3. Limitações de Métodos Existentes: Métodos de roteamento baseados em descrições textuais manuais não capturam bem os limites de conhecimento de agentes complexos, enquanto métodos baseados em aprendizado exigem treinamento caro e compartilhamento de dados que viola a privacidade.

2. Metodologia: RIRS (Routing and Iterative Refining-Solving)

Os autores propõem o RIRS, um framework de orquestração sem treinamento (training-free) que coordena múltiplos agentes RAG preservando a soberania dos dados. O sistema opera em duas fases principais:

A. Fase Offline: Resumo de Conhecimento (Knowledge Summarization)

Cada agente RAG prepara seu conhecimento localmente sem compartilhar dados brutos:

1. Codificação: O corpus local é dividido em chunks e codificado em vetores de embedding usando um modelo compartilhado.
2. Agrupamento (Clustering): Os vetores são agrupados em $n$ clusters coerentes. O objetivo é maximizar a similaridade mínima dentro de cada cluster (objetivo max-min), garantindo que cada cluster represente um tópico semântico consistente.
3. Upload de Centroides: Apenas os centroides (médias dos vetores) de cada cluster e o identificador do agente são enviados ao servidor central.
   • Vantagem: O servidor obtém uma representação compacta do conhecimento do agente sem acessar os dados brutos, preservando a privacidade.

B. Fase Online: Resolução de Consultas via Roteamento e Refinamento Iterativo

O servidor central gerencia o fluxo de perguntas:

1. Roteamento Baseado em Centroides: A consulta do usuário é codificada e comparada com os centroides enviados. O servidor seleciona o Top-K de agentes mais relevantes (aqueles cujos centroides têm maior similaridade).
2. Geração e Avaliação: Os agentes selecionados recuperam evidências locais e geram respostas. Um Avaliador de Resposta (Response Evaluator) no servidor julga se a resposta é:
   • Totalmente Atendida (Fully Addressed): A pergunta foi resolvida.
   • Parcialmente Atendida: Parte da informação foi obtida.
   • Não Atendida: A resposta não é útil.
3. Refinamento Iterativo (para consultas multi-hop):
   • Se a resposta for parcial, o servidor usa um Simplificador de Perguntas (Question Simplifier) para reescrever a consulta, focando apenas nos aspectos não resolvidos.
   • O processo de roteamento e geração é repetido com a nova consulta refinada, permitindo a composição de evidências através de diferentes agentes e rodadas.
   • Se nenhuma evidência for encontrada, o sistema declara a pergunta como não respondível dentro do escopo.

3. Principais Contribuições

1. Framework de Roteamento sem Treinamento: O RIRS elimina a necessidade de treinar um roteador específico ou compartilhar dados brutos, utilizando centroides de embeddings como sinal de roteamento estável.
2. Análise Teórica de Limites: Os autores provam teoremas que demonstram que o erro de roteamento ao usar centroides é limitado e depende da coerência dos clusters. Se um cluster é semanticamente coerente, o centroid é um proxy confiável para o conhecimento contido nele.
3. Arquitetura Híbrida Eficiente: Separa a sumarização de conhecimento (offline) da resolução de consultas (online), permitindo que agentes usem modelos leves (LLMs menores) para geração local, enquanto o servidor usa um modelo mais forte para orquestração e síntese final.
4. Validação Empírica: Demonstração de que o roteamento seletivo supera tanto a centralização de dados (que introduz ruído) quanto o broadcast para todos (que é lento e impreciso).

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados de perguntas e respostas (QA) de salto único (Natural Questions) e multi-hop (HotpotQA, 2WikiMultiHopQA, MuSiQue, Multi-Hop RAG).

• Desempenho vs. Baselines: O RIRS superou consistentemente métodos de roteamento existentes (como Chameleon, baseado em descrições, e RouterDC, baseado em aprendizado) e o método de broadcast para todos.
  • Em benchmarks multi-hop, o RIRS melhorou a precisão em até 8% em comparação com o Chameleon e 15% em relação ao RouterDC (usando o modelo base LLaMA-3.1-8B).
• Eficiência: O RIRS reduziu significativamente a latência e o custo computacional ao evitar a consulta a agentes irrelevantes.
• Qualidade de Roteamento: A estratégia de centroides permitiu uma seleção de agentes mais precisa, resultando em taxas de resposta baseadas em evidências (RAG Accuracy) superiores.
• Configuração Mista: O uso de um modelo forte no servidor (Qwen-Plus) para avaliação e síntese, combinado com modelos leves nos agentes, recuperou grande parte do desempenho de sistemas totalmente baseados em modelos grandes, mas com custos menores.

5. Significância e Impacto

O trabalho é significativo por oferecer uma solução prática para um problema real de implantação de IA em empresas: como escalar a capacidade de resposta de IA sem violar a privacidade ou a soberania dos dados.

• Viabilidade de Implantação: O RIRS permite que organizações mantenham seus dados isolados (em silos) enquanto oferecem uma interface unificada e inteligente para os usuários.
• Escalabilidade: Ao evitar o "broadcast-to-all", o sistema escala melhor com o aumento do número de agentes e do volume de dados.
• Robustez em Consultas Complexas: A capacidade de refinar iterativamente a pergunta e compor evidências de múltiplos especialistas torna o sistema capaz de lidar com raciocínio complexo (multi-hop) que falharia em sistemas RAG tradicionais centralizados ou em abordagens de broadcast.

Em resumo, o RIRS representa um avanço na orquestração de sistemas multi-agente, equilibrando eficiência, precisão e privacidade, sendo particularmente relevante para cenários onde a centralização de dados é impossível.