EvolveRouter: Co-Evolving Routing and Prompt for Multi-Agent Question Answering

Resumo Técnico: EVOLVEROUTER

1. Problema e Motivação

Os Agentes de Grandes Modelos de Linguagem (LLMs) demonstram capacidades complementares, tornando o roteamento (seleção de qual agente responder a uma consulta) uma abordagem promissora para a resposta a perguntas (QA) multi-agente. No entanto, os métodos existentes apresentam duas limitações fundamentais:

1. Otimização Estática: Eles otimizam apenas qual agente invocar, tratando o comportamento dos agentes como fixo. Ignoram que pequenas variações nas instruções (prompts) podem causar grandes diferenças de desempenho, especialmente em modelos de escala moderada.
2. Esquemas de Colaboração Rígidos: A maioria dos métodos ou roteia para um único agente ou agrega um conjunto fixo de agentes. Isso falha em adaptar o número de agentes participantes à complexidade de cada consulta, desperdiçando computação ou degradando o desempenho ao incluir agentes irrelevantes.

O EVOLVEROUTER propõe um framework treinável que supera essas limitações através de um processo de co-evolução em laço fechado, melhorando simultaneamente a qualidade dos agentes (via refinamento de prompts) e a estrutura de colaboração (via roteamento adaptativo).

2. Metodologia

O framework opera em três estágios principais, ilustrados em um ciclo iterativo:

A. Construção de Grafo de Conhecimento e Roteamento (RouterGNN)

• Cada instância de QA é representada como um Grafo de Conhecimento (KG) heterogêneo, contendo nós de consulta, agentes e entidades extraídas do contexto.
• As arestas codificam relações entre consulta-entidade, entidade-entidade, agente-entidade e arestas treináveis entre consulta-agente.
• Um RouterGNN (Rede Neural de Grafos) aprende a distribuir probabilidades de roteamento $p_\theta(a|q)$, identificando quais agentes são mais adequados para uma consulta específica baseada no contexto estruturado.

B. Refinamento de Prompts em Laço Fechado (Closed-Loop Prompt Refinement)

• Diagnóstico: O router coleta sinais diagnósticos durante o treinamento, identificando padrões de falha de cada agente (ex: confusão entre entidade e atributo, má interpretação do tipo de pergunta).
• Seleção de Alvo: Em vez de reescrever o agente com a pior pontuação global, o sistema prioriza agentes que têm baixo desempenho (F1) mas alta importância no roteamento (peso alto do router). Isso maximiza o ganho marginal.
• Reescrita e Validação: Um LLM reescreve os prompts dos agentes selecionados, focando em corrigir falhas específicas sem alterar a estratégia central do papel (role). Candidatos são validados em um subconjunto de dados focado nas falhas diagnosticadas.
• Atualização Incremental: O router é fine-tuned (ajustado) a partir do checkpoint anterior, preservando o conhecimento de roteamento acumulado para os agentes não modificados, em vez de ser re-treinado do zero.

C. Inferência Adaptativa via Acordo de Resposta (Adaptive Inference)

• Durante a inferência, os agentes são consultados sequencialmente na ordem de classificação do router.
• Um mecanismo de parada dinâmica calcula um "escore de acordo ponderado" entre as respostas dos agentes consultados.
• O processo para assim que o acordo ponderado excede um limiar $\tau$ (ou atinge um número máximo $K_{max}$). Isso permite que consultas fáceis sejam resolvidas com poucos agentes, enquanto consultas difíceis mobilizam mais recursos, otimizando o custo computacional.

3. Contribuições Principais

1. Co-evolução em Laço Fechado: É o primeiro framework a unir o roteamento de consultas e o refinamento direcionado de prompts de agentes. O router guia a melhoria dos agentes, e os agentes refinados fornecem supervisão mais limpa para o router.
2. Colaboração Adaptativa: Substitui esquemas rígidos por uma estratégia de inferência que determina dinamicamente o tamanho da colaboração ($K$) por consulta, baseando-se no acordo das respostas ponderado pelo router.
3. Desempenho Superior e Eficiência: Demonstra que a otimização conjunta supera abordagens que tratam roteamento e qualidade do agente como problemas separados.

4. Resultados Experimentais

O EVOLVEROUTER foi avaliado em cinco benchmarks de QA com diferentes demandas de raciocínio: 2WikiMultihopQA, HotpotQA, NewsQA, TriviaQA e NGQA.

• Desempenho: O modelo superou consistentemente os baselines de roteamento mais avançados (SOTA) em todas as métricas (F1 e Exact Match).
  • Destaque no TriviaQA, com ganhos de +7.08 em F1 e +8.67 em EM sobre o melhor baseline de roteamento (AgentRouter).
  • Superou o "Melhor Agente" (o agente único mais forte do conjunto) em todos os benchmarks, provando que a colaboração roteada agrega valor mesmo após o refinamento de prompts.
• Estabilidade: O método exibiu menor variância (desvio padrão) em comparação com outros métodos, indicando maior consistência do sistema.
• Eficiência Computacional: A estratégia de parada adaptativa reduziu o número médio de chamadas de agentes de 24 (conjunto completo) para 2.9 a 7.4, resultando em uma redução de 69% a 88% no custo de inferência, mantendo ou melhorando a precisão.
• Análise de Ablação:
  • Otimização de Prompts (PO) foi responsável pela maior parte dos ganhos, especialmente em benchmarks sensíveis à alinhamento prompt-tarefa.
  • O uso de checkpoints para atualizar o router (em vez de re-treinar do zero) foi crucial para preservar o conhecimento de roteamento.
  • O tamanho adaptativo $K$ superou qualquer configuração fixa de $K$ em todos os conjuntos de dados.

5. Significado e Conclusão

O EVOLVEROUTER representa um avanço significativo na arquitetura de sistemas multi-agentes. Ele demonstra que a eficácia do roteamento não é apenas uma questão de seleção, mas está intrinsecamente ligada à qualidade das instruções dos agentes. Ao tratar o roteamento e a otimização de prompts como um processo co-evolutivo, o framework resolve o dilema entre a complexidade do sistema e a eficiência computacional.

Os resultados sugerem que, para sistemas multi-agentes robustos, é necessário um ciclo contínuo onde o sistema diagnostica suas próprias falhas, refina as instruções dos componentes e adapta dinamicamente o fluxo de trabalho. Isso abre caminho para sistemas multi-agentes mais autônomos, eficientes e adaptáveis a domínios específicos, como saúde e engenharia de software.