ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

No mundo em rápida evolução da inteligência artificial, surgiu uma nova geração de sistemas que podem enfrentar problemas complexos ao dividi-los em etapas menores. Esses sistemas, conhecidos como fluxos de trabalho multiagentes, operam como uma equipe de especialistas onde diferentes programas de computador, cada um alimentado por um modelo de linguagem de grande escala, colaboram para resolver uma única tarefa. Um agente pode planejar a estratégia, outro pode escrever código e um terceiro pode verificar os resultados. Embora essa abordagem permita que as máquinas lidem com desafios abertos que eram anteriormente impossíveis, ela vem com um preço significativo. Cada vez que o sistema pede a um modelo para pensar ou agir, ele consome energia e dinheiro. Usar os modelos mais poderosos e capazes para cada etapa individual é frequentemente um desperdício, enquanto confiar apenas em modelos menores e mais baratos pode levar a erros que exigem correções caras posteriormente. O desafio central para os pesquisadores tem sido encontrar uma maneira de decidir dinamicamente qual modelo usar em cada momento específico, equilibrando a necessidade de resultados de alta qualidade com os limites de tempo e orçamento.

Uma equipe de pesquisadores desenvolveu um novo sistema chamado PROGROUTER para resolver exatamente este problema. Em vez de tomar uma decisão única no início de uma tarefa ou escalar cegamente para modelos mais poderosos quando algo dá errado, o PROGROUTER atua como um condutor inteligente que escuta o fluxo de trabalho em tempo real. Ele monitora constantemente quanto progresso a equipe fez, quão difíceis são as etapas restantes e quanto do orçamento foi gasto. Com base nessa avaliação ao vivo, ele seleciona o modelo mais apropriado para a próxima etapa, garantindo que modelos poderosos e caros sejam convocados apenas quando forem verdadeiramente necessários para superar um obstáculo específico. Essa abordagem permite que o sistema mantenha um alto desempenho enquanto reduz significicamente a energia total e o custo necessários para completar uma tarefa.

Os pesquisadores testaram este sistema em quatro tipos distintos de tarefas difíceis: escrever código de computador, resolver problemas matemáticos e responder a perguntas complexas que exigem a busca em grandes quantidades de informações. Eles compararam o PROGROUTER com vários métodos existentes, incluindo estratégias que sempre usam o mesmo modelo, estratégias que começam pequenas e só mudam para modelos maiores quando ficam travadas, e estratégias que dependem de suposições passadas sobre o que funciona melhor. Os resultados mostraram que estratégias fixas, fossem elas usando apenas modelos pequenos ou apenas modelos grandes, falharam consistentemente em cumprir os limites de energia e custo estabelecidos para os experimentos. Modelos pequenos frequentemente ficavam travados e exigiam muitas tentativas de correção, enquanto modelos grandes consumiam muita energia a cada chamada individual. Em contraste, o PROGROTEUR navegou com sucesso pelo meio-termo. Nos testes de escrita de código, alcançou uma taxa de sucesso de 93 por cento, mantendo-se dentro de um orçamento rigoroso de 4.800 joules. Nos problemas matemáticos, completou as tarefas em apenas 19 segundos usando apenas 6.112 joules de energia, superando todos os outros métodos que cumpriram as restrições de orçamento.

O que torna o PROGROUTER eficaz é sua capacidade de entender o "estado" do trabalho conforme ele acontece. O sistema utiliza um mecanismo de pontuação que observa o fluxo de trabalho sob múltiplas perspectivas. Ele verifica se o plano geral é válido, quantas subtarefas foram concluídas, se o trabalho está avançando ou estagnado e a qualidade da informação gerada até o momento. Ao combinar essas diferentes visões, o sistema consegue dizer se uma tarefa está quase terminada ou se está enfrentando um grande obstáculo. Quando o trabalho está progredindo suavemente, o sistema opta por modelos menores, mais rápidos e mais baratos para manter os custos baixos. No entanto, se o sistema detecta que o fluxo de trabalho está travado ou que resta uma etapa difícil, ele muda imediatamente para um modelo mais poderoso para impulsionar a tarefa adiante. Essa decisão é tomada instantaneamente e repetidamente ao longo de todo o processo, garantindo que nenhuma energia seja desperdiçada em esforços desnecessários e que nenhum tempo seja perdido em etapas que exigem mais inteligência do que o modelo atual pode fornecer.

O estudo também revelou que essa abordagem adaptativa funciona mesmo em situações abertas onde não há uma resposta clara de certo ou errado, como quando um sistema deve reunir informações da internet para escrever um relatório longo e detalhado. Nesses cenários, onde o progresso é mais difícil de medir, o PROGROUTER ainda conseguiu produzir os resultados de maior qualidade entre todos os métodos testados. Alcançou uma pontuação de precisão de 92,1 por cento nessas questões complexas, mantendo-se dentro de seus limites de energia. Os pesquisadores descobriram que o sistema aprendeu naturalmente a se especializar, usando modelos pequenos para a maioria das etapas rotineiras e reservando os maiores e mais capazes modelos para os momentos críticos onde seu poder extra faria uma diferença real. Esse comportamento dinâmico permitiu que o sistema evitasse as armadilhas comuns de outros métodos, como ficar preso em loops com modelos fracos ou esgotar um orçamento muito rapidamente com modelos poderosos.

Em última análise, o trabalho demonstra que o futuro da inteligência artificial eficiente não reside apenas na construção de melhores modelos, mas na construção de melhores formas de utilizá-los. Ao tratar a seleção de um modelo como uma decisão contínua e baseada em dados, em vez de uma escolha única, o PROGROUTER mostra que é possível alcançar resultados de alta qualidade sem os custos proibitivos que atualmente limitam a escalabilidade dessas tecnologias. O sistema prova que, com a orquestração correta, uma equipe de modelos diversos pode trabalhar junta de forma mais eficiente do que qualquer modelo único trabalhando sozinho, oferecendo um caminho para sistemas de IA mais sustentáveis e acessíveis que podem lidar com desafios complexos do mundo real sem esgotar seus recursos.