Resumo Técnico: FUTUREWEAVER

Definição do Problema

Embora o escalonamento da computação em tempo de teste tenha se mostrado eficaz para melhorar o desempenho de Grandes Modelos de Linguagem (LLMs) em configurações de agente único (por exemplo, via autocorreção, verificação iterativa ou amostragem Best-of-N), estender essas técnicas para sistemas multiagentes apresenta desafios únicos. As abordagens existentes frequentemente dependem de paradigmas rígidos de orquestrador-trabalhador que executam agentes sequencialmente, falhando em explorar sinergias entre agentes heterogêneos. Além disso, os métodos atuais carecem de mecanismos principados para alocação de computação sob restrições orçamentárias estritas. Eles frequentemente otimizam dentro de estruturas de inferência fixas ou falham em tratar a inferência como um problema de planejamento de trajetória sobre um espaço combinatório. Consequentemente, os sistemas podem investir excessivamente em etapas iniciais de baixo impacto ou investir insuficientemente em etapas críticas de coordenação posterior, levando a um desempenho subótimo mesmo quando há orçamento disponível.

Metodologia: FUTUREWEVER

O artigo propõe o FUTUREWEAVER, um framework projetado para otimizar a alocação de computação em tempo de teste em sistemas multiagentes sob orçamentos fixos. O framework integra três componentes principais:

1. Módulos de Colaboração

Para ir além da execução sequencial de um agente por vez, os autores introduzem módulos de colaboração. Estes são módulos funcionais, chamáveis, que encapsulam estratégias de coordenação de alto nível entre múltiplos agentes (por exemplo, "pesquisar e depois navegar" ou "raciocínio de ensemble").

• Abstração: Os módulos são formalizados como $m = (S, \kappa)$, onde $S$ é um subconjunto de agentes trabalhadores e $\kappa$ é uma estratégia de coordenação.
• Descoberta: Os módulos não são desenhados manualmente, mas são automaticamente induzidos via Reflexão de Self-Play (Auto-jogo). O sistema executa trajetórias em tarefas de validação, identifica padrões de interação recorrentes que levam ao sucesso e os abstrai em módulos reutilizáveis.
• Espaço de Ação: O espaço de ação do orquestrador é expandido para incluir tanto agentes base individuais quanto esses módulos de colaboração ($A' = A \cup M$).

2. Arquitetura de Planejamento de Nível Duplo

Para navegar no espaço combinatório de invocações de agentes/módulos sob um orçamento rígido, o FUTUREWEAVER emprega uma estratégia de planejamento de nível duplo inspirada em busca A* e decodificação especulativa:

• Planejamento de Curto Horizonte (Ganho Local): Avalia a promessa imediata de uma ação candidata $\alpha_t$. Calcula um escore de ganho $g(\alpha_t)$ baseado em:

  • Autoconsistência (SC): Mede o consenso local entre ações amostradas para mensurar a confiança.
  • Prior de Desempenho (PP): Um escore de confiabilidade empírica derivado das taxas de sucesso de trajetórias históricas semelhantes encontradas no buffer de experiência.
  • O ganho é computado como a média geométrica: $g(\alpha_t) = \sqrt{SC(\alpha_t) \cdot PP(\alpha_t)}$.

• Planejamento de Longo Horizonte (Viabilidade Global): Realiza um lookahead abstrato para estimar se uma ação candidata pode levar a uma trajetória bem-sucedida dentro do orçamento restante.

  • O orquestrador gera trajetórias especulativas simbolicamente (sem executar agentes) representando potenciais sequências futuras de módulos.
  • Utilizando estimativas de custo derivadas de self-play, trajetórias que excedem o orçamento restante são filtradas.
  • Um escore de viabilidade $h(\alpha_t)$ é calculado com base na proporção de ações candidatas que admitem continuações compatíveis com o orçamento.
  • Este escore guia ativamente o planejador de curto horizonte, garantindo que as decisões locais estejam alinhadas com a viabilidade global.

• Seleção: A utilidade final é $f(\alpha_t) = g(\alpha_t) + h(\alpha_t)$. A ação com a maior utilidade é selecionada, equilibrando o progresso imediato com a conformidade orçamentária de longo prazo.

3. Reflexão de Self-Play

Este processo offline e iterativo serve como o motor do framework:

• Ele gera trajetórias de execução em um subconjunto de tarefas de validação para construir um buffer de experiência.
• Ele fornece estimativas de custo (calculadas pela média observada entre subtarefas) e estimativas de desempenho (taxas de sucesso de trajetória) tanto para agentes base quanto para módulos descobertos.
• Ele impulsiona a descoberta de módulos de colaboração ao analisar trajetórias bem-sucedidas em busca de padrões recorrentes.

Resultados Experimentais

Os autores avaliaram o FUTUREWEAVER em três benchmarks: GAIA (tarefas de assistente de IA geral), BrowseComp-Plus (navegação web) e BigCodeBench (codificação). Eles o compararam com workflows fixos (ADAS, AFlow), ReAct padrão com escalonamento de tempo de teste (Best-of-N, Verificação Iterativa) e ReAct com módulos de colaboração (Consciente/Inconsciente de Orçamento).

• Desempenho: O FUTUREWEAVER superou consistentemente todos os baselines em diversos cenários de orçamento nos três benchmarks. Por exemplo, no GAIA com modelos Claude, alcançou 4get 48,15% de precisão com um orçamento de 0,5, comparado aos 38,27% da melhor variante de ReAct.
• Utilização de Orçamento: Ao contrário dos baselines que frequentemente subutilizam os orçamentos disponíveis (com o custo total estabilizando muito abaixo da restrição), o FUTUREWEVER utiliza o orçamento de forma agressiva e eficaz, traduzindo recursos de computação diretamente em ganhos de desempenho.
• Análise de Componentes: Estudos de ablação mostraram que, embora o planejamento de curto prazo sozinho fornecesse um aumento, e o planejamento de longo prazo sozinho performasse ligeiramente melhor em orçamentos mais altos, a combinação de nível duplo produziu os melhores resultados, confirmando a necessidade de integrar sinais locais e globais.

Significância e Alegações

O artigo afirma que o FUTUREWEAVER aborda uma lacuna crítica em sistemas multiagentes: a falta de mecanismos principados para alocação de computação sob restrição de orçamento e colaboração eficaz.

• Contribuição Principal: O trabalho formula a otimização multiagente como um problema de planejamento de trajetória sobre um espaço combinatório de invocações de agentes e módulos, em vez de um simples problema de alocação de recursos.
• Inovação: Ao tratar a coordenação como um problema de chamada de função com módulos automaticamente induzidos e ao empregar um planejador de nível duplo que acopla lookahead com geração de candidatos, o framework permite que os sistemas decidam dinamicamente quando e como invocar colaborações complexas.
• Resultado: Os resultados demonstram que a colaboração estruturada e o planejamento prospectivo são essenciais para converter orçamentos de computação fixos em desempenho multiagente eficaz, oferecendo uma direção promissora para a construção de sistemas mais adaptáveis e eficientes em termos de computação.

Os autores permanecem modestos quanto às implicações futuras, focando estritamente na validação da eficácia de seu framework para otimização de inferência em colaboração multiagente sob restrições rigorosas.