Resumo Técnico: EvoMAS

Declaração do Problema

Sistemas multiagente (MAS) baseados em Modelos de Linguagem de Grande Escala (LLM) demonstraram potencial em tarefas complexas por meio de especialização e raciocínio colaborativo. No entanto, os métodos atuais de design automatizado aderem amplamente a um paradigma de um único disparo (one-shot): um fluxo de trabalho é otimizado ou selecionado antes da execução e permanece estático durante toda a tarefa. Essa abordagem é inadequada para tarefas de longo horizonte, onde subobjetivos, evidências intermediárias e necessidades de informação evoluem ao longo de múltiplos estágios de execução. Confiar em uma única estratégia de coordenação fixa para ambientes dinâmicos é inerentemente subótimo.

O artigo identifica dois desafios fundamentais ao abordar essa limitação:

1. Construir um Estado de Tarefa Explícito no Tempo de Execução: Tarefas de longo horizonte exigem que o sistema mantenha um estado explícito que resuma o progresso da execução, artefatos intermediários e qualidade da solução para tomar decisões de coordenação fundamentadas. Sem isso, a adaptação do fluxo de trabalho carece de uma base concreta.
2. Adaptar Fluxos de Trabalho a Estados de Tarefa em Evolução: Diferentes estágios de execução impõem requisitos de coordenação heterogêneos (por exemplo, exploração versus refinamento). Um sistema deve construir dinamicamente fluxos de trabalho específicos para cada estágio, condicionados ao estado atual da tarefa, em vez de depender de um design estático.

Metodologia: EvoMAS

Os autores propõem o EvoMAS, um framework para construção de fluxo de trabalho multiagente no tempo de execução. O EvoMAS reformula a seleção de fluxo de trabalho como um problema de tomada de decisão sequencial em nível meta ao longo de uma única trajetória de tarefa.

1. Formalização (MDP em Nível Meta)

O EvoMAS modela o processo como um Processo de Decisão de Markov Meta (Meta-MDP) $M = (S^m, A^m, T^m, R^m)$:

• Estado Meta ($s^m_t$): Uma representação textual estruturada do progresso atual da tarefa, artefatos intermediários e feedback.
• Ação Meta ($a^m_t$): A seleção de um fluxo de trabalho multiagente concreto $G_t = (V_t, E_t)$, onde $V_t$ é um subconjunto de agentes de um pool fixo $\mathcal{P}$, e $E_t$ define o fluxo de informação (estrutura DAG em camadas).
• Transição: A execução de $G_t$ produz um resultado agregado $\xi_t$ (mensagens, observações de ferramentas, feedback de avaliador), que atualiza o estado meta por meio de uma função de transição.
• Objetivo: Aprender uma política $\pi_{wf}$ que maximize a recompensa meta acumulada esperada, utilizando principalmente o sucesso da tarefa terminal esparsa e verificável.

2. Componentes do Sistema

O EvoMAS opera por meio de três componentes principais:

• Construção do Estado da Tarefa (Pipeline Planejador–Avaliador–Atualizador):

  • Planejador: Mantém o plano de subtarefas, identificando subtarefas ativas e lidando com falhas ao anexar contexto para refinamento.
  • Avaliador: Avalia o resultado da execução anterior em relação à subtarefa ativa, produzindo veredictos (sucesso/falha/refinar), pontuações de confiança e feedback em linguagem natural.
  • Atualizador: Integra o estado anterior, o fluxo de trabalho executado e o registro de execução em um novo estado estruturado da tarefa $\tilde{s}_t$. Esse estado serve como contexto para os agentes e condiciona o adaptador de fluxo de trabalho.

• Construção de Fluxo de Trabalho no Tempo de Execução (Adaptador de Fluxo de Trabalho):

  • Dado o estado da tarefa $\tilde{s}_t$, um Adaptador de Fluxo de Trabalho instancia um fluxo de trabalho em camadas específico para o estágio a partir de um pool fixo de agentes candidatos.
  • O adaptador codifica o estado da tarefa e os embeddings dos agentes (derivados de função, capacidades e ferramentas).
  • Ele utiliza atenção cruzada para pontuar os agentes e emprega um mecanismo de amostragem suave de massa cumulativa para selecionar agentes para cada camada sem reposição, garantindo que o conjunto selecionado atinja um limiar de massa de probabilidade.
  • Isso permite que o mesmo agente apareça em múltiplas camadas ou metapassos, habilitando o refinamento iterativo.

• Otimização da Política de Fluxo de Trabalho:

  • Os parâmetros do adaptador são otimizados usando Aprendizado por Reforço (REINFORCE).
  • O sinal de supervisão primário é o sucesso esparsa da tarefa terminal (verificável por meio de avaliação em benchmarks), evitando a otimização direta contra julgamentos de avaliadores potencialmente enviesados.
  • Recompensas de processo (baseadas em avaliador) são analisadas separadamente como um auxílio para atribuição de crédito em regimes de recompensa extremamente esparsos.

Contribuições Principais

1. Reformulação do Paradigma: Os autores deslocam a construção automatizada de fluxo de trabalho multiagente de um design de um único disparo, no momento da inicialização, para um problema de tomada de decisão sequencial ocorrendo durante a execução da tarefa.
2. Framework no Tempo de Execução: O EvoMAS combina a construção explícita do estado da tarefa com um adaptador de fluxo de trabalho aprendido e condicionado ao estado, permitindo a reorganização dinâmica das estruturas de coordenação dos agentes à medida que a tarefa evolui.
3. Validação Empírica: O framework é validado em benchmarks complexos e multietapas (GAIA, HLE, DeepResearcher), demonstrando que a adaptação no tempo de execução supera tanto as linhas de base de agentes únicos quanto os métodos recentes de design automatizado de MAS.

Resultados Experimentais

Os experimentos foram conduzidos em GAIA (Níveis 1–3), HLE e DeepResearcher.

• Desempenho: O EvoMAS-7 (utilizando um pool de 7 agentes) alcançou uma taxa média de sucesso de 65,0, superando a linha de base automatizada de MAS mais forte (G-Designer/MaAS) em 30,2 pontos e a linha de base de agente único mais forte (GPT-4o) em 35,2 pontos.
• Generalização: O EvoMAS alcançou os melhores resultados em todos os quatro benchmarks avaliados, indicando ampla aplicabilidade em vez de sobreajuste específico ao benchmark.
• Estudos de Ablação:
  • Estado da Tarefa: A construção explícita do estado da tarefa no tempo de execução melhorou as taxas de sucesso mesmo quando a estrutura do fluxo de trabalho era fixa, destacando o valor da contabilidade estruturada para artefatos intermediários e revisões de subobjetivos.
  • Aprendizado com Recompensas Esparsas: O Adaptador de Fluxo de Trabalho aprendeu com sucesso políticas eficazes usando apenas recompensas terminais esparsas, com desempenho melhorando consistentemente nos Níveis 1 e 2 do GAIA.
  • Recompensa de Processo: Recompensas de processo baseadas em avaliador foram consideradas desnecessárias para tarefas padrão, mas cruciais para configurações "muito difíceis" (por exemplo, Nível 3 do GAIA, BrowserComp), onde o sucesso terminal é excessivamente esparsa para fornecer sinais de aprendizado.
  • Sensibilidade à Arquitetura Base: LLMs subjacentes mais fortes (por exemplo, GPT-4o versus GPT-4o-mini) melhoraram ainda mais o desempenho, sugerindo que o EvoMAS é complementar às melhorias na arquitetura base.

Significado e Afirmações

O artigo afirma que o EvoMAS aborda a rigidez dos sistemas multiagente atuais ao permitir adaptação consciente da execução. Ao tratar a seleção de fluxo de trabalho como um problema de decisão sequencial condicionado a um estado explícito da tarefa, o EvoMAS permite que os sistemas alternem entre aquisição de informação, refinamento, agregação e terminação conforme necessário.

Os autores enfatizam que sua abordagem fornece benefícios complementares tanto da construção explícita de estado quanto da adaptação aprendida de fluxo de trabalho. Eles observam que, embora o framework atual assuma um pool de candidatos fixo e profundidade máxima, ele estabelece uma base para trabalhos futuros em criação de agentes de forma aberta e adaptação dinâmica de profundidade. O estudo sugere que, para tarefas de dificuldade moderada, recompensas terminais esparsas são suficientes para o treinamento, enquanto recompensas de processo servem como uma ferramenta especializada para esparsidade extrema.