Resumo Técnico: Evoflux

Declaração do Problema

O artigo aborda as limitações de modelos de linguagem compactos (1,5B–4B de parâmetros) quando implantados como agentes de uso de ferramentas em ambientes dinâmicos e em tempo real, como o Model Context Protocol (MCP). Embora os modelos compactos ofereçam vantagens em custo, latência e privacidade, eles são frágeis na construção de fluxos de trabalho executáveis. Pequenos planejadores frequentemente geram grafos que parecem plausíveis textualmente, mas falham durante a resolução de ferramentas, validação de parâmetros, rastreamento de dependências ou execução.

Os autores argumentam que abordagens padrão de destilação (Supervised Fine-Tuning ou SFT, e Direct Preference Optimization ou DPO) são insuficientes neste regime. O treinamento em um orçamento escasso de traços de professores (algumas centenas) ensina formatos de fluxo de trabalho superficiais, mas falha em capturar os comportamentos de recuperação necessários para reparar planos quando os catálogos de ferramentas mudam ou a execução falha. Além disso, o esquecimento catastrófico em o ajuste de instrução contínua estreita apresenta riscos para modelos compactos. A questão central é se o computo deve ser gasto em atualizações de pesos (treinamento) ou em reparo em tempo de inferência (busca) dado o mesmo orçamento de supervisão escassa.

Metodologia: Evoflux

Os autores introduzem o Evoflux, um procedimento de busca evolutiva em tempo de inferência projetado para tratar o uso de ferramentas compacto como um problema de reparo de fluxo de trabalho executável, em vez de uma tarefa de geração de passo único.

Mecanismo Central

O Evoflux opera como um loop evolutivo delimitado onde o modelo compacto atua como um operador de proposta dentro de um ciclo de reparo, em vez de um gerador estático.

1. Representação: Os planos são representados como grafos de fluxo de trabalho tipados contendo nós de ferramentas, arestas de dependência, nós validadores e saídas terminais.
2. Pontuação Baseada em Execução: Os candidatos não são pontuados apenas pela validade sintática. Eles são compilados, validados contra esquemas de ferramentas e executados em um ambiente vivo ($E$). Uma pontuação escalar é derivada de um juiz LLM (MCP-Bench LLMJUDGE) baseada em seis subdimensões: cumprimento da tarefa, fundamentação, adequação da ferramenta, precisão de parâmetros, consciência de dependência e paralelismo/eficiência.
3. Loop Evolutivo:
   • Inicialização: O planejador tenta gerar um fluxo de trabalho viável com tentativas, usando erros de execução como contexto para tentativas subsequentes.
   • Mutação & Edição: O sistema evolui a população de grafos candidatos através de uma linguagem de edição tipada finita que espelha modos comuns de falha:
     • Trocas de Ferramentas (Tool Swaps): Substituição de ferramentas indisponíveis.
     • Edições de Parâmetros: Correção de erros de esquema ou vinculação de argumentos a saídas anteriores.
     • Inserção/Remoção: Adição de etapas de coleta de evidências ou remoção de etapas redundantes.
     • Reordenação: Correção de estruturas de dependência.
   • Intensidade Adaptativa: Uma estatística de crescimento ($G$) monitora o progresso recente. Se o progresso estagnar, a intensidade da busca aumenta, disparando mutações mais exploratórias (edições aleatórias) e potencialmente Meta Orientação (Meta Guidance).
   • Meta Orientação: Quando a mutação local estagna, o planejador é solicitado a realizar um redesenho de alto nível (ex: substituir um caminho de servidor único por um fluxo de trabalho entre servidores) usando o melhor candidato atual e os membros mais fracos da população como contexto.
   • Poda de Diversidade: A população é limitada ($K$) e podada usando agrupamento por hash de ação para evitar o colapso em fluxos de trabalho quase duplicados, preservando variantes de alta pontuação.

Baselines de Treinamento

Para avaliar o trade-off, os autores comparam o Evoflux contra:

• Decodificação Zero-shot.
• Supervised Fine-Tuning (SFT) em traços minerados de busca.
• SFT + Direct Preference Optimization (DPO) usando preferências pareadas dos mesmos dados de busca.
• ReAct: Um baseline de raciocínio e ação sequencial.

Todos os baselines de treinamento utilizam o mesmo orçamento limitado de traços minerados de busca para garantir uma comparação justa entre atualizações de peso e busca em tempo de inferência.

Principais Resultados

A avaliação foi conduzida em tarefas de teste (held-out) do MCP-Bench, que abrange 28 servidores MCP ao vivo e 250 ferramentas em vários domínios.

1. Viabilidade de Execução: O Evoflux melhora significamente a viabilidade de execução para pequenos planejadores. Em tarefas de teste, a viabilidade subiu de um baseline de aproximadamente 3% para 17–24% em modelos como Llama-3.2-3B, Qwen3.5-4B e SmolLM3-3B.
2. Falha do Treinamento de Pequeno Corpus: Em contraste com o Evoflux, o SFT e o SFT+DPO no mesmo conjunto de dados minerados de busca falharam em fornecer ganhos confiáveis. Em vários casos, os checkpoints treinados igualaram ou tiveram desempenho inferior ao baseline zero-shot. Notavelmente, o modelo Qwen3.5-4B treinado com SFT+DPO sofreu um "colapso de planejamento", falhando em emitir planos utilizáveis e recorrendo a heurísticas, resultando em uma viabilidade menor do que o modelo zero-shot não treinado.
3. Comparação com ReAct: O ReAct alcançou um desempenho de pico mais alto em planejadores mais fortes (ex: Qwen3.5-4B), mas exibiu maior variância e custos de tokens significativamente mais altos devido ao acúmulo de contexto em trajetórias longas. O Evoflux proporcionou melhorias mais estáveis e previsíveis com um orçamento de tokens menor.
4. Eficiência de Tokens: Embora o Evoflux incorra em custos de tokens mais altos do que a inferência de passagem única (SFT/Zero-shot), ele é mais eficiente em termos de tokens do que o ReAct. O processo de busca concentra os custos em tokens de prompt para avaliação de candidatos, enquanto os custos do ReAct escalam rapidamente com o comprimento da trajetória.

Significância e Alegações

O artigo afirma que, para agentes compactos operando sob orçamentos escassos de traços de professor, a busca baseada em execução é um alavancagem mais confiável para melhorar o desempenho do que as atualizações de peso.

• Reparo sobre Imitação: Os resultados sugerem que o fine-tuning de pequeno corpus frequentemente leva a uma imitação superficial de formas de fluxo de trabalho sem internalizar os processos de reparo adaptativos necessários para uma execução robusta.
• Computo em Tempo de Inferência: Gastar computação online para reparar, mutar e validar fluxos de trabalho contra catálogos de ferramentas ao vivo produz uma generalização melhor para tarefas não vistas do que tentar destilar esses comportamentos de reparo nos pesos do modelo com dados limitados.
• Mitigação de Riscos: O estudo destaca um risco específico no implante de agentes compactos: treinar em conjuntos de dados minerados de busca pequenos pode degradar o desempenho (colapsar abaixo do zero-shot), em vez de melhorar, tornando a evolução em tempo de inferência uma estratégia mais segura e eficaz para garantir a confiabilidade executável.

Os autores concluem que, embora a destilação em maior escala ainda possa ser viável com conjuntos de dados massivos, o regime atual de traços escassos favorece a busca evolutiva em tempo de inferência para a construção de fluxos de trabalho de ferramentas executáveis e confiáveis.