💬 NLP

Global Optimization and Inference-Time Region Grafting for Agentic Workflows

O artigo introduz o GRAFT, um método livre de treinamento que permite que fluxos de trabalho agênticos substituam adaptativamente regiões de execução falhas por alternativas melhores usando sinais de qualidade sem rótulos, alcançando assim a otimização por instância e o desempenho aprimorado em diversas tarefas sem exigir a reotimização computacionalmente cara de todo o fluxo de trabalho.

Autores originais: Donghyeok Koh, Gyuwan Kim, Jinyeong Bak, Seung-Hoon Na, Tao Yang, Haneol Jang, Cheoneum Park

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Donghyeok Koh, Gyuwan Kim, Jinyeong Bak, Seung-Hoon Na, Tao Yang, Haneol Jang, Cheoneum Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando resolver um quebra-cabeça gigante e complexo. No mundo da inteligência artificial, esses quebra-cabeças são chamados de "fluxos de trabalho de agentes" (agentic workflows). Em vez de apenas pedir a um computador inteligente para "resolver isto", damos a ele uma receita específica — um plano passo a passo envolvendo diferentes ferramentas, como pesquisar fatos, planejar com antecedência, verificar o próprio trabalho e refinar a resposta. Pense nisso como uma cozinha onde um chef principal (a IA) não apenas cozinha; ele tem um subchefe para picar, um provador para verificar e um planejador para organizar o menu.

Por muito tempo, cientistas tentaram encontrar a receita perfeita para cada tipo de quebra-cabeça. Eles realizam milhares de testes offline para determinar a melhor ordem dos passos. Mas aqui está o problema: nem todo quebra-cabeça é igual. Um problema matemático simples pode precisar apenas de uma picada rápida, enquanto uma questão de história complicada pode exigir um mergulho profundo e uma dupla verificação. Se você usar a mesma receita rígida para todos os quebra-cabeças, pode ficar travado ou cometer um erro bobo porque o plano não foi flexível o suficiente para aquele momento específico. A grande questão é: Podemos manter uma ótima receita pré-planejada e, ainda assim, ajustar os passos enquanto estamos cozinhando, apenas para o prato específico que estamos fazendo agora, sem ter que começar do zero?

Isso é exatamente o que o artigo "Global Optimization and Inference-Time Region Grafting for Agentic Workflows" aborda. Os autores introduzem um novo sistema chamado GRAFT. Em vez de forçar a IA a seguir um plano fixo ou reinventar a roda inteira para cada pergunta, o GRAFT atua como um mestre chef que tem uma "receita de ouro" para um tipo específico de refeição, mas está disposto a trocar apenas um ou dois ingredientes se o teste de sabor disser que eles são necessários.

Veja como isso funciona no mundo real do artigo: Primeiro, o sistema encontra um fluxo de trabalho globalmente otimizado (a "receita de ouro") para toda uma categoria de tarefas, como matemática ou programação, usando métodos de teste padrão. Isso acontece antes de a IA começar a responder às perguntas. Em seguida, quando uma pergunta específica chega, o GRAFT não executa a receita cegamente. Ele divide a receita em pequenas seções autossuficientes chamadas "regiões". Enquanto a IA trabalha no problema, ela verifica cada região. Se uma região (como a etapa de "raciocínio") parecer estar com dificuldades ou produzindo um resultado fraco, o GRAFT substitui essa seção específica por uma versão melhor sobre a hora.

Crucialmente, essa troca acontece sem a necessidade de saber a resposta correta antecipadamente (o que geralmente é impossível durante o uso em tempo real). Em vez disso, o sistema usa sinais inteligentes "livres de rótulos" (label-free) para julgar a qualidade. Por exemplo, na matemática, ele pode executar o mesmo problema de cinco maneiras diferentes e ver se todas concordam (uma técnica chamada autoconsistência). Na programação, ele pode executar o código para ver se ele passa nos testes. Se uma nova versão de uma etapa parecer melhor e não quebrar a conexão com a próxima etapa, o GRAFT a "enxerta" (grafts). Se não, ele mantém a original. Isso acontece instantaneamente para cada entrada.

O artigo mostra que essa abordagem é um divisor de águas. Quando testado em cinco diferentes benchmarks, variando de problemas matemáticos (como GSM8K e MATH) a tarefas de programação (HumanEval) e questões complexas (HotpotQA), o GRAFT superou o método anterior, chamado MaAS, em uma média de 3,85 pontos. No mundo dos benchmarks de IA, esse é um salto massivo. Por exemplo, no conjunto de dados de matemática GSM8K, o GRAFT obteve uma pontuação de 95,04, superando o próximo melhor método, que obteve 92,30.

Os autores também descobriram algo fascinante sobre a própria "receita". Eles descobriram que um fluxo de trabalho otimizado não é apenas um conjunto estático de instruções; é uma política flexível. Mesmo que eles trocassem o "chef" (o modelo de IA subjacente) por um mais forte sem alterar o fluxo de trabalho, o desempenho aumentaria. Isso sugere que um bom fluxo de trabalho é adaptável; ele pode evoluir e melhorar apenas tendo uma ferramenta mais inteligente para realizar o trabalho, sem precisar ser redesenhado.

No entanto, o artigo é cuidadoso ao notar onde essa magia funciona e onde ela encontra um limite. Os sinais "livres de rótulos" usados para julgar o trabalho de qualidade funcionam muito bem para matemática e código, onde a resposta é certa ou errada. Mas para questões de conhecimento complexas (como aquelas sobre história ou ciência), os sinais são menos confiáveis e o sistema não melhora tanto. Os autores sugerem que, embora o GRAFT seja uma forma poderosa de adaptar fluxos de trabalho em tempo real, ele depende fortemente da capacidade de verificar a qualidade de uma etapa sem saber a resposta final.

Em resumo, o GRAFT prova que você não precisa escolher entre uma estratégia rígida e pré-planejada e uma abordagem caótica de "inventar na hora". Ao enxertar pequenos ajustes inteligentes sobre uma base sólida, os agentes de IA podem se tornar mais robustos, eficientes e precisos, resolvendo problemas que anteriormente eram complicados demais para um plano de tamanho único.

Resumo Técnico: GRAFT para Otimização de Fluxos de Trabalho Agênticos

1. Declaração do Problema

Avanços recentes em fluxos de trabalho agênticos estabeleceram métodos automatizados para o design de fluxos de trabalho específicos para tarefas por meio de busca offline ou seleção de arquitetura (ex: AFlow, MaAS). No entanto, essas abordagens sofrem de uma limitação fundamental: elas determinam uma estrutura de fluxo de trabalho única e fixa antes da execução. Essa abordagem estática não leva em conta a variabilidade na dificuldade e nos requisitos de raciocínio entre entradas individuais. Por exemplo, um problema aritmético simples pode exigir um único passo de raciocínio, enquanto um problema composicional complexo necessita de decomposição, verificação e re-raciocínio.

Tentar reotimizar todo o fluxo de trabalho para cada entrada no momento da inferência é computacionalmente proibitivo devido ao espaço de busca exponencial de combinações de operadores. Além disso, métodos offline dependem de rótulos de verdade fundamental (ground-truth) para otimização, que não estão disponíveis durante a inferência. Sem feedback externo, confiar apenas em um LLM para avaliar e revisar seu próprio raciocínio pode ser pouco confiável. Adicionalmente, sistemas multiagentes enfrentam a "interferência entre regiões", onde a substituição local de um componente pode alterar as entradas subsequentes e degradar o resultado final, mesmo que o componente local seja melhorado.

2. Metodologia: GRAFT

Para enfrentar esses desafios, os autores introduzem o GRAFT (Global Optimization and Inference-Time Region Grafting), um framework livre de treinamento que preserva um fluxo de trabalho globalmente otimizado enquanto permite a adaptação por instância através da substituição de regiões locais.

Arquitetura Central

Prior de Fluxo de Trabalho Global: O GRAFT começa com um fluxo de trabalho global específico para a tarefa ( $W_c^*$ ) pesquisado offline. Este fluxo de trabalho é estruturado como uma sequência de regiões de Entrada Única e Saída Única (SESE). Cada região corresponde a um papel específico (ex: planejar, evidência, raciocinar, verificar) e contém um espaço de candidatos local de operadores.
Enxerto Local no Momento da Inferência: Para cada entrada, o GRAFT não reotimiza todo o grafo. Em vez disso, ele identifica regiões que exigem adaptação e explora um pequeno espaço de candidatos local restrito ao papel daquela região.
Avaliação Livre de Rótulos: Como a verdade fundamental não está disponível na inferência, o GRAFT avalia os candidatos usando sinais proxy livres de rótulos:
- Autoconsistência: Acordo entre múltiplas cadeias de raciocínio.
- Fundamentação (Groundedness): A extensão em que uma resposta é suportada pela evidência fornecida (cobertura lexical de palavras de conteúdo).
- Sinais de Verificador: Taxas de aprovação de testes de código ou julgamentos baseados em LLM.
Guarda de Acoplamento (Coupling Guard): Para evitar a "interferência entre regiões", uma guarda de acoplamento aceita uma substituição apenas se ela melhorar a qualidade local e preservar o suporte de fronteira (consistência com a evidência anterior) dentro de uma tolerância $\epsilon$ . Isso garante que melhorias locais não degradem a consistência global do fluxo de trabalho.
Memória e Amortização: As configurações vencedoras são armazenadas em uma memória indexada por assinaturas de tipo de entrada. Para entradas subsequentes, o GRAFT recupera essas configurações, evitando a necessidade de pesquisa local repetida e amortizando o custo computacional.

Fluxo Algorítmico

Fase Offline: Um fluxo de trabalho global é construído selecionando operadores para cada região para maximizar o desempenho em um conjunto de validação, equilibrando qualidade e custo de tokens.
Fase Online:
- O sistema processa as regiões em ordem de precedência (upstream-first).
- Ele tenta recuperar uma configuração ótima conhecida da memória.
- Se não houver correspondência ou se a configuração recuperada falhar nos alvos de qualidade, uma pesquisa local é realizada sobre o espaço de candidatos da região.
- Os candidatos são avaliados usando o proxy livre de rótulos e a guarda de acoplamento.
- As configurações aceitas atualizam o estado do fluxo de trabalho e a memória; as regiões subsequentes são marcadas como "obsoletas" (stale) para reavaliação em passagens subsequentes.
- O processo termina quando não ocorrem mais mudanças ou os alvos de qualidade são atingidos.

3. Principais Contribuições

Paradigma de Adaptação no Momento da Inferência: O GRAFT propõe um framework que trata um fluxo de trabalho não como um artefato estático, mas como uma política de execução adaptável. Ele reotimiza estruturas de nível de região para cada entrada sem atualizações de gradiente ou retreinamento.
Mecanismo de Otimização Local Livre de Rótulos: O design introduz proxies específicos (autoconsistência, fundamentação, sinais de verificador) e uma guarda de acoplamento para permitir pesquisa local confiável sem verdade fundamental, garantindo que melhorias locais não comprometam a consistência global.
Desempenho de Estado da Arte: O método alcança desempenho superior em diversas tarefas, demonstrando que um fluxo de trabalho otimizado pode evoluir com feedback no momento da inferência e executores mais fortes.

4. Resultados Experimentais

Os autores avaliaram o GRAFT em cinco benchmarks abrangendo raciocínio matemático (GSM8K, MATH, MultiArith), geração de código (HumanEval, MBPP), QA de múltiplos saltos (HotpotQA, DROP) e QA intensivo em conhecimento (MMLU-Pro, GPQA).

Ganhos de Desempenho: Sob configurações de otimizador e executor correspondentes (usando GPT-4o-mini), o GRAFT alcançou uma pontuação média de 87,44, superando o método anterior mais forte, MaAS, por 3,85 pontos. Também superou o AFlow em 5,19 pontos.
Estudos de Ablação:
- Remover o enxerto local (executando o fluxo de trabalho global inalterado) resultou em uma queda significativa de desempenho (média de -4,10), confirmando que os ganhos derivam da adaptação no momento da inferência.
- Substituir os proxies livres de rótulos por pontuações aleatórias causou uma queda semelhante, validando a eficácia dos sinais proxy.
- Remover a guarda de acoplamento levou a uma queda menor, porém consistente, destacando seu papel na prevenção de interferência.
Transferência de Executor: Quando o modelo executor foi trocado por um mais forte (ex: de GPT-4o-mini para Claude Sonnet) sem reotimizar o fluxo de trabalho global, o GRAFT alcançou ganhos substanciais. Isso sugere que o fluxo de trabalho otimado atua como uma política flexível que se adapta a modelos mais fortes.
Eficiência: A memória de configuração reduziu significativamente os custos de pesquisa. Para tarefas com tipos de entrada uniformes (ex: GSM8K), as taxas de reuso de memória atingiram 0,86–0,92, amortizando efetivamente o custo da pesquisa local entre as entradas.

5. Significância e Alegações

O artigo afirma que o GRAFT demonstra que um fluxo de trabalho otimizado não é meramente um artefato de otimização estática, mas uma política de execução adaptável. Ao desacoplar a otimização estrutural global da adaptação local por instância, o GRAFT permite que os sistemas lidem com a variabilidade de entradas individuais sem o custo proibitivo de uma reotimização total. O framework prova que fluxos de trabalho agênticos de alto desempenho podem ser alcançados sem treinamento, baseando-se, em vez disso, em uma combinação de busca global offline e refinamento local online livre de rótulos. Os resultados sugerem que sistemas agênticos futuros podem evoluir dinamicamente, aproveitando executores mais fortes e feedback no momento da inferência para melhorar o desempenho em uma base por instância.