Resumo Técnico: Compilando Fluxos de Trabalho Agênticos em Pesos de LLM

Declaração do Problema

Frameworks de orquestração de agentes (por exemplo, LangGraph, CrewAI, OpenAI Agents SDK) proliferaram, coletivamente excedendo 290.000 estrelas no GitHub. Esses sistemas dependem de um orquestrador externo que se situa acima do Modelo de Linguagem de Grande Escala (LLM), injetando instruções e tomando decisões de roteamento a cada passo. Embora trabalhos recentes sugiram que, para tarefas procedimentais, simplesmente fornecer toda a procedura no prompt de sistema de um modelo de fronteira (prompting em contexto) supera a orquestração, essa abordagem sofre de três limitações críticas:

1. Custo: Requer um modelo de fronteira para cada conversa e infla o consumo de tokens ao incorporar a procedura em cada chamada de API.
2. Janela de Contexto: Consome capacidade significativa da janela de contexto.
3. Privacidade: Expõe procedimentos proprietários a provedores de terceiros.

A alternativa — compilar a procedura nos pesos de um modelo pequeno e ajustado (criando um "agente subterrâneo") — foi explorada em trabalhos acadêmicos anteriores (por exemplo, SimpleTOD, FireAct, SynTOD), mas teve baixa adoção por desenvolvedores. Este artigo identifica três barreiras percebidas para a adoção: Qualidade (um modelo pequeno pode igualar um modelo de fronteira?), Custo (hospedagem própria é realmente mais barata?) e Flexibilidade (o retreinamento é proibitivamente lento?).

Metodologia

Os autores propõem uma arquitetura "subterrânea" onde o orquestrador é usado apenas durante a geração de dados de treinamento, não em tempo de execução. O pipeline envolve:

1. Definição de Procedura: Representar fluxos de trabalho como grafos direcionados ($F = (N, E, n_0, T)$) com nós (turnos de agente/usuário) e arestas (transições).
2. Geração de Dados Sintéticos: Percorrer todos os caminhos válidos através do fluxograma para gerar conversas sintéticas usando um modelo de fronteira (Claude Sonnet 4.5). O modelo gera diálogo turno a turno com base em modelos de prompt de nó e no histórico completo da conversa.
3. Ajuste Fino de Parâmetros Completos: Ajustar finamente modelos pequenos (3B e 8B parâmetros) nessas conversas sintéticas usando atualizações de parâmetros completos (rejeitando métodos de baixo rank como LoRA, que o trabalho anterior dos autores [Dennis et al., 2026b] encontrou insuficiente para internalização procedimental).
4. Implantação em Tempo de Execução: O modelo compilado executa sem qualquer orquestrador externo, recebendo apenas um prompt de sistema mínimo. A procedura é implícita nos pesos do modelo.

Configuração de Avaliação:
O estudo avalia três domínios com complexidade crescente:

• Reserva de Viagens: 14 nós, 3 hubs de decisão, 86 caminhos únicos.
• Suporte Zoom: 14 nós, estrutura paralela, exigindo conhecimento específico do produto (interface, códigos de erro).
• Sinistros de Seguro: 55 nós, 6 hubs de decisão, 2.381 caminhos únicos, testando escalabilidade.

Baselines:

• Orquestrador LangGraph: Usa Claude Sonnet 4.5 com rastreamento de estado explícito baseado em fluxograma (a baseline de modelo de fronteira).
• Baseline em Contexto: Claude Sonnet 4.5 com o fluxograma serializado no prompt de sistema.
• Orquestrador do Mesmo Modelo: Um modelo de 3B com orquestração explícita (usado para isolar o efeito da compilação).

Métricas:
Conversas são pontuadas (escala 1–5) em Sucesso da Tarefa, Precisão da Informação, Consistência, Tratamento Elegante e Naturalidade usando uma abordagem de LLM como juiz (Claude Sonnet 4.5 e GPT-4.1).

Resultados Principais

1. Qualidade

• Compilação vs. Orquestração do Mesmo Modelo: Uma comparação controlada na tarefa de Viagens mostrou que um modelo compilado de 3B superou significativamente um modelo de 3B com orquestração explícita em quatro de cinco métricas (Sucesso da Tarefa, Consistência, Tratamento Elegante, Naturalidade; $p < 0.001$).
• Modelo Pequeno vs. Orquestrador de Fronteira:
  • Viagens (3B): O modelo compilado de 3B igualou o orquestrador LangGraph em Sucesso da Tarefa e Consistência, mas ficou atrás em Tratamento Elegante e Naturalidade (atingindo ~82% da qualidade em contexto).
  • Zoom & Seguro (8B): Escalar para um modelo de 8B fechou a lacuna. O modelo compilado de 8B alcançou 87–98% da qualidade da baseline de fronteira em contexto. Em sinistros de seguro, superou o orquestrador LangGraph (construído em um modelo ~70× maior) em Tratamento Elegante e Naturalidade.
• Taxas de Falha: Modelos compilados exibiram taxas de falha menores que o orquestrador LangGraph em Viagens (5,5% vs. 24%) e Seguro (9% vs. 17%), em grande parte porque eliminam erros de roteamento inerentes à orquestração em nível de nó.

2. Custo

Modelos compilados são 128–462× mais baratos por conversa que a baseline em contexto.

• Redução por Token: Hospedar um modelo de 8B em hardware comercial (A100) é ~65× mais barato por token que as taxas de API de fronteira.
• Redução de Volume de Tokens: A baseline em contexto deve incluir a procedura completa em cada prompt (sobrecarga escalando 2× a 7× com complexidade). O prompt do modelo compilado é de tamanho constante.
• Ponto de Equilíbrio: O custo único de compilação (~$50–80) é recuperado dentro de 500 conversas.

3. Flexibilidade

O ciclo de recompilação (geração de dados, ajuste fino, avaliação) leva 30–50 minutos em hardware de produção (8× H200) ou 3–4 horas em um único A100. Isso é comparável a um ciclo padrão de construção CI/CD, refutando a suposição de que o retreinamento é um esforço paradigmático, proibitivamente longo.

Significado e Alegações

O artigo argumenta que as barreiras percebidas para compilar fluxos de trabalho agênticos são menores do que comumente assumido:

• Lacuna de Qualidade: A lacuna entre um modelo compilado de 8B e uma baseline de fronteira em contexto é pequena (87–98%), e o modelo compilado frequentemente supera um modelo de fronteira orquestrado via LangGraph.
• Lacuna de Custo: A vantagem de custo é de duas ordens de grandeza e cresce com a complexidade da procedura, pois o tamanho do prompt do modelo compilado permanece constante enquanto o prompt em contexto cresce.
• Lacuna de Flexibilidade: A adaptação é um ciclo de implantação (CI/CD), não um gargalo de retreinamento.

Os autores concluem que, para conhecimento procedimental que requer persistência além do contexto de uma única conversa, "estrutura persistente pertence aos pesos, estado transitório pertence ao prompt." A compilação é apresentada como a solução natural para tarefas procedimentais, oferecendo qualidade próxima à de fronteira a uma fração do custo e latência, enquanto evita modos de falha estrutural da orquestração externa (raciocínio fragmentado, erros de roteamento e estilo conversacional restrito).