FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

1. Declaração do Problema

Os Modelos de Linguagem Grandes (LLMs) são cada vez mais utilizados em "sistemas de IA compostos" — fluxos de trabalho estruturados que envolvem múltiplas chamadas de LLM, ferramentas e etapas de raciocínio intermediário para resolver tarefas complexas. No entanto, as abordagens atuais para a construção desses fluxos de trabalho enfrentam dois grandes gargalos:

• Dependência Humana: A maioria dos fluxos de trabalho é criada manualmente por humanos, o que não é escalável em diversas tarefas e domínios.
• Limitações da Automação Existente: Abordagens automatizadas recentes (por exemplo, AFlow, ADAS) frequentemente otimizam prompts dentro de uma estrutura de fluxo de trabalho fixa ou buscam estruturas de fluxo de trabalho usando representações baseadas em código, sem otimização granular, camada por camada. Elas carecem de um mecanismo para otimizar simultaneamente tanto a arquitetura de alto nível do fluxo de trabalho quanto as instruções específicas (prompts) para cada componente.

A questão central de pesquisa é: Como podemos induzir e otimizar automaticamente tanto a estrutura quanto os componentes individuais de um fluxo de trabalho de LLM de maneira orientada por dados?

2. Metodologia: FLOWBOT

Os autores propõem o FLOWBOT, um framework que formula a indução de fluxo de trabalho como um problema de otimização bilevel resolvido usando gradientes textuais.

A. Formulação do Problema

Um fluxo de trabalho de LLM $W$ é definido como uma cadeia de $K$ chamadas de LLM: $W = [a_1, \dots, a_K]$.

• Loop Externo (Estrutura): Otimiza o esboço de alto nível $W$ (a sequência, o tipo e a composição das chamadas).
• Loop Interno (Parâmetros): Otimiza o prompt detalhado $\theta_i$ para cada chamada específica $a_i$.
• Objetivo: Minimizar a perda esperada $L(f_W(x), y)$ sobre um conjunto de dados $D$.

B. Gradientes Textuais

Como os parâmetros de LLM são strings de texto discretas, a retropropagação tradicional é impossível. O FLOWBOT utiliza gradientes textuais, onde um LLM gera feedback em linguagem natural descrevendo como alterar uma entrada ou prompt para reduzir a perda.

C. O Processo de Otimização

O framework opera em dois loops aninhados:

1. Loop Interno: Retropropagação Textual Camada por Camada
Dada uma estrutura de fluxo de trabalho fixa $W$, o sistema otimiza os prompts $\{\theta_i\}$:

• Passagem para Frente: O fluxo de trabalho processa a entrada $x$ para produzir a saída $x_K$.
• Gradiente de Perda ($g_K$): Um LLM analisa a saída final, a verdade fundamental (ground truth) e a perda para gerar um gradiente textual $g_K$ (feedback sobre o que deu errado).
• Propagação da Regra da Cadeia: Os gradientes são propagados para trás, camada por camada. Para a camada $k$, um LLM recebe a entrada atual $x_k$, a saída da próxima camada $x_{k+1}$ e o gradiente a jusante $g_{k+1}$ para calcular $g_k$. Isso responde: "Como a saída da etapa $k$ deve mudar para ajudar a etapa $k+1$ a performar melhor?"
• Atualização do Prompt: Um LLM otimizador agrega gradientes de um lote de amostras e atualiza o prompt $\theta_i$ para corrigir os erros identificados, preservando ao mesmo tempo padrões bem-sucedidos.

2. Loop Externo: Otimização do Esboço do Fluxo de Trabalho
Uma vez que o loop interno converge (ou periodicamente), o sistema otimiza a própria estrutura $W$:

• O esboço atual do fluxo de trabalho, os rastros de execução e a perda agregada são alimentados a um LLM.
• O LLM gera um gradiente de fluxo de trabalho ($g_W$) sugerindo mudanças estruturais: adicionar etapas (por exemplo, "adicionar desambiguação de entidades"), remover etapas redundantes, fundir etapas ou reordená-las.
• O esboço do fluxo de trabalho é atualizado com base nessas sugestões.

D. Inicialização

O processo começa com um fluxo de trabalho "zero-shot" (uma única chamada de LLM). O loop externo é acionado imediatamente para gerar um esboço inicial de múltiplas etapas, seguido pela geração de prompts iniciais para cada etapa.

3. Contribuições Principais

1. Otimização Bilevel para Fluxos de Trabalho: O primeiro framework a otimizar conjuntamente a topologia (estrutura) e os parâmetros (prompts) de fluxos de trabalho de LLM usando uma abordagem bilevel, inspirando-se na Busca de Arquitetura Neural (NAS).
2. Retropropagação Textual: Estende o conceito de gradientes textuais (anteriormente utilizados para prompts únicos) para fluxos de trabalho profundos e multicamadas, permitindo atribuição e correção de erros modulares, camada por camada.
3. Indução Orientada por Dados: Demonstra que fluxos de trabalho complexos e de múltiplas etapas (incluindo o uso de ferramentas) podem ser descobertos do zero sem priores humanos sobre a estrutura.

4. Resultados Experimentais

Os autores avaliaram o FLOWBOT em 10 benchmarks diversos (QA, raciocínio, geração de código, privacidade, etc.) contra bases de comparação robustas.

• vs. Otimização de Prompt (Estrutura Fixa): O FLOWBOT superou o GEPA (um otimizador de prompts de última geração) em tarefas pesadas em recuperação como HotpotQA (72,80 vs 69,00) e HoVer (63,20 vs 51,67), provando que otimizar a estrutura é crucial para tarefas complexas.
• vs. Geração Automatizada de Fluxo de Trabalho: O FLOWBOT superou o AFlow (que usa Busca em Árvore Monte Carlo em grafos de código) em 4 de 6 benchmarks (por exemplo, HumanEval: 93,74 vs 94,70; GSM8K: 96,01 vs 86,16).
• Eficiência: O FLOWBOT exigiu significativamente menos chamadas de API e custos menores do que o AFlow para atingir o desempenho máximo (por exemplo, 54,7 mil chamadas vs 338 mil chamadas para HotpotQA).
• Análise Qualitativa: Os fluxos de trabalho induzidos foram encontrados como sensatos e frequentemente espelharam padrões projetados por humanos (por exemplo, separando recuperação, desambiguação de entidades e verificação).
• Estudos de Ablação:
  • Remover a estrutura bilevel (tratando-a como uma única camada) causou quedas significativas de desempenho.
  • Remover a retropropagação camada por camada (atualizando todos os prompts de uma vez) também degradou o desempenho, destacando a importância do feedback modular baseado na regra da cadeia.

5. Significado e Impacto

• Mudança de Paradigma: Move o design de sistemas de LLM de "pipelines criados manualmente" para "sistemas induzidos automaticamente", reduzindo a carga de engenharia para implantar agentes de IA complexos.
• Generalização: A abordagem é agnóstica ao modelo e funciona com vários LLMs de pesos abertos e proprietários.
• Interpretabilidade: Os gradientes textuais fornecem um rastro de auditoria legível por humanos sobre por que um fluxo de trabalho falhou e como ele foi melhorado, oferecendo insights sobre o processo de raciocínio do sistema.
• Direção Futura: O artigo demonstra um conceito de prova para induzir um fluxo de trabalho unificado que pode lidar com múltiplos tipos de tarefas (roteamento de matemática vs. código vs. compreensão de leitura) dentro de uma única estrutura dinâmica, abrindo caminho para agentes autônomos de propósito geral.

Em resumo, o FLOWBOT preenche a lacuna entre a busca de arquitetura neural e a promoção de prompts de LLM, fornecendo um método robusto e orientado por dados para construir e refinar automaticamente fluxos de trabalho de IA sofisticados.