FlowBot: Inducing LLM Workflows with Bilevel Optimization and Textual Gradients

1. Enunciato del Problema

I Large Language Models (LLM) sono sempre più utilizzati in "sistemi AI composti"—flussi di lavoro strutturati che coinvolgono molteplici chiamate LLM, strumenti e passaggi di ragionamento intermedi per risolvere compiti complessi. Tuttavia, gli approcci attuali per costruire questi flussi di lavoro affrontano due colli di bottiglia principali:

• Dipendenza dall'Uomo: La maggior parte dei flussi di lavoro è realizzata manualmente da esseri umani, il che non è scalabile attraverso compiti e domini diversi.
• Limitazioni dell'Automazione Esistente: Gli approcci automatizzati recenti (ad es. AFlow, ADAS) ottimizzano spesso i prompt all'interno di una struttura di flusso di lavoro fissa o cercano strutture di flusso di lavoro utilizzando rappresentazioni basate sul codice senza un'ottimizzazione granulare, strato per strato. Manca loro un meccanismo per ottimizzare simultaneamente sia l'architettura del flusso di lavoro ad alto livello sia le istruzioni specifiche (prompt) per ogni componente.

La domanda di ricerca centrale è: Come possiamo indurre e ottimizzare automaticamente sia la struttura sia i singoli componenti di un flusso di lavoro LLM in modo guidato dai dati?

2. Metodologia: FLOWBOT

Gli autori propongono FLOWBOT, un framework che formula l'induzione del flusso di lavoro come un problema di ottimizzazione bilevel risolto utilizzando gradienti testuali.

A. Formulazione del Problema

Un flusso di lavoro LLM $W$ è definito come una catena di $K$ chiamate LLM: $W = [a_1, \dots, a_K]$.

• Ciclo Esterno (Struttura): Ottimizza lo schizzo ad alto livello $W$ (la sequenza, il tipo e la composizione delle chiamate).
• Ciclo Interno (Parametri): Ottimizza il prompt dettagliato $\theta_i$ per ogni chiamata specifica $a_i$.
• Obiettivo: Minimizzare la perdita attesa $L(f_W(x), y)$ su un dataset $D$.

B. Gradienti Testuali

Poiché i parametri degli LLM sono stringhe di testo discrete, la retropropagazione tradizionale è impossibile. FLOWBOT utilizza gradienti testuali, dove un LLM genera feedback in linguaggio naturale che descrive come modificare un input o un prompt per ridurre la perdita.

C. Il Processo di Ottimizzazione

Il framework opera in due cicli annidati:

1. Ciclo Interno: Retropropagazione Testuale Strato per Strato
Dato una struttura di flusso di lavoro $W$ fissa, il sistema ottimizza i prompt $\{\theta_i\}$:

• Passo in Avanti: Il flusso di lavoro elabora l'input $x$ per produrre l'output $x_K$.
• Gradiente di Perdita ($g_K$): Un LLM analizza l'output finale, la verità fondamentale (ground truth) e la perdita per generare un gradiente testuale $g_K$ (feedback su cosa è andato storto).
• Propagazione della Regola della Catena: I gradienti vengono propagati all'indietro strato per strato. Per lo strato $k$, un LLM prende l'input corrente $x_k$, l'output dello strato successivo $x_{k+1}$ e il gradiente a valle $g_{k+1}$ per calcolare $g_k$. Questo risponde alla domanda: "Come dovrebbe cambiare l'output del passaggio $k$ per aiutare il passaggio $k+1$ a performare meglio?"
• Aggiornamento del Prompt: Un LLM ottimizzatore aggrega i gradienti da un batch di campioni e aggiorna il prompt $\theta_i$ per affrontare gli errori identificati preservando i pattern di successo.

2. Ciclo Esterno: Ottimizzazione dello Schizzo del Flusso di Lavoro
Una volta che il ciclo interno converge (o periodicamente), il sistema ottimizza la struttura $W$ stessa:

• Lo schizzo del flusso di lavoro corrente, le tracce di esecuzione e la perdita aggregata vengono forniti a un LLM.
• L'LLM genera un gradiente del flusso di lavoro ($g_W$) che suggerisce cambiamenti strutturali: aggiungere passaggi (ad es. "aggiungere disambiguazione delle entità"), rimuovere passaggi ridondanti, unire passaggi o riordinarli.
• Lo schizzo del flusso di lavoro viene aggiornato in base a questi suggerimenti.

D. Inizializzazione

Il processo inizia con un flusso di lavoro "zero-shot" (una singola chiamata LLM). Il ciclo esterno viene attivato immediatamente per generare uno schizzo iniziale multi-passaggio, seguito dalla generazione di prompt iniziali per ogni passaggio.

3. Contributi Chiave

1. Ottimizzazione Bilevel per Flussi di Lavoro: Il primo framework che ottimizza congiuntamente la topologia (struttura) e i parametri (prompt) dei flussi di lavoro LLM utilizzando un approccio bilevel, traendo ispirazione dalla Ricerca di Architettura Neurale (NAS).
2. Retropropagazione Testuale: Estende il concetto di gradienti testuali (precedentemente utilizzati per singoli prompt) a flussi di lavoro profondi e multistrato, consentendo l'attribuzione e la correzione modulare degli errori strato per strato.
3. Induzione Guidata dai Dati: Dimostra che flussi di lavoro complessi e multi-passaggio (incluso l'uso di strumenti) possono essere scoperti da zero senza priors umani sulla struttura.

4. Risultati Sperimentali

Gli autori hanno valutato FLOWBOT su 10 benchmark diversi (QA, ragionamento, generazione di codice, privacy, ecc.) confrontandolo con baselines solide.

• vs. Ottimizzazione dei Prompt (Struttura Fissa): FLOWBOT ha superato GEPA (un ottimizzatore di prompt all'avanguardia) su compiti pesanti di recupero come HotpotQA (72,80 vs 69,00) e HoVer (63,20 vs 51,67), dimostrando che ottimizzare la struttura è cruciale per compiti complessi.
• vs. Generazione Automatica di Flussi di Lavoro: FLOWBOT ha superato AFlow (che utilizza la Ricerca ad Albero Monte Carlo su grafi di codice) su 4 dei 6 benchmark (ad es. HumanEval: 93,74 vs 94,70; GSM8K: 96,01 vs 86,16).
• Efficienza: FLOWBOT ha richiesto significativamente meno chiamate API e costi inferiori rispetto ad AFlow per raggiungere le prestazioni di picco (ad es. 54,7K chiamate vs 338K chiamate per HotpotQA).
• Analisi Qualitativa: I flussi di lavoro indotti sono risultati sensati e spesso rispecchiavano pattern progettati dall'uomo (ad es. separazione di recupero, disambiguazione delle entità e verifica).
• Studi di Ablazione:
  • Rimuovere la struttura bilevel (trattandola come un singolo strato) ha causato cali significativi delle prestazioni.
  • Rimuovere la retropropagazione strato per strato (aggiornando tutti i prompt contemporaneamente) ha anch'esso degradato le prestazioni, evidenziando l'importanza del feedback modulare basato sulla regola della catena.

5. Significato e Impatto

• Cambiamento di Paradigma: Sposta la progettazione dei sistemi LLM da "pipeline realizzate manualmente" a "sistemi indotti automaticamente", riducendo l'onere ingegneristico per il deployment di agenti AI complessi.
• Generalizzabilità: L'approccio è agnostico rispetto al modello e funziona con vari LLM open-weight e proprietari.
• Interpretabilità: I gradienti testuali forniscono una traccia di audit leggibile dall'uomo sul perché un flusso di lavoro ha fallito e come è stato migliorato, offrendo approfondimenti sul processo di ragionamento del sistema.
• Direzione Futura: Il documento dimostra un proof-of-concept per indurre un flusso di lavoro unificato in grado di gestire molteplici tipi di compiti (instradamento di matematica vs. codice vs. comprensione della lettura) all'interno di una singola struttura dinamica, aprendo la strada ad agenti autonomi a scopo generale.

In sintesi, FLOWBOT colma il divario tra la ricerca di architettura neurale e il prompting degli LLM, fornendo un metodo robusto e guidato dai dati per costruire e rifinire automaticamente flussi di lavoro AI sofisticati.