PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows

Riepilogo Tecnico: PROTEA

Enunciato del Problema
I flussi di lavoro di modelli linguistici su larga scala (LLM) multi-agente, che compongono chiamate LLM specifiche per ruolo in un grafo aciclico diretto (DAG), spesso superano le linee di base a prompt singolo. Tuttavia, il perfezionamento di questi sistemi è un'attività di debug complessa a livello di sistema. I fallimenti nell'output finale derivano spesso da errori sottili negli output dei nodi intermedi che si propagano a valle. Gli attuali strumenti di valutazione (ad es. AgentBench, OpenAI Evals, RAGAs) si concentrano tipicamente su metriche di successo end-to-end o sulla valutazione a livello di componente (come la pertinenza del recupero), ma mancano di una diagnosi consapevole del grafo. Di conseguenza, gli sviluppatori devono ispezionare manualmente tracce di esecuzione lunghe per inferire quale nodo modificare e come rivedere il suo prompt. Inoltre, in contesti produttivi realistici, i team possiedono spesso etichette solo per l'output terminale, rendendo la creazione di output di riferimento per ogni nodo intermedio costosa e poco pratica.

Metodologia: Il Framework PROTEA
PROTEA è un'interfaccia unificata, offline e guidata dai test, progettata per il perfezionamento iterativo dei flussi di lavoro multi-agente LLM. Opera su un ciclo di iterazione a suite fissa: esecuzione del flusso di lavoro, valutazione dei nodi intermedi, localizzazione dei colli di bottiglia, revisione dei prompt e rivalutazione. Il sistema è costruito attorno a tre meccanismi fondamentali:

1. Valutazione dei Nodi all'Indietro: Per affrontare la scarsità di riferimenti intermedi, PROTEA genera aspettative a livello di nodo candidate dall'output di riferimento finale e dal contesto del grafo. Formalmente, partendo dal segnale di supervisione del nodo finale ($y^*_{final}$), il sistema utilizza un passaggio di generazione del riferimento ($M_{gen}$) per inferire l'output richiesto per i nodi a monte in base ai requisiti a valle. Ciò consente al sistema di valutare i nodi intermedi in ordine topologico inverso, confrontando gli output osservati ($y_v$) con queste aspettative generate ($\hat{y}_v$) per produrre punteggi e motivazioni.
2. Diagnosi Basata sul Grafo: PROTEA sovrappone gli stati per nodo (PASS/WARN/FAIL) e le motivazioni del valutatore direttamente sul grafo del flusso di lavoro. I nodi sono ordinati per stato e punteggio, guidando gli sviluppatori verso i probabili colli di bottiglia senza richiedere l'ispezione manuale delle tracce.
3. Raffinamento Localizzato dei Prompt: Per un nodo selezionato, PROTEA propone revisioni mirate dei prompt ($I'_v$) basate sulla motivazione del valutatore. Queste sono presentate come confronti modificabili "prima/dopo". Il sistema applica vincoli per preservare il passaggio delle variabili, i formati di output e per prevenire la fuoriuscita di contenuti specifici dei test nei prompt. Dopo l'accettazione, il flusso di lavoro viene rieseguito automaticamente sulla suite di test offline per tracciare le traiettorie dei punteggi e verificare i miglioramenti.

Contributi Chiave

• Interfaccia Unificata per il Perfezionamento Iterativo: PROTEA integra esecuzione, valutazione, diagnosi e modifica dei prompt in un unico ciclo, riducendo lo sforzo manuale necessario per tradurre le evidenze di valutazione in correzioni.
• Inferenza all'Indietro per la Supervisione: Il sistema introduce un metodo per generare aspettative per i nodi intermedi a partire dalle risposte finali, consentendo un debug efficace anche quando la verità fondamentale intermedia non è disponibile.
• Flusso di Lavoro Centrato sullo Sviluppatore: A differenza dei metodi di ottimizzazione automatica (ad es. DSPy, OPRO) che ottimizzano autonomamente contro una funzione obiettivo, PROTEA evidenzia i colli di bottiglia candidati e propone revisioni ispezionabili, consentendo agli sviluppatori di adottare, modificare o annullare le modifiche nel contesto.

Risultati Sperimentali
Gli autori hanno valutato PROTEA attraverso due studi su flussi di lavoro adiacenti alla produzione, un test di stress per iterazione automatica e uno studio formativo con sei sviluppatori esperti di LLM.

• Studi Adiacenti alla Produzione:
  • Ispezione Documentale: In un flusso di lavoro aziendale a 5 nodi, il perfezionamento iterativo ha migliorato l'accuratezza dell'ispezione documentale dal 64,3% all'83,9%.
  • Raccomandazione Conversazionale: In un flusso di lavoro di raccomandazione a 6 nodi, la metrica Hit@5 è migliorata da 0,30 a 0,38.
  • In entrambi i casi, il sistema ha aiutato a tracciare la propagazione dei vincoli e ha ridotto la necessità di leggere le tracce lunghe end-to-end.
• Test di Stress per Iterazione Automatica:
  • Il sistema è stato testato su 11 flussi di lavoro generati indipendentemente. In un sottoinsieme di 5 flussi di lavoro con prompt iniziali minimi, la modalità "AUTO LOOP" (ciclo automatico di proposta-conservazione) ha ottenuto punteggi migliori rispetto a una linea di base senza riscrittura in 4 casi su 5.
  • Guadagni notevoli hanno incluso un salto da 0,186 a 0,800 in un flusso di lavoro di pianificazione dei corsi.
  • Sono state osservate limitazioni in compiti con criteri quasi binari (ad es. problemi di parole con corrispondenza esatta), dove la mancanza di segnali graduati per il ragionamento intermedio ha ostacolato l'ottimizzazione.
• Studio Utenti:
  • Sei sviluppatori esperti hanno trovato valore nella localizzazione a livello di grafo, nelle motivazioni per nodo e nella possibilità di confrontare le revisioni dei prompt con le riesecuzioni automatiche.
  • I partecipanti hanno identificato priorità future tra cui la calibrazione del valutatore, l'integrazione con le catene di strumenti esistenti (CI/CD) e il supporto per il versionamento.

Significato e Affermazioni
Il documento afferma che PROTEA affronta un vuoto critico nel ciclo di vita dell'ingegneria degli LLM: la difficoltà di debug di sistemi complessi multi-agente in cui la supervisione è limitata agli output finali. Combinando l'inferenza all'indietro con un'interfaccia che include lo sviluppatore nel ciclo, PROTEA abilita un perfezionamento rapido e guidato dai test senza richiedere un'etichettatura manuale esaustiva dei passaggi intermedi. Gli autori posizionano lo strumento come complementare all'ottimizzazione automatica dei prompt; mentre metodi come DSPy ottimizzano il comportamento del programma contro un obiettivo, PROTEA si concentra sul flusso di lavoro dello sviluppatore per grafi multi-agente concreti, evidenziando colli di bottiglia specifici e azionabili e correzioni localizzate. I risultati suggeriscono che un'interfaccia di questo tipo può migliorare significativamente le prestazioni del flusso di lavoro (ad es. +19,6% di accuratezza nell'ispezione documentale) riducendo al contempo il carico cognitivo associato al tracciamento degli errori attraverso grafi di agenti complessi.