Riepilogo Tecnico: VineLM

Enunciato del Problema

Le applicazioni AI moderne si affidano sempre più a flussi di lavoro agenziali, che intercalano fasi configurabili di Modelli Linguistici di grandi dimensioni (LLM) con fasi di strumento (ad esempio, esecuzione SQL, recupero) e includono spesso loop di raffinamento (ripetizioni) per migliorare la qualità dell'output. I gestori di flussi di lavoro esistenti, come Murakkab, impiegano un controllo a grana grossa. Questi sistemi profilano le configurazioni complete dei flussi di lavoro offline e assegnano a ogni richiesta in arrivo un piano statico a livello di flusso di lavoro. In questo paradigma, un modello specifico è vincolato a un template di fase per l'intera durata di una richiesta. Di conseguenza, se un flusso di lavoro contiene un loop di raffinamento, lo stesso modello deve essere riutilizzato per ogni iterazione di tale loop, indipendentemente dal feedback di esecuzione intermedio o dalle mutevoli vincoli di budget.

Questo approccio statico limita le prestazioni in due modi critici:

1. Rigidità nei Loop di Raffinamento: Il modello ottimale per un primo tentativo di riparazione (spesso un modello più economico e veloce) può differire dal modello ottimale per un tentativo successivo (che potrebbe richiedere un modello più potente per risolvere fallimenti complessi). Il controllo a grana grossa non può mescolare modelli tra le iterazioni dello stesso loop.
2. Mancanza di Adattamento in Runtime: I piani statici si basano su medie offline. Se un'invocazione di una fase iniziale consuma più latenza o costo del previsto a causa della variabilità in runtime, il piano a valle pre-impegnato può diventare non fattibile (violando gli SLO) o subottimale. I sistemi attuali non riesaminano le scelte del modello dopo ogni invocazione di fase.

Metodologia: VineLM

Gli autori propongono VineLM, un gestore di flussi di lavoro che abilita un controllo a grana fine selezionando dinamicamente il modello per ogni invocazione di fase mentre l'esecuzione si svolge.

1. Formulazione dell'Albero di Esecuzione

VineLM rappresenta lo spazio delle esecuzioni fattibili come un albero di esecuzione annotato:

• Struttura: Ogni nodo corrisponde a un prefisso di scelte di modelli incontrate finora in una esecuzione del flusso di lavoro. A differenza di un albero completo, il trie rispetta la semantica del flusso di lavoro (ad esempio, transizioni valide, limiti del loop).
• Prefissi Condivisi: I nodi rappresentano prefissi condivisi tra molti percorsi completi candidati, consentendo al sistema di ragionare su un ampio spazio decisionale in modo efficiente.
• Annotazioni: I nodi sono annotati con metriche stimate: costo cumulativo atteso ($\bar{C}$), latenza cumulativa attesa ($\bar{T}$) e accuratezza attesa ($\bar{A}$).

2. Costruzione Offline del Trie (Profilazione Sparsa)

Profilare completamente ogni richiesta su ogni percorso è non fattibile a causa dell'esplosione combinatoria dei percorsi. VineLM affronta questo problema tramite una pipeline di profilazione sparsa:

• Checkpointing: Per evitare di rieseguire i prefissi condivisi, il sistema salva lo stato dopo i prefissi comuni e li riutilizza per valutare diversi suffissi.
• Campionamento a Cascata: Per ogni richiesta campionata, il sistema esegue un modello casuale di profondità 1. Se fallisce, procede con un'estensione di profondità 2, e così via. Questo genera etichette "gratuite" tramite compilazione dei sottoalberi: se una query ha successo a un prefisso, tutte le estensioni di quel prefisso sono contrassegnate come riuscite.
• Decomposizione a Cascata: La completamento matriciale standard fallisce qui perché il pattern di osservazione è Missing Not At Random (MNAR); i percorsi più profondi sono osservati solo su richieste in cui le fasi precedenti hanno fallito. VineLM utilizza un stimatore di decomposizione a cascata per correggere questo bias. Tratta il tasso di successo osservato di un percorso di profondità-$d$ come la probabilità condizionata di successo dato che tutte le fasi precedenti hanno fallito, combinando questo con il successo incondizionato delle fasi precedenti per stimare la vera accuratezza del percorso.
• Lisciatura a Basso Rango: Per ridurre il rumore nei percorsi profondi con pochi campioni, il sistema applica una proiezione SVD di rango 1 alle stime di accuratezza condizionata.

3. Selezione del Modello Online

In runtime, VineLM intercala esecuzione e controllo:

• Radicamento: Dopo il completamento di ogni invocazione di fase, il controller radica nuovamente il trie sul prefisso di esecuzione realizzato.
• Ripianificazione Dinamica: Il controller cerca nel sottoalbero rimanente (discendenti del nodo corrente) per trovare il suffisso ottimale basato sulla latenza/costo realizzati finora e sul budget residuo.
• Consapevolezza del Carico: Se sono disponibili stime del carico, il controller gonfia le stime di latenza per i backend congestionati, indirizzando le richieste lontano dai percorsi che probabilmente violerebbero gli SLO.
• Potatura: La ricerca utilizza la monotonia delle metriche (costo e latenza aumentano, l'accuratezza non diminuisce lungo un percorso) per potare rami non fattibili o subottimali.

Contributi Chiave

1. Dimostrazione delle Limitazioni a Grana Grossa: Il documento mostra che vincolare un singolo modello a un loop di raffinamento lascia significative prestazioni inutilizzate, in particolare quando sono necessarie traiettorie a modello misto per soddisfare i vincoli di costo/latenza massimizzando al contempo l'accuratezza.
2. Formulazione Basata su Trie: Formula il controllo a grana fine dei flussi di lavoro come una ricerca su un albero di esecuzione annotato di prefissi di flussi di lavoro, consentendo una stima offline efficiente e un adattamento online.
3. Sistema VineLM: La progettazione e l'implementazione di VineLM, che combina la formulazione del trie con checkpointing, profilazione a cascata e radicamento dinamico per abilitare la selezione del modello per invocazione.
4. Validazione Empirica: Valutazione su flussi di lavoro NL2SQL e di ragionamento matematico che dimostra miglioramenti nel fronte costo-latenza-accuratezza con un sovraccarico di profilazione minimo.

Risultati

Il documento valuta VineLM su flussi di lavoro NL2SQL (con 8 e 2 modelli candidati) e MathQA (auto-riflessione), confrontandoli con baseline di tipo Murakkab.

• Miglioramento dell'Accuratezza: VineLM raggiunge fino al 18% di accuratezza in più allo stesso budget per richiesta rispetto alle baseline a livello di flusso di lavoro a grana grossa.
• Efficienza della Profilazione: L'approccio di profilazione sparsa riduce i costi di profilazione offline del 98–99,8% rispetto alla profilazione esaustiva. Con una copertura di profilazione del 2%, lo stimatore di VineLM raggiunge un Errore Assoluto Medio (MAE) di circa l'1% nella previsione dell'accuratezza del percorso, corrispondendo da vicino alle prestazioni di un trie completamente profilato.
• Conformità agli SLO di Latenza: Il radicamento dinamico riduce le violazioni degli SLO di latenza fino all'85% rispetto ai piani statici, in particolare sotto variabilità del carico in runtime. La ripianificazione consapevole del carico riduce ulteriormente le violazioni sotto carichi elevati.
• Sovraccarico: Il sovraccarico in runtime della ripianificazione dinamica è trascurabile (ad esempio, lo 0,592% del tempo di chiamata LLM più veloce per il flusso di lavoro MathQA).

Significato e Affermazioni

Il documento afferma che i flussi di lavoro agenziali dovrebbero essere controllati tramite politiche online sui prefissi di esecuzione piuttosto che configurazioni di flusso di lavoro fisse. Passando da assegnazioni statiche a grana grossa a selezioni dinamiche a grana fine, i sistemi possono navigare meglio i compromessi tra costo, latenza e accuratezza in presenza di loop e variabilità in runtime. VineLM dimostra che questo livello di controllo è pratico, raggiungendo prestazioni quasi ottimali con una frazione del costo di profilazione richiesto dai metodi esaustivi. Il lavoro suggerisce che la granularità decisionale dei gestori di flussi di lavoro è un fattore critico nell'ottimizzazione dei sistemi agenziali e che l'"esplosione combinatoria" dei percorsi a grana fine può essere gestita efficacemente attraverso spazi di ricerca strutturati (trie) e tecniche di stima efficienti.