Sintesi Tecnica: Opti-Q: Un Framework di Ottimizzazione Basato su Vincoli per la Pianificazione di Domande Multi-LLM

1. Definizione del Problema

L'impiego di Large Language Models (LLM) per il Question Answering (QA) affronta sfide significative riguardanti il nondeterminismo, profili di risorse eterogenei (costo finanziario, latenza, energia) e prestazioni variabili a seconda delle tipologie di domanda. Sebbene studi recenti suggeriscano che la collaborazione coordinata tra più LLM possa superare le prestazioni di un singolo modello "migliore", le strategie di esecuzione naive (ad esempio, interrogare sempre tutti i modelli o utilizzare cascate fisse) portano spesso a un uso inefficiente delle risorse, costi più elevati e una qualità della risposta subottimale.

Gli attuali framework di orchestrazione (ad esempio, LangChain, DSPy) si affidano spesso a workflow scriptati dagli sviluppatori o a decisioni dinamiche e miopi prese al momento dell'esecuzione, senza considerare le conseguenze a valle. Manca un sistema che tratti l'orchestrazione multi-LLM come un problema di pianificazione delle query basato sui costi e su obiettivi multipli, dove il piano di esecuzione ottimale (sequenziale, parallelo o ibrido) viene selezionato prima dell'esecuzione sulla base dei vincoli specificati dall'utente (budget, latenza, energia) e della qualità della risposta desiderata (QoA).

2. Metodologia: Il Framework OPTI-Q

OPTI-Q è un ottimizzatore basato sui costi ispirato ai database che implementa un paradigma "pianifica-prima-di-eseguire" per il QA multi-LLM. Modella il problema come un compito di Ottimizzazione Multi-Obiettivo (MOO) dove l'obiettivo è trovare piani Pareto-ottimali che bilancino la QoA rispetto al costo finanziario, alla latenza e all'energia.

A. Modellazione e Formalizzazione

• Modello della Domanda: Una domanda $Q$ è definita da un prompt, un argomento, i vincoli dell'utente ($F_{max}, L_{max}, E_{max}, QoA_{min}$) e un vettore di pesi $W$ per la prioritizzazione degli obiettivi.
• Modello del Piano: I piani sono rappresentati come Grafi Aciclici Diretti (DAG) dove i nodi sono invocazioni di LLM (operatori fisici) e gli archi rappresentano il flusso di dati.
  • Operatori Sequenziali: Passano le risposte intermedie come contesto ai modelli successivi.
    • Operatori Paralleli: Eseguono più modelli concorrentemente.
  • Operatori di Blending (Fusione): Uniscono gli output di rami paralleli utilizzando un modello "blender" dedicato.
• Obiettivo di Ottimizzazione: Massimizzare $[QoA(\pi), -Finanziario(\pi), -Latenza(\pi), -Energia(\pi)]$ soggetto ai vincoli dell'utente.

B. Componenti Core

1. PERFDB (Catalogo di Statistiche):

   • Un database delle prestazioni popolato offline e incrementalmente da benchmark ed esecuzioni tracciate.
   • Memorizza statistiche (QoA, costo, latenza, energia) per singoli LLM e sottoplani composti, indicizzati per contesto di esecuzione (argomento, tipo di operatore, modello).
   • Consente la stima pre-esecuzione delle metriche del piano senza eseguire il piano stesso. Gestisce la stocasticità memorizzando stime di varianza e intervalli di confidenza.

2. Stima Costo-Beneficio:

   • Stima dei Token: Predice il numero di token in input/output basandosi su tokenizer specifici del modello e sulla lunghezza storica degli output per stimare i costi.
   • Stima della QoA: Utilizza un lookup condizionato all'argomento in PERFDB. Per i piani composti, applica fattori di effetto relativo moltiplicativi (per i passaggi sequenziali) e fattori di variazione relativa media (per il blending) derivati da tracce storiche per stimare la qualità dell'intero piano.
   • Stima delle Risorse: Calcola il costo finanziario (fisso + variabile per token), l'energia (proporzionale ai token) e la latenza (lineare con il volume dei token, i rami paralleli richiedono il tempo massimo).

3. Generazione e Ricerca del Piano:

   • Codifica: I piani sono codificati in modo compatto come una mappa di connettività (matrice di adiacenza) e un vettore di assegnazione dei modelli.
   • Spazio di Ricerca: Lo spazio dei possibili piani è combinatorio e NP-hard da ottimizzare esaustivamente.
   • Motori di Ottimizzazione: OPTI-Q supporta un motore "plugging" con tre strategie:
     • Programmazione Dinamica (DP): Solver esatto per istanze piccole; utilizza il pruning per gestire l'esplosione dello spazio degli stati.
     • Hill Climbing (HC): Eurestica greedy leggera per una ricerca locale rapida.
     • NSGA-II: Un algoritmo evolutivo multi-obiettivo utilizzato come default per ampi spazi di pianificazione per approssimare la frontiera di Pareto.
   • Selezione: L'ottimizzatore genera un insieme di piani fattibili non dominati. Il piano finale viene selezionato in base ai pesi dell'utente $W$ applicati agli obiettivi normalizzati.

C. Implementazione

• Sistema: Framework modulare che integra un ottimizzatore con un motore di esecuzione.
• Modelli: Testato con cinque modelli open-source (Gemma-3:27B, LLaMA3-ChatQA, Qwen2.5, Phi-4, Mistral) eseguiti localmente tramite Ollama.
• Blending: Utilizza Gemma-3:27B come blender designato, superando componenti specializzati come GenFuser nella validazione.
• Prompting: Impiega il prompting Zero-Shot con prompt specifici di contesto e di blending per guidare il comportamento del modello.

3. Contributi Chiave

1. Formulazione Costo/Beneficio: Una formalizzazione della pianificazione multi-LLM per il QA come problema di ottimizzazione multi-obiettivo vincolato, bilanciando esplicitamente QoA, costo, latenza ed energia.
2. Ottimizzatore Basato sulle Statistiche: Un sistema che enumera e taglia (pruning) workflow sequenziali/paralleli/ibridi, stimando qualità e costi delle risorse prima dell'esecuzione utilizzando un catalogo di statistiche storiche (PERFDB).
3. Sistema Integrato: Un prototipo funzionante che instrada dinamicamente le domande attraverso LLM open-source, selezionando grafi di esecuzione ottimali in tempo reale.

4. Risultati Sperimentali

Il framework è stato valutato su benchmark MMLU-Pro (scelta multipla) e SimpleQA (aperta) contro quattro baseline allo stato dell'arte (ThriftLLM, LLM-Ensemble, FrugalGPT, LLM-Blender).

• Guadagni di Performance: Sotto budget specificati dall'utente, OPTI-Q ha migliorato la QoA media di circa il 58% su SimpleQA e del 41% su MMLU-Pro rispetto alle più forti baseline sensibili al budget a parità di costo per domanda.
• Scalabilità: NSGA-II ha fornito il miglior compromesso scalabilità-qualità, mantenendo una qualità della frontiera di Pareto vicina al riferimento con tempi di pianificazione nell'ordine delle decine di secondi (ad esempio, 21s per $k=5$ operazioni).
• Robustezza alla Scarsità di Dati: In scenari di "cold-start" (copertura PERFDB Livello 0), OPTI-Q ha comunque superato le baseline. All'aumentare dei dati storici (Livelli 1–4), la QoA è migliorata significativamente (ad esempio, +66.7% su MMLU-Pro) e gli errori di stima delle risorse sono diminuiti drasticamente.
• Aderenza al Budget: Il sistema ha mantenuto un'alta aderenza al budget (88–96%), con sforamenti guidati principalmente dai costi piuttosto che dalla latenza.
• Confronto con API Commerciali: OPTI-Q ha ottenuto una QoA superiore ai modelli commerciali (ad esempio, Claude Opus 4.6, GPT 5.4) su SimpleQA, costando però significativamente meno (rispettivamente 37.8× e 14.5× meno, considerando i costi dei server esterni). Su MMLU-Pro, ha raggiunto una qualità competitiva (0.82 vs 0.871 per Gemini 3.5 Flash) a una frazione del costo.

5. Significato e Rivendicazioni

Il paper sostiene che una pianificazione in stile database produce migliori compromessi qualità-risorse per il QA multi-LLM rispetto a un'orchestrazione dinamica e miope o a ensemble fissi.

• Cambio di Paradigma: Dimostra che trattare l'orchestrazione multi-LLM come un problema di pianificazione dichiarativa, piuttosto che come un compito di scripting procedurale, permette un adattamento dinamico e specifico per ogni domanda che massimizza l'utilità sotto vincoli.
• Viabilità Pratica: I risultati suggeriscono che una pianificazione strutturata e basata sulle statistiche fornisce una base pratica per l'orchestrazione adattiva di LLM, consentendo di bilanciare prestazioni ed efficienza senza dipendere da costosi ed estremamente capaci API commerciali.
• Potenziale Futuro: Gli autori ipotizzano che questa astrazione "pianifica-prima-di-eseguire" possa estendersi oltre il QA verso flussi di lavoro RAG (Retrieval-Augmented Generation) e agentici più ricchi, a condizione che i nuovi operatori possano essere caratterizzati con profili costo-beneficio simili nel catalogo delle statistiche.