🤖 AI

Doing More with Less: A Survey on Routing Strategies for Resource Optimisation in Large Language Model-Based Systems

Questa survey fornisce una panoramica completa delle strategie di routing nei sistemi basati su Large Language Model, analizzando come l'indirizzamento dinamico delle query verso i modelli appropriati possa ottimizzare il consumo di risorse, ridurre i costi e migliorare le prestazioni affrontando le inefficienze delle architetture monolitiche.

Autori originali: Clovis Varangot-Reille, Christophe Bouvard, Antoine Gourru, Mathieu Ciancone, Marion Schaeffer, François Jacquenet

Pubblicato 2026-07-16

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Clovis Varangot-Reille, Christophe Bouvard, Antoine Gourru, Mathieu Ciancone, Marion Schaeffer, François Jacquenet

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui, ogni volta che fate una domanda, un team di esperti corre a rispondere. Alcuni sono brillanti ma lenti e costosi, come un professore premio Nobel che si fa pagare a ore. Altri sono rapidi ed economici, come un amico esperto che può gestire la maggior parte delle cose ma potrebbe inciampare su un indovinello davvero difficile. Nel mondo dell'intelligenza artificiale, questi "esperti" sono i Large Language Models (LLM). In questo momento, la maggior parte dei sistemi informatici è costruita come un ristorante testardo che invia ogni singolo ordine, da un semplice bicchiere d'acqua a un complesso pasto di cinque portate, allo chef più costoso della cucina. Questo funziona, ma è uno spreco, è lento e consuma molta energia. La grande domanda che gli scienziati si pongono è: come possiamo costruire un "maître" più intelligente che guardi il vostro ordine e decida istantaneamente se inviarlo all'assistente veloce ed economico o al genio costoso? Questo è il cuore di un nuovo campo chiamato "routing" (instradamento), ed è tutto incentrato sul fare di più con meno.

Questo articolo, intitolato "Doing More with Less" (Fare di più con meno), è un immenso tour attraverso i diversi modi in cui i ricercatori stanno cercando di costruire quel maître intelligente. Gli autori, un team proveniente dalla Francia, non hanno solo inventato un nuovo trucco; hanno raccolto e organizzato l'intero panorama delle strategie attualmente in fase di test. Hanno scoperto che il modo migliore per risparmiare denaro ed energia non è usare un unico cervello gigante per tutto, ma creare un sistema che instradi le domande allo strumento giusto in base alla difficoltà della domanda stessa. Hanno scoperto che spesso si può usare un modello piccolo e poco costoso per i saluti semplici e riservare i modelli grandi ed costosi solo per i veri enigmi logici complessi. Tuttavia, avvertono anche che questo non è ancora una bacchetta magica. Alcuni metodi sono ottimi per risparmiare denaro ma potrebbero mancare l'obiettivo in termini di accuratezza, mentre altri sono troppo complicati da gestire nel mondo reale. L'articolo suggerisce che il futuro risiede nei sistemi "adattivi" che possono imparare e cambiare idea man mano che nuovi strumenti diventano disponibili, piuttosto che rimanere bloccati in un insieme rigido di regole.

Il Grande Problema: Lo Chef "Taglia Unica"

Pensate a un Large Language Model (LLM) come a uno chef super intelligente. Alcuni chef sono generalisti; possono cucinare quasi tutto, da un sandwich a un soufflé. Ma sono costosi da assumere e impiegano molto tempo per lavorare. Altri chef sono specialisti; forse sono incredibili nel fare la pizza ma terribili nel preparare torte.

Attualmente, la maggior parte dei sistemi di IA è come un ristorante che ignora il menù. Se chiedete un bicchiere d'acqua, il sistema chiama lo chef più costoso e potente (come GPT-4 o Claude) per farlo. Questo è un enorme spreco. Costa molto denaro, consuma un sacco di elettricità e richiede più tempo del necessario. L'articolo sostiene che abbiamo bisogno di un "router" — un cameriere intelligente — che guardi la vostra richiesta e decida: "Ehi, questa è solo una domanda semplice. Mandiamola al tirocinante veloce ed economico". Ma se fate una domanda matematica complessa, il cameriere dovrebbe dire: "Ok, questo richiede lo chef capo".

Le Tre Grandi Domande a cui l'Articolo Risponde

Gli autori scompongono il problema in tre domande semplici: Cosa dobbiamo ottimizzare? Quando dobbiamo prendere la decisione? e Come costruiamo effettivamente il router?

1. Cosa stiamo cercando di risparmiare?

Molte persone pensano che l'unica cosa che conta sia il denaro. Ma l'articolo sottolinea che dobbiamo preoccuparci anche del tempo (latenza) e dell'ambiente (energia).

Denaro: Ogni volta che un'IA risponde a una domanda, costa una piccola frazione di denaro per parola (token).
Tempo: Aspettare che un'IA potente e lenta risponda a un semplice "Ciao" è irritante.
Il Pianeta: I grandi modelli di IA consumano molta elettricità. Se possiamo usare un modello più piccolo per l'80% delle nostre domande, risparmiamo una quantità enorme di energia e riduciamo la nostra impronta di carbonio.

2. Quando decidiamo?

L'articolo identifica due momenti principali in cui il "cameriere" può fare una scelta:

Prima della generazione (Pre-generation): Il cameriere guarda la vostra domanda prima che qualcuno inizi a cucinare. Indovina: "Questa sembra un ordine per una pizza semplice", e la invia immediatamente allo chef economico. Questo è veloce e fa risparmiare denaro perché lo chef grande non viene mai coinvolto.
Dopo la generazione (Post-generation/Cascade): Il cameriere lascia che lo chef economico provi prima. Se la risposta sembra scadente o lo chef sembra incerto, allora il cameriere invia la domanda allo chef costoso. È come ordinare una pizza, assaggiarne una fetta e, se è bruciata, chiamare lo chef capo per farne una nuova. Questo è più sicuro ma più lento e può costare di più se lo chef economico fallisce spesso.

3. Come costruiamo il cameriere?

Questa è la parte più divertente. L'articolo recensisce decine di diversi approcci per il "cameriere", che vengono raggruppati in quattro famiglie principali:

Il Cameriere "Somigliante" (Basato sulla similarità): Questo cameriere tiene un album di foto delle domande passate. Se fate una domanda che somiglia a una domanda fatta la scorsa settimana, il cameriere la invia allo stesso chef che ha risposto a quella domanda. È come dire: "L'ultima volta che hai chiesto dei gatti, l'esperto di gatti è stato bravo, quindi invierò anche questa domanda sui gatti a lui".
Il Cameriere "Insegnante" (Supervisionato): Questo cameriere è addestrato come uno studente. Impara a riconoscere i pattern. Ad esempio, impara che le domande sulla "matematica" di solito richiedono un modello specializzato in matematica, e le domande sulle "barzellette" richiedono un modello creativo. È come uno studente che ha memorizzato un libro di testo su "Quale chef gestisce quale piatto".
Il Cameriere "Giocatore d'azzardo" (Reinforcement Learning): Questo cameriere impara per tentativi ed errori, come un personaggio di un videogioco. Prova diversi chef, vede se la risposta è stata buona e riceve un "premio" se ha risparmiato denaro e ottenuto una buona risposta. Col tempo, impara la strategia migliore senza bisogno di un libro di testo.
Il Cameriere "Auto-riflessivo" (Generativo): Qui l'IA parla con se stessa. Il cameriere chiede allo chef economico: "Sei sicuro di poter rispondere a questo?". Se lo chef dice: "Non ne sono sicuro", il cameriere invia immediatamente la domanda allo chef grande. È come chiedere a un amico: "Lo sai questo?", e se esita, chiami l'esperto.

Ciò che l'Articolo Esclude (La lista dei "Non disturbare")

Gli autori sono molto chiari su ciò che non conta come una buona strategia di routing. Dicono esplicitamente che il semplice fatto di raccogliere le risposte da cinque chef diversi e scegliere la migliore (metodi chiamati "ensemble") non è la stessa cosa del routing. È come ordinare cinque pizze e buttare via quelle cattive; è troppo costoso. L'obiettivo è scegliere lo chef giusto prima di iniziare a cucinare, non cucinare tutto e poi scegliere.

Notano anche che alcuni metodi, come chiedere all'IA di indovinare la propria fiducia, possono essere complicati. A volte l'IA è eccessivamente sicura di sé e dice: "Lo so!", quando in realtà non lo sa. Questo può portare a risposte errate se il sistema si fida dello chef sbagliato.

Il Verdetto: È Promettente, Ma Non Perfetto

L'articolo conclude che il routing è uno strumento potente, ma non è ancora un mistero risolto.

Funziona: In molti test, un routing intelligente può tagliare i costi anche della metà o più, mantenendo le risposte altrettanto buone rispetto all'uso dei modelli grandi.
È complicato: La migliore strategia dipende dalla situazione. A volte un approccio "somigliante" funziona meglio; altre volte un approccio "insegnante" è preferibile.
Il futuro: Gli autori suggeriscono che il prossimo grande passo sia rendere questi router "adattivi". Attualmente, se aggiungete un nuovo chef in cucina, dovete spesso riaddestrare l'intero sistema del cameriere. L'obiettivo futuro è un cameriere che possa capire istantaneamente le abilità di un nuovo chef e iniziare a usarlo immediatamente, senza bisogno di un lungo periodo di addestramento.

In breve, questo articolo è una guida per costruire sistemi di IA più intelligenti, economici e rispettosi per il pianeta. Ci dice che non abbiamo bisogno di usare un martello pneumatico per rompere una noce. Costruendo un sistema intelligente che sappia quando usare un piccolo martello e quando usarne uno grande, possiamo rendere l'IA più veloce, più economica e migliore per il pianeta.

Sintesi Tecnica: Fare di più con meno: un'indagine sulle strategie di routing per l'ottimizzazione delle risorse nei sistemi basati su Large Language Models

1. Definizione del problema

I sistemi basati su Large Language Model (LLM), in particolare gli agenti conversazionali, sono spesso progettati con architetture monolitiche e statiche che si affidano a un singolo LLM generalista per gestire tutte le query degli utenti. Questo approccio è spesso inefficiente perché diverse query richiedono livelli differenti di ragionamento, conoscenza di dominio o pre-elaborazione. Sebbene i modelli generalisti (ad es. GPT-4o, Claude-Sonnet) forniscano prestazioni elevate in compiti diversificati, essi comportano costi finanziari, energetici e computazionali significativi che risultano sproporzionati per query più semplici.

Il documento definisce un router come un componente che indirizza un elemento (ad es. una query dell'utente) verso il candidato più adatto in un pool di candidati per ottimizzare il consumo di risorse. Ciò differisce dai framework Mixture-of-Experts (MoE), dove un meccanismo di gating interno seleziona sottoreti all'interno di un singolo modello. Al contrario, un router esterno opera indipendentemente dal processo latente dell'LLM, funziona sotto vincoli di budget e può instradare verso candidati diversi, inclusi modelli più piccoli, modelli specializzati, workflow o fonti di dati.

Formalmente, il problema del routing viene definito come la massimizzazione di una funzione di punteggio $s$ (ad es. l'accuratezza) per una query $q$ e un insieme di modelli $M$ , soggetti a un vincolo di budget $B$ :
$R_M(q) = \arg \max_{M \in M} s(q, M) \quad \text{s.t.} \quad C_M(q) \le B$
dove $C_M$ è il costo (ad es. $/token) per chiamare il modello $M$ .

2. Metodologia e tassonomia

Questo lavoro fornisce una survey e una tassonomia completa delle strategie di routing, affrontando tre domande fondamentali:

Cosa dovrebbe ottimizzare il routing? (Prestazioni vs. Costo)
Quando dovrebbe avvenire il routing? (Pre-generazione vs. Post-generazione)
Come dovrebbe essere implementato il routing? (Strategie algoritmiche)

2.1 Obiettivi di ottimizzazione

Metriche di prestazione: La survey esamina i metodi per massimizzare le funzioni di punteggio, che vanno dal matching esatto/parziale e punteggi ROUGE, alla similarità semantica e alla valutazione automatica tramite LLM. Si nota inoltre l'uso dell'apprendimento delle preferenze (ad es. modelli Bradley-Terry) basato su dati di revisori umani.
Metriche di costo: Oltre ai costi finanziari (prezzo dei token), il documento enfatizza la minimizzazione della latenza e dei costi ambientali (consumo energetico, impronta di carbonio), rilevando che i modelli più grandi richiedono generalmente un numero maggiore di operazioni in virgola mobile ed energia.

2.2 Tempistica del routing

Routing pre-generazione: Le decisioni vengono prese prima che un modello generi una risposta. Ciò minimizza la latenza. Le strategie includono l'inferenza del dominio della query o la stima della sua complessità per indirizzarla a un modello appropriato.
Routing post-generazione (a cascata): Le decisioni vengono prese dopo che un modello ha generato una risposta. Se l'output è ritenuto inadeguato, la query viene indirizzata a un modello più grande o differente. Sebbene flessibile (ad es. cascata multi-scelta), questo approccio comporta una latenza e un costo più elevati a causa delle molteplici generazioni per singola query.

2.3 Strategie di implementazione

Il documento categorizza le strategie di implementazione in quattro gruppi principali:

A. Routing basato sulla similarità

Utilizza segnali non supervisionati o debolmente supervisionati per indirizzare le query in base alla similarità semantica con interazioni passate.

Similarità della query: Calcola la similarità del coseno tra gli embedding delle query (ad es. 1-Nearest-Neighbour). Sebbene leggero, spesso fatica con query complesse e con la generalizzazione.
Clustering: Raggruppa le query in cluster semantici (ad es. k-means) e indirizza in base alle prestazioni storiche per ogni cluster. Alcuni approcci (ad es. Jitkrittum et al.) consentono l'aggiunta dinamica di nuovi modelli senza dover riaddestrare l'intero sistema.
Similarità di preferenza: Utilizza dati di preferenza umana (ad es. da Chatbot Arena) per prevedere quale modello un utente preferirebbe per una determinata query, impiegando spesso algoritmi basati su Bradley-Terry o ELO.

B. Routing supervisionato

Tratta il routing come un compito di classificazione o regressione una volta stabiliti i profili di prestazione.

Sistemi di raccomandazione: Utilizza la fattorizzazione di matrici per inferire caratteristiche latenti e prevedere le preferenze dell'utente tra modelli e query.
Classificazione del dominio: Indirizza le query a modelli specializzati in base a categorie ampie (ad es. matematica, medicina). Sebbene efficace, fatica con le query che non rientrano nelle categorie predefinite.
Inferenza della complessità della query: Classifica le query in base al livello di difficoltà. Questo approccio spesso supera il routing basato sul dominio, ma può soffrire su dataset fuori distribuzione (out-of-distribution). Gli approcci includono l'inferenza della complessità tramite le differenze di prestazione tra dimensioni di modelli o l'uso della regressione per prevedere i punteggi costo-qualità.
Knowledge Graph: Utilizza framework grafici induttivi (ad es. GraphRouter) per apprendere le relazioni contestuali tra compiti, query e modelli, migliorando la generalizzazione a nuovi modelli senza riaddestramento.
Inferenza della confidenza della risposta: Stima la probabilità che una risposta generata sia corretta (ad es. FrugalGPT) per decidere se scalare verso un modello più grande.

C. Routing basato su Reinforcement Learning (RL)

Inquadra il routing come un problema di decisione sequenziale in cui il router apprende dal feedback dell'ambiente.

Algoritmi stateless: Mappano direttamente le ricompense alle azioni (ad es. Stochastic Learning Automata, Q-learning) senza mantenere stati complessi. Sono a basse risorse ma faticano con contesti in evoluzione.
Algoritmi basati sullo stato: Incorporano informazioni contestuali (ad es. Contextual Multi-Armed Bandits) per determinare quali modelli funzionano meglio in situazioni specifiche.
Inferenza basata sulla ricompensa: Utilizza modelli di ricompensa separati (addestrati tramite distillazione della conoscenza) per prevedere quale LLM avrà le migliori prestazioni, evitando la necessità di apprendimento tramite interazione diretta.

D. Routing generativo

Sfrutta le capacità degli stessi LLM per prendere decisioni di routing.

Probabilità di token/sequenza: Misura l'incertezza dell'output (ad es. il margine tra le probabilità dei primi token) per decidere se è necessario un modello più grande.
Routing basato su prompt: Utilizza gli LLM per classificare le query o esprimere una "confidenza verbalizzata" (pre- o post-generazione). Sebbene accessibile, gli LLM soffrono spesso di eccessiva sicurezza (overconfidence).
Fine-tuning degli LLM: Addestramento specifico di modelli per compiti di routing (ad es. classificazione del dominio, scoring della complessità o generazione di chiamate API).
Chiamate ripetute: Genera molteplici risposte per valutare la coerenza; una bassa coerenza innesca il routing verso un modello più grande.
Esecuzione del codice: Utilizza l'esecuzione riuscita del codice come un segnale di confidenza univoco per il routing in compiti di generazione di codice.

3. Risultati chiave e conclusioni

Efficienza vs. Prestazioni: La survey dimostra che il routing può ridurre significativamente i costi (fino al 98% in alcuni casi) mantenendo un'accuratezza comparabile ai migliori modelli standalone. Tuttavia, l'efficacia di una strategia dipende fortemente dalla complementarità dei modelli candidati.
Compromessi tra strategie:
- I metodi basati sulla similarità sono leggeri ma spesso falliscono su compiti complessi o fuori distribuzione.
- I metodi supervisionati offrono generalmente una maggiore accuratezza ma richiedono dati etichettati e possono necessitare di riaddestramento per nuovi modelli.
- I metodi generativi (come quelli basati su prompt) sono flessibili ma possono essere dispendiosi in termini di risorse o inaffidabili a causa dell'overconfidence del modello.
- I metodi basati su RL offrono adattabilità ma introducono complessità nel training e nella gestione dello stato.
Generalizzazione: Una sfida ricorrente è l'incapacità di molti approcci di apprendimento transduttivo di generalizzare a nuovi candidati di routing senza riaddestramento. Gli approcci induttivi (ad es. GraphRouter, clustering-based performance vectors) mostrano risultati promettenti nel risolvere questo problema.
Benchmarking: Il documento nota una mancanza di valutazione standardizzata, con molti studi che utilizzano baseline non standard. Evidenzia l'emergere di benchmark come RouterBench e MixInstruct.

4. Limitazioni e sfide

Il documento identifica alcune critiche limitazioni nell'attuale stato del campo:

Definizione di costo: Molti studi si concentrano esclusivamente sui costi finanziari, trascurando l'impatto computazionale e ambientale.
Standardizzazione: Vi è una mancanza di framework standardizzati per valutare le strategie di routing, rendendo difficile un confronto oggettivo.
Diversità dei candidati: Le prestazioni del routing dipendono fortemente dalla complementarità del pool di candidati. Modelli ridondanti (ad es. della stessa dimensione, con training generalista) offrono vantaggi limitati.
Architetture statiche: La maggior parte dei sistemi è statica; aggiungere nuovi modelli o workflow richiede tipicamente il riaddestramento dell'intera infrastruttura di routing, ostacolando la scalabilità in ambienti dinamici.
Overconfidence: I metodi di routing generativo che si affidano alla confidenza verbalizzata soffrono spesso dell'eccessiva sicurezza degli LLM, portando a decisioni subottimali.

5. Significato e direzioni future

Questa survey mira a fornire una panoramica completa e a formalizzare il routing come un problema di ottimizzazione prestazione-costo. Il suo significato risiede in:

Tassonomia: Fornire una classificazione strutturata delle strategie di routing (pre/post-generazione, similarity/supervised/RL/generative).
Trasferimento industriale: Evidenziare il divario tra ricerca e industria, dove molte aziende utilizzano ancora routing semplicistici condizionali o basati su prompt. Il documento sostiene il trasferimento di strategie leggere e supportate dalla ricerca verso le applicazioni industriali.
Ricerca futura: Gli autori auspicano:
- L'integrazione dei costi computazionali e ambientali nell'obiettivo di ottimizzazione.
- Lo stabilire di baseline standardizzate (random, oracle, best standalone) per la valutazione.
- Lo sviluppo di strategie di routing autonome e adattive che possano generalizzare a nuovi componenti senza riaddestramento, trattando il router come un agente dinamico all'interno del sistema.
- L'estensione del routing oltre la fase di generazione per includere la selezione degli embedding, le strategie di retrieval e il design delle pipeline.

Il documento conclude che il routing offre una via pratica per migliorare l'efficienza dei sistemi basati su LLM, consentendo lo sviluppo di sistemi adattivi e a basso costo senza sacrificare le prestazioni.