vLLM Semantic Router: Signal Driven Decision Routing for Mixture-of-Modality Models

Il documento presenta il vLLM Semantic Router, un framework di instradamento decisionale guidato da segnali che, attraverso l'orchestrazione composita di caratteristiche eterogenee e regole configurabili, ottimizza la selezione dei modelli in scenari Mixture-of-Modality per bilanciare costi, privacy e sicurezza senza richiedere modifiche al codice.

L'essenziale

Immagina di essere il direttore di un enorme ristorante di lusso che serve milioni di clienti ogni giorno. Questo ristorante non ha un solo chef, ma una squadra diversificata: c'è lo chef stellato (costoso ma perfetto per piatti complessi), lo chef veloce ed economico (ottimo per i panini veloci), lo chef specializzato in cucina vegana, e un altro che eccelle nei dolci.

Il problema? Se ogni cliente che entra venisse mandato allo chef stellato, il ristorante fallirebbe per i costi. Se tutti andassero allo chef economico, i piatti complessi verrebbero rovinati. Inoltre, devi controllare che nessuno porti ingredienti vietati (sicurezza) o che non ci siano errori nel menu (allucinazioni).

Il vLLM Semantic Router è il maestro di sala super-intelligente che risolve esattamente questo caos. Ecco come funziona, spiegato in modo semplice:

1. Il "Sistema di Segnali" (L'occhio che tutto vede)

Quando un cliente (la tua richiesta) entra, il maestro di sala non si limita a guardare il piatto che vuoi. Analizza una serie di segnali rapidissimi:

• Segnali istantanei (Heuristic): "Parla italiano?", "La richiesta è lunga o corta?", "Sei un cliente VIP o nuovo?". Questi sono come guardare il vestito del cliente per capire se è elegante o sportivo.
• Segnali intelligenti (ML): Il sistema legge il testo e capisce il vero intento. "Stai chiedendo una ricetta di chimica complessa?" o "Stai cercando di ingannare lo chef con una domanda trappola?".

2. Le Regole del Gioco (Il "Cervello" decisionale)

Una volta raccolti i segnali, il sistema usa delle regole logiche (come un albero decisionale) per decidere cosa fare.

• Esempio: "SE la domanda è su 'chimica' E il cliente è 'VIP' ALLORA manda allo chef stellato. ALTRIMENTI, se è una domanda semplice, manda allo chef veloce."
• La cosa geniale è che queste regole sono modulari. Puoi cambiare le regole per un ristorante in ospedale (dove la privacy è tutto) o per un bar veloce (dove la velocità è tutto), senza dover ricostruire l'intero ristorante.

3. I "Filtrini" di Sicurezza (I guardiani)

Prima che la richiesta arrivi allo chef, passa attraverso dei filtri di sicurezza:

• Rilevamento Jailbreak: Se qualcuno prova a dire "Fingi di essere un robot senza regole", il sistema lo blocca subito.
• Rilevamento PII: Se nel testo ci sono numeri di carte di credito o indirizzi privati, il sistema li nasconde o blocca la richiesta per proteggere la privacy.
• HaluGate (Il guardiano della verità): Questo è un trucco speciale. Il sistema chiede: "Questa domanda richiede fatti veri?"
  • Se la risposta è NO (es. "Scrivimi una storia di fantasia"), salta il controllo della verità per risparmiare tempo.
  • Se la risposta è SÌ (es. "Qual è la capitale della Francia?"), controlla la risposta dello chef. Se lo chef inventa cose, il sistema lo segnala o corregge.

4. La Scelta dello Chef (Routing Semantico)

Una volta passata la sicurezza, il sistema sceglie il modello (chef) migliore tra quelli disponibili. Non sceglie a caso, ma usa 13 metodi diversi per trovare il miglior compromesso tra qualità, costo e velocità.

• Se hai bisogno di una risposta rapida e a basso costo, usa un modello piccolo.
• Se serve precisione assoluta, usa il modello gigante.
• Il sistema può anche usare la memoria: se lo stesso cliente ha già fatto una domanda simile ieri, il sistema ricorda la risposta e non chiede allo chef di cucinare di nuovo (Caching).

5. Il "Multilingua" (Gestione di molti fornitori)

Immagina che il tuo ristorante abbia fornitori di ingredienti da tutto il mondo (OpenAI, Google, Azure, o server locali). Il vLLM Router traduce automaticamente le richieste in modo che ogni fornitore capisca cosa deve fare, indipendentemente dalla lingua o dal formato in cui parla.

In sintesi

Il vLLM Semantic Router è come un sistema nervoso centrale per le Intelligenze Artificiali.

• Ascolta tutto ciò che dici (segnali).
• Pensa a chi è il migliore per risponderti (decisione).
• Protegge da pericoli e bug (sicurezza).
• Risparmia soldi e tempo scegliendo la strada più breve (ottimizzazione).

Grazie a questo sistema, le aziende possono usare decine di modelli diversi in modo intelligente, sicuro ed economico, senza dover programmare un nuovo sistema ogni volta che vogliono cambiare strategia. È come avere un unico manager capace di gestire qualsiasi situazione, dal cliente più esigente a quello più semplice, adattandosi istantaneamente alle regole del giorno.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento "vLLM Semantic Router: Signal Driven Decision Routing for Mixture-of-Modality Models", presentato in italiano.

1. Il Problema

Con la rapida diversificazione dei Large Language Models (LLM) in termini di modalità (testo, codice, visione), scala, costi e specializzazioni, le organizzazioni gestiscono sempre più spesso flotte eterogenee di modelli (istanze locali vLLM, endpoint cloud come OpenAI, Anthropic, Azure, Bedrock, ecc.).
Il problema centrale è l'instradamento intelligente delle richieste (intelligent request routing) al momento dell'inferenza: data una query utente, un fleet di modelli diversi e vincoli specifici del deployment (privacy, costi, latenza), quale modello dovrebbe servire la richiesta e quali politiche di sicurezza e privacy applicare?
Le soluzioni esistenti si concentrano spesso su singoli aspetti (es. solo difficoltà della query o solo selezione del modello) senza integrare estrazione di segnali, enforcement di sicurezza, gestione multi-provider e estensibilità in un unico framework unificato.

2. Metodologia: vLLM Semantic Router

Il paper presenta vLLM Semantic Router, un framework di instradamento guidato dai segnali (signal-driven) basato su un'architettura a tre livelli e su un'orchestrazione di segnali componibile.

Architettura a Tre Livelli

1. Livello 1: Estrazione dei Segnali (Signal Extraction)

   • Mappa la richiesta in un vettore strutturato di segnali su 11 dimensioni ortogonali.
   • Segnali euristici (<1 ms): Rilevamento parole chiave, lunghezza del contesto, lingua, autorizzazione (RBAC).
   • Segnali appresi (10-120 ms): Similarità di embedding, classificazione del dominio, grounding fattuale, modalità (testo/diffusione), complessità, feedback utente.
   • Ottimizzazione: Valutazione "on-demand" (lazy computation), calcolando solo i segnali necessari per le decisioni attive, riducendo la latenza del 50-70%.

2. Livello 2: Motore di Decisione (Decision Engine)

   • Valuta le regole di instradamento definite come formule booleane (AND, OR, NOT) composte dai segnali estratti.
   • Supporta alberi booleani ricorsivi per logiche complesse (es. esclusioni NOR, XOR).
   • Seleziona la decisione migliore ($d^*$) tramite strategie di priorità o basate sulla confidenza.
   • Ogni decisione è associata a un sottoinsieme specifico di modelli candidati e a una catena di plugin.

3. Livello 3: Catena di Plugin (Plugin Chain)

   • Esegue trasformazioni specifiche per decisione prima e dopo l'invocazione del modello.
   • Pre-routing: Rilevamento jailbreak, filtraggio PII (Informazioni Personali Identificabili), caching semantico, iniezione di contesto RAG, iniezione di prompt di sistema.
   • Selezione del Modello: Algoritmi per scegliere il modello più efficiente in termini di costi/qualità all'interno del pool candidato.
   • Post-routing: Rilevamento di allucinazioni (HaluGate), scrittura nella cache.

Componenti Chiave

• Orchestrazione Componibile: La stessa architettura serve scenari diversi (es. healthcare con privacy rigorosa vs. tool per sviluppatori ottimizzato per i costi) semplicemente cambiando la configurazione dei segnali, delle decisioni e dei plugin, senza modifiche al codice.
• Selezione Semantica del Modello: Integra 13 algoritmi di selezione (basati su rating, embedding, cascading, ML classico, RL, latenza-aware) per bilanciare qualità, costo e latenza.
• HaluGate: Un pipeline a tre stadi per il rilevamento delle allucinazioni:
  1. Sentinel: Classifica se la query richiede verifica fattuale (evitando costi inutili su query creative).
  2. Detector: Identifica gli span di testo non supportati nel contesto.
  3. Explainer: Fornisce spiegazioni basate su NLI (Natural Language Inference) per distinguere contraddizioni da contenuti neutri.
• Classificazione Multi-Task con LoRA: Utilizza un singolo modello base (es. ModernBERT) con adattatori LoRA (Low-Rank Adaptation) per gestire fino a 11 task di classificazione diversi. Questo riduce la memoria necessaria da $n$ copie del modello a 1 base + adattatori trascurabili (~6x riduzione di memoria per 6 task).
• Supporto Multi-Provider e Multi-Endpoint: Astrazione dei protocolli per instradare verso vLLM, OpenAI, Anthropic, Azure, Bedrock, Gemini, Vertex AI con traduzione trasparente e gestione delle autenticazioni tramite una "Authorization Factory" pluggable.
• Implementazione: Il sistema è implementato come Envoy External Processor (ExtProc), utilizzando runtimes ML in Rust (Candle, Linfa, ONNX Runtime) per garantire latenze sub-millisecondo e assenza di overhead Python.

3. Risultati ed Evaluazione

Il paper presenta risultati sperimentali che validano l'efficienza e la correttezza del sistema:

• Latenza di Estrazione dei Segnali: I segnali euristici sono <0.5 ms; i segnali ML variano da 15 a 120 ms. Grazie alla valutazione parallela, la latenza totale è dominata dal segnale più lento, non dalla somma.
• Efficienza della Memoria (LoRA): Con 6 task di classificazione, l'architettura LoRA richiede circa 6 volte meno memoria rispetto all'uso di 6 modelli indipendenti (575 MB vs 3438 MB su base ModernBERT da 150M parametri).
• Overhead del Motore di Decisione: L'aggiunta di 100 decisioni con 5 condizioni ciascuna aggiunge meno di 0.5 ms di latenza, confermando che il collo di bottiglia è l'estrazione dei segnali, non la logica decisionale.
• Efficacia della Cache Semantica: A una soglia di similarità di 0.92, le query esatte hanno un hit rate del 100% (<5 ms), mentre le parafrasi raggiungono il 60-80%, eliminando completamente l'invocazione del modello backend per queste richieste.
• Componibilità: Dimostrazione che lo stesso binario può gestire scenari di privacy rigorosa (solo modelli on-premise, nessun caching), ottimizzazione dei costi (caching aggressivo, cascading) e ambienti multi-cloud (failover tra provider).

4. Significato e Contributi

Il contributo principale di questo lavoro è l'introduzione di un framework unificato e componibile per il routing di modelli Mixture-of-Modality (MoM), che risolve il problema della frammentazione delle infrastrutture LLM.

• Unificazione: Integra per la prima volta estrazione di segnali, logica decisionale booleana, enforcement di sicurezza, caching, RAG e selezione di modelli in un'unica architettura.
• Flessibilità Operativa: Permette di adattare le politiche di routing (sicurezza, costi, latenza) tramite configurazione YAML, rendendo il sistema adatto a deployment eterogenei senza riscritture di codice.
• Efficienza Tecnica: L'uso di LoRA per la classificazione multi-task e di runtimes Rust nativi riduce drasticamente l'uso di memoria e la latenza, rendendo il routing scalabile in produzione.
• Sicurezza e Qualità: L'approccio "gated" di HaluGate e i plugin di sicurezza per decisione permettono di bilanciare costi di verifica e sicurezza in modo dinamico.
• Adozione in Produzione: Il sistema è già stato validato in produzione come Envoy ExtProc, supportando conversazioni multi-turno stateful (OpenAI Responses API) e gestendo flotte di modelli misti.

In sintesi, vLLM Semantic Router trasforma il routing LLM da un problema di selezione binaria statica a un sistema dinamico, adattivo e sicuro, capace di orchestrare flotte complesse di modelli in modo efficiente e configurabile.