From Prompt to Service: An SLM-Based Agent Orchestration Gateway for AI-Driven Virtual Worlds

Sintesi Tecnica: Un Gateway di Orchestrazione di Agenti basato su SLM per Mondi Virtuali Guidati dall'IA

Problematica
Con l'espansione delle capacità dell'IA generativa, i mondi virtuali guidati dall'IA affrontano una significativa sfida architettonica: gli utenti interagiscono attraverso interfacce multimodali, ma le loro richieste richiedono modelli backend e risorse computazionali fondamentalmente diversi (ad esempio, dialogo conversazionale, traduzione, recupero specifico del dominio o generazione di asset 3D). L'integrazione diretta di queste diverse capacità nei client dei mondi virtuali riduce l'estensibilità, complica la manutenzione e limita la capacità di coordinare i servizi distribuiti tra infrastrutture edge e cloud. Gli approcci attuali spesso mancano di uno strato di coordinamento a runtime capace di interpretare l'intento dell'utente e instradare le richieste verso servizi IA eterogenei senza accoppiare strettamente il client a endpoint, formati di payload o posizioni di deployment specifici.

Metodologia
Gli autori propongono e valutano un Gateway di Orchestrazione di Agenti basato su SLM, un leggero meccanismo di coordinamento a runtime progettato per disaccoppiare i client dei mondi virtuali dai backend IA eterogenei. Il sistema opera come segue:

1. Architettura: Il gateway è implementato come un servizio FastAPI basato su Python in esecuzione su un dispositivo edge (NVIDIA Jetson Orin NX 8GB). Espone un singolo endpoint REST al client del mondo virtuale.
2. Routing dell'Intento: Al ricevimento di un prompt dell'utente, il gateway lo inoltra a un Intent Router alimentato da un Modello di Linguaggio Piccolo (SLM). Il router classifica l'intento semantico e restituisce una decisione JSON strutturata (rotta selezionata, etichetta dell'intento, punteggio di confidenza e query normalizzata).
3. Registro dei Servizi e Validazione: Un registro configurabile mantiene il catalogo dei servizi disponibili (ad esempio, RAG, LLM specializzati, text-to-3D). Il gateway valida la decisione del router rispetto a questo registro prima di invocare il backend appropriato.
4. Configurazione della Valutazione: Il sistema è stato testato all'interno del testbed del museo virtuale InterwovenXR, focalizzandosi su uno scenario relativo alla Chiesa di Panagia Aggeloktisti. La valutazione ha affrontato due Questioni di Ricerca (RQ):
   • RQ1: Gli SLM compatti possono fungere da router di intento affidabili su hardware edge?
   • RQ2: Una configurazione a strati (che separa il riconoscimento dell'intento dalla generazione della risposta) offre vantaggi pratici rispetto a una configurazione con un singolo modello?
5. Design Sperimentale:
   • Fase 1: È stata valutata l'accuratezza del routing, i tassi di output non validi e la latenza utilizzando un dataset di 500 prompt attraverso cinque rotte di servizio (Conversazionale, Adattamento Linguistico, Esperto di Dominio, Recupero Conoscenza, Generazione Asset). Varie famiglie di SLM (inclusi Qwen2.5 e SmolLM2) sono state testate, con modelli sub-miliardari sottoposti a fine-tuning specifico per il compito tramite QLoRA a 4 bit.
   • Fase 2: È stata valutata la latenza end-to-end per una configurazione a strati in cui un modello sub-miliardario sottoposto a fine-tuning gestiva il routing, e un SLM più grande gestiva la generazione della risposta conversazionale localmente.

Risultati Chiave

• Accuratezza del Routing: I modelli base sub-miliardari (ad esempio, Qwen2.5-0.5B, SmolLM2-360M) hanno performato scarsamente senza adattamento (accuratezza del 16–24%). Tuttavia, il fine-tuning specifico per il compito ha migliorato significativamente le prestazioni. Il modello Qwen2.5-0.5B-FT ha raggiunto un'accuratezza di routing dell'83.00% con una latenza media di 392.0 ms, un miglioramento sostanziale rispetto al modello base pur mantenendo una bassa latenza.
• Output Non Validi: Anche il fine-tuning ha ridotto i tassi di output JSON non validi, sebbene SmolLM2-360M-FT abbia mostrato ancora un tasso più elevato (22.60%) rispetto a Qwen2.5-0.5B-FT (3.20%).
• Configurazione a Strati: L'approccio a strati (router fine-tuned + modello conversazionale più grande) si è dimostrato fattibile su hardware edge di fascia media. Tutte e quattro le coppie testate hanno raggiunto latenze medie end-to-end inferiori a 1.6 secondi (mediana < 1.5s), soddisfacendo la soglia dei 2 secondi per l'uso interattivo.
• Efficienza: La configurazione a strati è risultata essere più veloce rispetto all'uso di un singolo modello più grande per sia il routing che la generazione. Ad esempio, la coppia SmolLM2-360M-FT + Qwen2.5-1.5B ha raggiunto una latenza media di 1306.06 ms, dimostrando che la separazione della fase decisionale riduce il costo computazionale senza sacrificare la qualità della risposta per i compiti conversazionali.

Significatività e Contributi
L'articolo rivendica tre contributi primari:

1. Pattern Architetturale: Introduce un'architettura di routing dei servizi disaccoppiata e guidata dall'intento che consente agli agenti virtuali di agire come punti di accesso unificati a servizi di IA generativa distribuiti, abilitando l'estensibilità senza modifiche al client.
2. Viabilità degli SLM Fine-Tuned: Dimostra che i modelli compatti, con meno di un miliardo di parametri, quando sottoposti a fine-tuning per compiti di routing specifici, possono fungere da router di intento affidabili e a bassa latenza su hardware edge, superando i loro limiti nel seguire istruzioni generali.
3. Strategia di Orchestrazione a Strati: Fornisce prove empiriche che una configurazione a strati — che utilizza un modello molto piccolo per il riconoscimento rapido dell'intento e un modello compatto più grande per la generazione della risposta — è più efficiente e pratica per i mondi virtuali supportati da edge rispetto alla delega di entrambi i compiti a un singolo modello.

Limitazioni e Lavori Futuri
Gli autori notano che la valutazione è stata condotta all'interno di un dataset controllato e di un singolo scenario di museo virtuale, limitando la generalizzabilità ad altri domini. Lo studio ha misurato l'accuratezza del routing e la latenza, ma non ha valutato la qualità percettiva delle risposte generate tramite studi sugli utenti. Inoltre, i modelli fine-tuned sono specifici per lo schema di routing definito, richiedendo un nuovo addestramento se le definizioni dei servizi cambiano. Il lavoro futuro mira a valutare architetture più piccole (<500M di parametri), espandere il dataset per includere dialoghi multi-turno e prompt ambigui, e condurre studi completi sull'interattività con gli utenti per misurare l'engagement e l'immersione.