From Prompt to Service: An SLM-Based Agent Orchestration Gateway for AI-Driven Virtual Worlds

Resumen Técnico: Una Pasarela de Orquestación de Agentes Basada en SLM para Mundos Virtuales Impulsados por IA

Declaración del Problema
A medida que las capacidades de la IA generativa se expanden, los mundos virtuales impulsados por IA enfrentan un desafío arquitectónico significativo: los usuarios interactúan a través de interfaces multimodales, pero sus peticiones demandan modelos de backend y recursos computacionales fundamentalmente diferentes (por ejemplo, diálogo conversacional, traducción, recuperación de dominio específico o generación de activos 3D). Integrar directamente estas diversas capacidades en los clientes de los mundos virtuales reduce la extensibilidad, complica el mantenimiento y limita la capacidad de coordinar servicios distribuidos entre la infraestructura de borde (edge) y la nube. Los enfoques actuales carecen a menudo de una capa de coordinación en tiempo de ejecución capaz de interpretar la intención del usuario y enrutar las peticiones a servicios de IA heterogéneos sin acoplar estrechamente al cliente con endpoints, formatos de carga útil o ubicaciones de despliegue específicos.

Metodología
Los autores proponen y evalúan una Pasarela de Orquestación de Agentes basada en SLM, un mecanismo de coordinación en tiempo de ejecución ligero diseñado para desacoplar los clientes de mundos virtuales de los backends de IA heterogéneos. El sistema opera de la siguiente manera:

1. Arquitectura: La pasarela se implementa como un servicio FastAPI basado en Python que se ejecuta en un dispositivo de borde (NVIDIA Jetson Orin NX 8GB). Expone un único endpoint REST al cliente del mundo virtual.
2. Enrutamiento de Intenciones: Al recibir un prompt del usuario, la pasarela lo reenvía a un Enrutador de Intenciones impulsado por un Modelo de Lenguaje Pequeño (SLM). El enrutador clasifica la intención semántica y devuelve una decisión en formato JSON estructurado (ruta seleccionada, etiqueta de intención, puntuación de confianza y consulta normalizada).
3. Registro y Validación de Servicios: Un registro configurable mantiene el catálogo de servicios disponibles (por ejemplo, RAG, LLMs ajustados, texto a 3D). La pasarela valida la decisión del enrutador contra este registro antes de invocar el backend apropiado.
4. Configuración de Evaluación: El sistema fue probado dentro del banco de pruebas del museo virtual InterwovenXR, centrándose en un escenario relacionado con la Iglesia Panagia Aggeloktisti. La evaluación abordó dos Preguntas de Investigación (RQ):
   • RQ1: ¿Pueden los SLM compactos servir como enrutadores de intención fiables en hardware de borde?
   • RQ2: ¿Ofrece una configuración por capas (separando el reconocimiento de la intención de la generación de la respuesta) ventajas prácticas sobre una configuración de un solo modelo?
5. Diseño Experimental:
   • Etapa 1: Se evaluó la precisión del enrutamiento, las tasas de salida inválida y la latencia utilizando un conjunto de datos de 500 prompts a través de cinco rutas de servicio (Conversacional, Adaptación de Lenguaje, Experto de Dominio, Recuperación de Conocimiento, Generación de Activos). Se probaron varios SLM (incluyendo las familias Qwen2.5 y SmolLM2), donde los modelos de menos de mil millones de parámetros se sometieron a un ajuste fino (fine-tuning) específico para la tarea mediante 4-bit QLoRA.
   • Etapa 2: Se evaluó la latencia de extremo a extremo para una configuración por capas donde un modelo sub-billón ajustado gestionaba el enrutamiento, y un SLM más grande gestionaba la generación de respuestas conversacionales localmente.

Resultos Clave

• Precisión de Enrutamiento: Los modelos base de menos de mil millones de parámetros (por ejemplo, Qwen2.5-0.5B, SmolLM2-360M) funcionaron deficientemente sin adaptación (16–24% de precisión). Sin embargo, el ajuste fino específico para la tarea mejoró significamente el rendimiento. El modelo Qwen2.5-0.5B-FT ajustado logró una precisión de enrutamiento del 83.00% con una latencia promedio de 392.0 ms, una mejora sustancial respecto a su modelo base manteniendo una baja latencia.
• Salidas Inválidas: El ajuste fino también redujo las tasas de salida JSON inválida, aunque SmolLM2-360M-FT todavía exhibió una tasa más alta (22.60%) en comparación con Qwen2.5-0.5B-FT (3.20%).
• Configuración por Capas: El enfoque por capas (enrutador ajustado + modelo conversacional más grande) demostró ser factible en hardware de borde de gama media. Las cuatro combinaciones probadas lograron latencias promedio de extremo a extremo por debajo de 1.6 segundos (mediana < 1.5s), cumpliendo con el umbral de 2 segundos para uso interactivo.
• Eficiencia: Se encontró que la configuración por capas era más rápida que utilizar un único modelo más grande para tanto el enrutamiento como la generación. Por ejemplo, la combinación SmolLM2-360M-FT + Qwen2.5-1.5B logró una latencia promedio de 1306.06 ms, demostrando que separar la etapa de decisión reduce el costo computacional sin sacrificar la calidad de la respuesta para tareas conversacionales.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Patrón Arquitectónico: Introduce una arquitectura de enrutamiento de servicios desacoplada e impulsada por la intención que permite que los agentes virtuales actúen como puntos de acceso unificados a servicios de IA generativa distribuidos, permitiendo la extensibilidad sin modificaciones en el lado del cliente.
2. Viabilidad de los SLM Ajustados: Demuestra que los modelos compactos, de menos de mil millones de parámetros, cuando se ajustan para tareas de enrutamiento específicas, pueden servir como enrutadores de intención fiables y de baja latencia en hardware de borde, superando sus limitaciones en el seguimiento de instrucciones generales.
3. Estrategia de Orquestación por Capas: Proporciona evidencia empírica de que una configuración por capas —utilizando un modelo muy pequeño para un reconocimiento de intención rápido y un modelo compacto más grande para la generación de respuestas— es más eficiente y práctica para mundos virtuales soportados por el borde que delegar ambas tareas a un solo modelo.

Limitaciones y Trabajo Futuro
Los autores señalan que la evaluación se realizó dentro de un conjunto de datos controlado y un único escenario de museo virtual, lo que limita la generalizabilidad a otros dominios. El estudio midió la precisión de enrutamiento y la latencia, pero no evaluó la calidad perceptual de las respuestas generadas mediante estudios con usuarios. Además, los modelos ajustados son específicos para el esquema de enrutamiento definido, lo que requiere un reentrenamiento si las definiciones de los servicios cambian. El trabajo futuro pretende evaluar arquitecturas más pequeñas (<500M de parámetros), expandir el conjunto de datos para incluir diálogos de múltiples turnos y prompts ambiguos, y realizar estudios de usuario interactivos completos para medir el compromiso y la inmersión.