From Prompt to Service: An SLM-Based Agent Orchestration Gateway for AI-Driven Virtual Worlds

Resumo Técnico: Um Gateway de Orquestração de Agentes Baseado em SLM para Mundos Virtuais Impulsionados por IA

Declaração do Problema
À medida que as capacidades da IA generativa se expandem, os mundos virtuais impulsionados por IA enfrentam um desafio arquitetônico significativo: os usuários interagem por meio de interfaces multimodais, mas suas solicitações exigem modelos de backend e recursos computacionais fundamentalmente diferentes (por exemplo, diálogo conversacional, tradução, recuperação de domínio específico ou geração de ativos 3D). Incorporar diretamente essas diversas capacidades nos clientes de mundos virtuais reduz a extensibilidade, complica a manutenção e limita a capacidade de coordenar serviços distribuídos entre infraestruturas de borda (edge) e nuvem. As abordagens atuais carecem frequentemente de uma camada de coordenação em tempo de execução capaz de interpretar a intenção do usuário e rotear solicitações para serviços de IA heterogêneos sem acoplar rigidamente o cliente a endpoints, formatos de carga útil ou locais de implantação específicos.

Metodologia
Os autores propõem e avaliam um Gateway de Orquestração de Agentes baseado em SLM, um mecanismo de coordenação de tempo de execução leve projetado para desacoplar clientes de mundos virtuais de backends de IA heterogêneos. O sistema opera da seguinte forma:

1. Arquitetura: O gateway é implementado como um serviço FastAPI baseado em Python rodando em um dispositivo de borda (NVIDIA Jetson Orin NX 8GB). Ele expõe um único endpoint REST ao cliente do mundo virtual.
2. Roteamento de Intenção: Ao receber um prompt do usuário, o gateway o encaminha para um Roteador de Intenção alimentado por um Modelo de Linguagem Pequeno (SLM). O roteador classifica a intenção semântica e retorna uma decisão em JSON estruturado (rota selecionada, rótulo de intenção, pontuação de confiança e consulta normalizada).
3. Registro de Serviço e Validação: Um registro configurável mantém o catálogo de serviços disponíveis (por exemplo, RAG, LLMs ajustados/fine-tuned, geração de texto para 3D). O gateway valida a decisão do roteador contra este registro antes de invocar o backend apropriado.
4. Configuração de Avaliação: O sistema foi testado dentro do testbed do museu virtual InterwovenXR, focando em um cenário envolvendo a Igreja Panagia Aggeloktisti. A avaliação abordou duas Questões de Pesquisa (RQs):
   • RQ1: Podem os SLMs compactos servir como roteadores de intenção confiáveis em hardware de borda?
   • RQ2: Uma configuração em camadas (separando o reconhecimento de intenção da geração de resposta) oferece vantagens práticas sobre uma configuração de modelo único?
5. Design Experimental:
   • Estágio 1: Avaliou a precisão do roteamento, taxas de saída inválida e latência usando um conjunto de dados de 500 prompts através de cinco rotas de serviço (Conversacional, Adaptação de Linguagem, Especialista de Domínio, Recuperação de Conhecimento, Geração de Ativos). Várias famílias de SLMs (incluindo Qwen2.5 e SmolLM2) foram testadas, com modelos de menos de um bilhão de parâmetros passando por ajuste fino (fine-tuning) específico para a tarefa via 4-bit QLoRA.
   • Estágio 2: Avaliou a latência de ponta a ponta para uma configuração em camadas onde um modelo sub-bilhão ajustado lidava com o roteamento, e um SLM maior lidava com a geração de resposta conversacional localmente.

Principais Resultados

• Precisão de Roteamento: Modelos base de menos de um bilhão de parâmetros (ex: Qwen2.5-0.5B, SmolLM2-360M) apresentaram desempenho pobre sem adaptação (16–24% de precisão). No entanto, o ajuste fino específico para a tarefa (fine-tuning) melhorou significativamente o desempenho. O Qwen2.5-0.5B-FT ajustado alcançou 83,00% de precisão de roteamento com uma latência média de 392,0 ms, uma melhoria substancial sobre seu modelo base mantendo baixa latência.
• Saídas Inválidas: O ajuste fino também reduziu as taxas de saída JSON inválida, embora o SmolLM2-360M-FT ainda tenha exibido uma taxa mais alta (22,60%) em comparação ao Qwen2.5-0.5B-FT (3,20%).
• Configuração em Camadas: A abordagem em camadas (roteador ajustado + modelo conversacional maior) provou ser viável em hardware de borda de gama média. Todos os quatro pares testados alcançaram latências médias de ponta a ponta abaixo de 1,6 segundos (mediana < 1,5s), atendendo ao limiar de 2 segundos para uso interativo.
• Eficiência: A configuração em camadas mostrou-se mais rápida do que usar um único modelo maior para roteamento e geração. Por exemplo, o par SmolLM2-360M-FT + Qwen2.5-1,5B alcançou uma latência média de 1306,06 ms, demonstrando que separar a etapa de decisão reduz o custo computacional sem sacrificar a qualidade da resposta para tarefas conversacionais.

Significância e Contribuições
O artigo reivindica três contribuições primárias:

1. Padrão Arquitetural: Introduz uma arquitetura de roteamento de serviço desacoplada e orientada por intenção que permite que agentes virtuais atuem como pontos de acesso unificados a serviços de IA generativa distribuídos, permitindo a extensibilidade sem modificações no lado do cliente.
2. Viabilidade de SLMs Ajustados: Demonstra que modelos compactos, de menos de um bilhão de parâmetros, quando ajustados para tarefas de roteamento específicas, podem servir como roteadores de intenção confiáveis e de baixa latência em hardware de borda, superando suas limitações em seguimento de instruções gerais.
3. Estratégia de Orquestração em Camadas: Fornece evidência empírica de que uma configuração em camadas — usando um modelo muito pequeno para reconhecimento rápido de intenção e um modelo compacto maior para geração de resposta — é mais eficiente e prática para mundos virtuais suportados por borda do que delegar ambas as tarefas a um único modelo.

Limitações e Trabalhos Futuros
Os autores observam que a avaliação foi conduzida dentro de um conjunto de dados controlado e um único cenário de museu virtual, limitando a generalização para outros domínios. O estudo mediu a precisão do roteamento e a latência, mas não avaliou a qualidade perceptiva das respostas geradas por meio de estudos com usuários. Além disso, os modelos ajustados são específicos para o esquema de roteamento definido, exigindo retreinamento caso as definições de serviço mudem. Trabalhos futuros visam avaliar arquiteturas menores (<500M de parâmetros), expandir o conjunto de dados para incluir diálogos de múltiplos turnos e prompts ambíguos, e realizar estudos de usuários interativos completos para medir engajamento e imersão.