vLLM Semantic Router: Signal Driven Decision Routing for Mixture-of-Modality Models

O artigo apresenta o vLLM Semantic Router, um framework de roteamento de decisões baseado em sinais que orquestra características heterogêneas e regras configuráveis para direcionar dinamicamente solicitações a modelos de mistura de modalidades adequados, garantindo otimização de custos, privacidade e segurança em ambientes de produção diversos.

O essencial

Imagine que você é o gerente de um grande shopping center de inteligência artificial. Neste shopping, existem várias lojas (modelos de IA), cada uma com uma especialidade diferente:

• A Loja A é super rápida e barata, mas só entende perguntas simples.
• A Loja B é um gênio em matemática, mas cobra caro.
• A Loja C é especialista em desenhar imagens.
• A Loja D é um especialista em segurança, que checa se o cliente está tentando trapacear.

O problema é: quando um cliente chega na porta com uma pergunta, como você sabe qual loja deve atendê-lo? Se você mandar uma pergunta complexa para a Loja A, ela vai falhar. Se mandar uma pergunta simples para a Loja B, você vai gastar dinheiro à toa. E se o cliente tentar entrar com uma pergunta perigosa, você precisa de um segurança antes de deixá-lo entrar em qualquer loja.

O vLLM Semantic Router é o sistema de segurança e recepção inteligente que resolve esse caos. Ele foi criado para organizar esse "shopping" de IAs.

Aqui está como ele funciona, usando analogias do dia a dia:

1. O "Detetive de Sinais" (Signal Extraction)

Antes de decidir para onde mandar o cliente, o sistema olha para a pergunta e coleta "pistas" (sinais). É como um detetive reunindo evidências:

• Pistas Rápidas (Heurísticas): O sistema olha a linguagem (é português?), o tamanho da pergunta (é curta ou um livro inteiro?) e quem é o cliente (é um VIP ou um visitante comum?). Isso é feito em milésimos de segundo.
• Pistas Profundas (Neurais): O sistema usa "óculos de raio-X" (modelos de IA leves) para entender o significado da pergunta. É sobre o tema? É um código de programação? É uma pergunta que exige fatos reais ou é apenas uma história criativa?

2. O "Jogo de Decisão" (Decision Engine)

Agora que o detetive tem as pistas, o sistema usa um conjunto de regras lógicas (como um jogo de "Se... Então...") para decidir o destino.

• Exemplo: "SE a pergunta é sobre saúde E o cliente é um médico, ENTÃO mande para a Loja de Segurança Máxima (sem guardar dados na nuvem)."
• Exemplo: "SE a pergunta é sobre um código simples E o cliente quer rapidez, ENTÃO mande para a Loja Barata e Rápida."

A genialidade aqui é que você não precisa reescrever o código do shopping inteiro para mudar as regras. Você só muda o manual de instruções (configuração). O mesmo sistema serve para um hospital (que precisa de privacidade total) e para um desenvolvedor (que quer o modelo mais barato).

3. O "Corredor de Segurança" (Plugin Chain)

Antes de o cliente entrar na loja escolhida, ele passa por um corredor de segurança com várias portas:

• Porta do Segurança (Jailbreak): Verifica se o cliente está tentando enganar a IA para fazer coisas proibidas.
• Porta do Advogado (PII): Verifica se o cliente está falando sobre segredos pessoais (como números de cartão de crédito ou CPF) e os apaga antes de passar adiante.
• Porta do Arquivo (Cache): Se alguém já fez essa mesma pergunta antes, o sistema entrega a resposta antiga instantaneamente, sem precisar chamar a loja de novo.
• Porta do Assistente (RAG): Se a pergunta precisa de dados externos, o sistema busca no arquivo da empresa antes de enviar para a IA.

4. O "Detector de Alucinações" (HaluGate)

Às vezes, a IA inventa coisas que parecem verdadeiras, mas são falsas (alucinações). O sistema tem um filtro inteligente:

• Se a pergunta é sobre "como escrever um poema", o sistema pula a verificação de fatos (porque poemas não precisam ser fatos).
• Se a pergunta é "qual a capital da França?", o sistema ativa um detector rigoroso. Se a IA disser "Paris é a capital da Alemanha", o sistema pega a resposta, marca o erro e avisa o usuário. Isso economiza tempo e dinheiro, pois não verifica tudo o tempo todo.

5. O "Gerente de Loja" (Model Selection)

Dentro da categoria escolhida (ex: "Lojas de Matemática"), pode haver várias opções. O sistema escolhe a melhor baseada no custo-benefício. Ele usa algoritmos para perguntar: "Qual loja resolve isso com a melhor qualidade pelo menor preço e menor tempo de espera?"

6. A "Economia de Espaço" (LoRA)

Normalmente, para ter 10 guardas de segurança diferentes, você precisaria de 10 uniformes completos e 10 armários. O vLLM usa uma tecnologia chamada LoRA que é como ter um único uniforme base e apenas pequenos adesivos diferentes para cada tarefa.

• Isso permite que o sistema tenha 10 "cérebros" especializados rodando ao mesmo tempo, ocupando muito menos memória no computador, como se fosse uma mala de viagem que se expande e contrai.

Resumo da Ópera

O vLLM Semantic Router é como um maestro de orquestra ou um gerente de tráfego superinteligente. Ele garante que:

1. Cada pergunta vá para a IA certa (nem muito cara, nem muito fraca).
2. Nada perigoso ou privado vaze.
3. O dinheiro não seja desperdiçado.
4. Tudo funcione rápido, seja em um servidor local ou na nuvem de várias empresas diferentes.

Ele transforma um caos de opções de IA em um sistema organizado, seguro e econômico, tudo isso mudando apenas as "regras do jogo" e não a estrutura física do shopping.

Resumo técnico

Resumo Técnico: vLLM Semantic Router

1. O Problema

Com a diversificação dos Grandes Modelos de Linguagem (LLMs) em termos de modalidades (texto, código, visão), escala, custos e especialização, as organizações operam cada vez mais frotas heterogêneas de modelos (instâncias locais vLLM, endpoints de nuvem como OpenAI, Anthropic, Azure, etc.). Isso cria um desafio crítico de otimização em tempo de inferência: como rotear inteligentemente cada solicitação para o modelo mais adequado, considerando simultaneamente:

• Multi-dimensões de sinais: Domínio, complexidade, idioma, identidade do usuário e orçamentos de latência.
• Privacidade e Segurança: Detecção de injeção de prompts (jailbreak), vazamento de PII (Informação Pessoalmente Identificável) e alucinações, com políticas diferentes para diferentes tipos de usuários.
• Custo vs. Qualidade: Seleção de modelos que equilibrem a qualidade da resposta com o custo de inferência e a latência.
• Diversidade de Implantação: A necessidade de suportar cenários distintos (ex: saúde regulada por privacidade vs. ferramentas de desenvolvedor focadas em custo) sem alterar o código, apenas via configuração.

Soluções anteriores focavam em roteamento binário ou seleção de modelos isolada, sem integrar extração de sinais, aplicação de políticas de segurança e gerenciamento de múltiplos provedores em um único framework unificado.

2. Metodologia e Arquitetura

O vLLM Semantic Router é um sistema de roteamento baseado em decisões orientadas por sinais, implementado como um processador externo (ExtProc) do Envoy. Sua inovação central é a Orquestração de Sinais Compostos, baseada em uma arquitetura de três camadas:

A. Arquitetura de Três Camadas

1. Camada de Extração de Sinais (Layer 1):

   • Mapeia a solicitação de entrada para um vetor de sinais estruturado.
   • Sinais Heurísticos (<1 ms): Detecção de palavras-chave (Regex, BM25, N-gram), idioma, comprimento do contexto e autorização (RBAC).
   • Sinais Aprendidos (10–120 ms): Classificação de domínio, similaridade de embeddings, detecção de factualidade, modalidade e feedback do usuário.
   • Otimização: Avaliação sob demanda (lazy evaluation); apenas os sinais necessários para as regras ativas são computados.

2. Camada de Avaliação de Decisão (Layer 2):

   • Avalia um conjunto de decisões definidas por fórmulas booleanas compostas sobre os sinais extraídos (AND, OR, NOT, aninhamento).
   • Seleciona a melhor decisão ($d^*$) usando estratégias de prioridade (determinística) ou confiança (baseada em dados).
   • Cada decisão define um conjunto de modelos candidatos e políticas específicas.

3. Cadeia de Plugins por Decisão (Layer 3):

   • Executa transformações pré e pós-inferência específicas para a decisão selecionada.
   • Pré-inferência: Detecção de jailbreak, filtragem de PII, cache semântico, injeção de contexto RAG, roteamento de modalidade e injeção de prompts de sistema.
   • Seleção de Modelo: Escolhe o modelo mais custo-efetivo dentro do conjunto candidato usando 13 algoritmos diferentes.
   • Pós-inferência: Detecção de alucinação (HaluGate) e atualização de cache.

B. Componentes Chave

• Orquestração Composta: Diferentes cenários de implantação (ex: saúde, custo-otimizado, multi-nuvem) são expressos como diferentes configurações ($\Gamma$) sobre a mesma arquitetura, sem mudanças de código.
• Classificação Multi-tarefa via LoRA: Utiliza uma única base de modelo (ex: ModernBERT) com adaptadores LoRA (Low-Rank Adaptation) para realizar múltiplas tarefas de classificação (domínio, PII, jailbreak, etc.). Isso reduz a memória de ~6x (se fossem modelos independentes) para apenas o tamanho da base + overhead mínimo dos adaptadores.
• HaluGate (Detecção de Alucinação em Portão): Um pipeline de três estágios que evita verificação desnecessária:
  1. Sentinela: Classifica se a consulta requer verificação factual (pula 40-60% das consultas criativas).
  2. Detector: Identifica spans alucinados na resposta.
  3. Explicador: Usa NLI (Natural Language Inference) para explicar por que o conteúdo é uma alucinação.
• Roteamento Multi-Provedor: Abstrai protocolos específicos (OpenAI, Anthropic, Bedrock, Vertex AI, vLLM) e gerencia autenticação via uma "Fábrica de Autorização" plugável. Suporta o OpenAI Responses API para conversas multi-turno com estado.
• Inferência ML Multi-Runtime: Utiliza runtimes Rust (Candle, Linfa, ONNX Runtime, NLP Binding) para evitar a sobrecarga do Python/GIL, garantindo baixa latência na extração de sinais.

3. Principais Contribuições

1. Arquitetura de Sinal-Decisão-Plugin Composta: Permite definir políticas de roteamento complexas e específicas de implantação através de configuração, unificando extração de sinais, lógica booleana e execução de plugins.
2. Roteamento Semântico com Seleção Consciente de Custo: Integra 13 algoritmos de seleção (baseados em rating, contrastivos, cascata, ML clássico, RL e latência) para escolher o melhor modelo dentro das restrições de privacidade e segurança.
3. HaluGate: Um pipeline de detecção de alucinação gateado que reduz o custo médio de detecção em ~50% ao pular verificações em consultas não factuais.
4. Suporte Nativo a Multi-Provedor e Multi-Endpoint: Roteamento transparente entre backends heterogêneos com tradução de protocolo e injeção de credenciais.
5. Eficiência de Memória via LoRA: Uma arquitetura de classificação multi-tarefa que serve $n$ tarefas a partir de um único modelo base, reduzindo o uso de memória em ~6x para 6 tarefas.

4. Resultados e Avaliação

Os resultados experimentais validam a eficiência e a correção do sistema:

• Latência de Extração de Sinais: Sinais heurísticos completam em <0.1 ms. Sinais de ML variam de 15 a 120 ms. Com avaliação paralela, o tempo de parede é dominado pelo sinal mais lento, não pela soma.
• Eficiência de Memória LoRA: Para 6 tarefas, a arquitetura LoRA requer ~575 MB de memória (1 base + 6 adaptadores) contra ~3.4 GB para 6 modelos independentes (redução de ~6x).
• Sobrecarga do Motor de Decisão: A avaliação de decisões adiciona <0.1 ms para 10 decisões, confirmando que a extração de sinais é o gargalo, não a lógica de decisão.
• Eficácia do Cache Semântico: Com um limiar de similaridade de 0.92, consultas exatas atingem 100% de acerto e consultas parafraseadas atingem 60-80%, eliminando a invocação do modelo de backend.
• Cenários de Implantação: O sistema demonstrou capacidade de servir cenários de saúde (filtragem estrita de PII), ferramentas de desenvolvedor (cache agressivo, cascata de custo) e empresas multi-nuvem (failover e roteamento por latência) usando a mesma binária.

5. Significado e Impacto

O vLLM Semantic Router representa um avanço significativo na infraestrutura de LLMs ao transformar o roteamento de uma simples decisão de "qual modelo usar" para um sistema de orquestração de políticas de ciclo fechado.

• Flexibilidade Operacional: Permite que organizações adaptem rapidamente suas estratégias de roteamento a novas regulamentações ou requisitos de custo sem reescrever código.
• Segurança e Qualidade Integradas: Ao integrar detecção de segurança (jailbreak, PII, alucinação) diretamente no fluxo de roteamento, o sistema garante que as políticas sejam aplicadas consistentemente antes e depois da geração.
• Eficiência de Recursos: A combinação de LoRA para classificação e runtimes Rust para inferência torna o roteamento viável em ambientes com restrições de GPU e latência crítica.
• Padrão para Implantação Heterogênea: Oferece uma solução unificada para gerenciar frotas mistas de modelos locais e de nuvem, abstraindo a complexidade de protocolos e autenticação.

Em resumo, o trabalho estabelece um novo padrão para sistemas de roteamento de LLMs, focando na composabilidade, eficiência de memória e na capacidade de adaptar políticas complexas dinamicamente através de configurações de sinal.