Resumo Técnico: Roteamento de LLM de Múltiplos Níveis com Portão de Classificador para Indústrias Regulamentadas

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em setores regulamentados (ex: serviços financeiros, saúde) enfrenta um equilíbrio crítico entre capacidade, eficiência de custo e conformidade regulatória. As arquiteturas de serviço atuais falham em abordar três restrições específicas simultaneamente:

1. Residência de Dados e Conformidade: Regulamentações como GDPR, SEBI, RBI e a DPDPA da Índia determinam que Informações de Identificação Pessoal (PII) não devem cruzar fronteiras jurisdicionais. Implantações de modelo único não podem impor isso porque os dados entram no endpoint do modelo antes de qualquer decisão de roteamento ser tomada.
2. Ineficiência do Serviço de Modelo Único: Rotear todas as consultas para um único modelo grande consome a capacidade total de GPU, independentemente da complexidade da consulta. Isso cria contenção de infraestrutura e ignora a realidade de que a maioria das consultas em setores regulamentados são buscas diretas que exigem apenas modelos pequenos.
3. Limitações das Abordagens de Roteamento Existentes:
   • Mistura de Especialistas (MoE): Embora o MoE roteie tokens entre camadas de especialistas, todos os especialistas permanecem carregados na memória, e o roteamento ocorre após os dados terem chegado ao endpoint. Isso impede a imposição geográfica de residência de dados.
   • Métodos de Roteamento Anteriores (FrugalGPT, RouteLLM, Hybrid LLM): Estas abordagens focam em custo ou qualidade, mas carecem de detecção integrada de PII e roteamento geográfico. Elas não impõem a conformidade por design, frequentemente permitindo que dados sensíveis atravessem infraestruturas de regiões cruzadas antes de uma decisão ser tomada.

Metodologia

O artigo propõe o ComplianceGate, uma arquitetura de roteamento com portão de classificador que impõe conformidade e otimiza o custo na camada de pré-inferência. O sistema opera dentro de uma rede privada e consiste em dois componentes primários:

1. Classificador Encoder

Um encoder de transformer bidirecional (12 camadas, 768 dimensões ocultas, ~134M de parâmetros) situa-se antes de qualquer inferência de decoder.

• Treinamento: Pré-treinado em 2 bilhões de tokens de texto em inglês e ajustado (fine-tuned) em 50.000 exemplos específicos de domínio.
• Função: Ele avalia o texto bruto da consulta quanto à complexidade (simples, média, complexa) e sensibilidade (presença de PII vs. não-sensível).
• Saída: Uma distribuição de probabilidade sobre seis rótulos (o produto cartesiano de 3 níveis de complexidade e 2 dimensões de sensibilidade) com um escore de confiança.
• Desempenho: O tempo de inferência é inferior a 10ms (especificamente 7ms em experimentos).

2. Lógica de Roteamento e Fallback

A camada de roteamento interpreta a saída do classificador para tomar uma decisão determinística antes de qualquer computação de LLM começar:

• Imposição Geográfica: Consultas contendo PII são roteadas para endpoints locais (dentro da jurisdição). Consultas não-sensíveis são roteadas para infraestrutura de regiões cruzadas.
• Seleção de Nível de Modelo (Model Tier):
  • Consultas simples $\rightarrow$ Modelos densos pequenos e rápidos (ex: Nova Lite, Gemma 4B).
  • Consultas médias $\rightarrow$ Modelos de tamanho médio (ex: Gemma 27B, Ministral 14B).
  • Consultas complexas $\rightarrow$ Modelos grandes e capazes (ex: Qwen3-480B).
• Fallback Baseado em Confiança: Se a confiança do classificador cair abaixo de um limite configurável (padrão 80%), o sistema recorre ao rótulo mais restritivo (complex_pii). Isso garante que, sob incerteza, as consultas sejam roteadas para modelos locais de capacidade total, impedindo estruturalmente violações de residência de dados.

3. Arquitetura de Implantação

O sistema é conteinerizado e implantado via infraestrutura como código. Cada nível de modelo opera em infraestrutura independente, sem memória compartilhada ou domínios de falha, permitindo escalonamento e atualizações independentes sem afetar outros níveis.

Principais Contribuições

1. Conformidade por Design: A arquitetura torna as violações de residência de dados estruturalmente impossíveis ao detectar PII e rotear para endpoints locais antes de qualquer computação de LLM ocorrer.
2. Otimização de Custo de Múltiplos Níveis: Ao contrário do roteamento binário ou MoE, este sistema suporta múltiplos níveis de modelos. Ele roteia consultas simples para modelos que custam 6 a 8 vezes menos que modelos de fronteira, reduzindo significativamente os custos de serviço proporcionalmente à complexidade real do tráfego.
3. Desempenho e Resiliência: Ao evitar o overhead de processar requisições simples através de modelos massivos, o sistema reduz a latência e aumenta o throughput. Os níveis independentes garantem que falhas em um modelo não causem cascata em todo o sistema.
4. Modelo de Custo Formal: O artigo deriva um modelo matemático para economias fracionárias ($S$), demonstrando que as economias são maximizadas quando as distribuições de consulta são inclinadas para solicitações simples (típico em serviços financeiros).

Resultados Experimentais

O sistema foi avaliado em 600 consultas usando Amazon Bedrock (us-east-2) com uma linha de base de Qwen3-480B-A35B (MoE) versus a configuração de roteamento com portão.

• Precisão: O encoder classificador alcançou 99,2% de precisão com recall quase perfeito de PII.
• Redução de Latência:
  • Consultas Simples: 2 a 4× mais rápidas (490–840ms vs. ~1850ms da linha de base).
  • Consultas Médias: 1,7 a 3,3× mais rápidas (1140–2250ms vs. ~3750ms da linha de base).
  • Consultas Complexas: Sem diferença (mesmo modelo utilizado).
  • Latência Mediana: Redução de 39% no total.
• Throughput: O roteamento com portão alcançou 122–200 tokens/segundo para consultas simples/médias, comparado a 50–64 tokens/segundo para a linha de base MoE.
• Previsibilidade (Variância):
  • A linha de base MoE mostrou alta variância de latência (razão Máx/Mín de até 34,5×).
  • O roteamento com portão reduziu a variância para 1,1–2,0×, tornando as garantias de SLA viáveis.
• Economia de Custo:
  • 33% de economia sob uma distribuição de consulta igual (33% simples/médio/complexo).
  • 52% de economia sob uma distribuição enviesada típica de serviços financeiros (60% simples, 25% médio, 15% complexo).
  • 74% de economia projetada sob distribuições altamente enviesadas (70% simples).

Significância e Alegações

O artigo afirma que o ComplianceGate fornece uma alternativa pronta para produção às implantações de modelo único e MoE para indústrias regulamentadas. Sua significância reside na mudança arquitetônica de uma aplicação de política "post-hoc" para a aplicação estrutural pré-inferência.

• Vantagem Estrutural: Ao contrário do MoE, que não pode impor o roteamento geográfico uma vez que os dados entram no modelo, esta arquitetura impõe limites jurisdicionais na camada de roteamento.
• Escalabilidade: Permite o escalonamento independente dos níveis de modelo, enquanto o MoE exige o escalonamento de todo o cluster.
• Praticidade: Com um overhead de roteamento negligenciável (<0,1% do custo total) e alta precisão de classificação, o sistema demonstra que um encoder treinado pode satisfazer simultaneamente mandatos rigorosos de conformidade (residência de dados) e objetivos agressivos de eficiência de custo sem sacrificar a qualidade da resposta para consultas complexas.

Os autores concluem que o valor deste trabalho não está nos modelos específicos escolhidos, mas no framework de roteamento que permite o pareamento do modelo certo com a consulta certa com base em complexidade e sensibilidade mensuráveis por consulta, por jurisdição e por restrição.