Resumo Técnico: Agrupar, Rotear, Escalar: Estrutura em Cascata para o Atendimento de LLMs Consciente de Custo

Declaração do Problema

A implantação eficiente de Grandes Modelos de Linguagem (LLMs) em ambientes de produção exige um equilíbrio entre precisão e custo de atendimento. Os operadores geralmente optam por um único modelo: ou um modelo grande e caro que investe computação excessiva em consultas fáceis, ou um modelo menor e eficiente que apresenta desempenho insuficiente em tarefas difíceis. Os sistemas de roteamento de modelos existentes frequentemente exigem anotações além das avaliações de tarefas padrão (por exemplo, dados de preferência humana ou rótulos complexos de dificuldade) e têm dificuldade em otimizar o roteamento conjuntamente sob um orçamento explícito de custo de inferência, enquanto recuperam a precisão por meio da estimativa de qualidade pós-geração. Além disso, muitas abordagens não se adaptam facilmente a mudanças no pool de modelos disponíveis sem reconfiguração manual.

Metodologia

Os autores propõem uma estrutura em cascata de dois estágios que otimiza conjuntamente o roteamento sob um orçamento de Tempo por Token de Saída (TPOT) e recupera a precisão usando apenas rótulos de correção de tarefa.

Estágio 1: Roteamento Baseado em Agrupamento (Clustering)

O primeiro estágio opera no nível do cluster para pré-rotear consultas, evitando a ineficiência de executar um modelo eficiente em cada consulta antes de decidir pela escalada.

1. Agrupamento Semântico: As consultas recebidas são codificadas usando all-MiniLM-L6-v2 e particionadas em grupos coerentes ($N$ clusters) usando k-means. O número de clusters é selecionado maximizando o escore médio de Silhueta.
2. Roteamento Consciente de Custo: Para cada cluster $c$ e modelo $m$, um escore de roteamento é calculado:
   $$\text{Score}(m, c) = \text{Error}(m, c) + \lambda \cdot \text{Cost}_{\text{norm}}(m)$$
   Onde $\text{Error}(m, c)$ é a taxa de erro empírica nos dados de treinamento e $\text{Cost}_{\text{norm}}(m)$ é o TPOT normalizado do modelo (0 para o mais rápido, 1 para o mais lento).
3. Ajuste de Hiperparâmetro ($\lambda$): Um hiperparâmetro interpretável $\lambda$ controla o equilíbrio entre precisão e latência. O $\lambda^*$ ideal é ajustado automaticamente offline nos dados de treinamento para satisfazer um orçamento de TPOT $B$ especificado pelo usuário.
4. Análise de Pareto: Antes do roteamento, os modelos que são dominados por Pareto (mais lentos e menos precisos que outro modelo em todos os clusters) são podados do pool.
5. Decisão de Roteamento: Cada consulta é atribuída ao centroide do cluster mais próximo e roteada para o modelo que minimiza o escore para aquele cluster.

Estágio 2: Cascata de Estimativa de Qualidade (QE)

O segundo estágio atua como uma rede de segurança para consultas roteadas para modelos eficientes.

1. Mecanismo: Um classificador binário leve (fine-tuned ModernBERT-base) inspeciona a saída dos modelos eficientes.
2. Entrada: O classificador recebe a consulta, a saída do modelo e o comprimento da geração.
3. Decisão: Com base nos rótulos de correção de tarefa derivados do desempenho do modelo eficiente nos dados de treinamento, o classificador decide se aceita a saída ou se escala a consulta para um modelo mais forte.
4. Integração: Este estágio é aplicado apenas às saídas de modelos eficientes; consultas roteadas diretamente para modelos fortes no Estágio 1 ignoram o classificador para preservar a economia de latência.

Principas Contribuições

• Estrutura de Dois Estágios: Uma arquitetura inovadora que combina o roteamento por agrupamento pré-geração com a estimativa de qualidade pós-geração, abordando a "lacuna de cascata multi-estágio" identificada em trabalhos anteriores.
• Otimização Consciente de Custo: O sistema otimiza conjuntamente o roteamento sob um orçamento explícito de TPOT usando um único hiperparâmetro interpretável ($\lambda$), em vez de realizar varreduras em uma curva de custo monetário.
• Requisito Mínimo de Anotação: A estrutura requer apenas rótulos padrão de correção de tarefa (disponíveis em avaliações de benchmarks padrão) tanto para o agrupamento baseado em cluster quanto para o treinamento do classificador de QE.
• Adaptabilidade Dinâmica: O sistema se adapta a mudanças no pool de modelos (adição ou remoção de modelos) automaticamente através de análise de Pareto e recomputação de tabelas de roteamento, sem reconfiguração manual.
• Generalização: A abordagem é validada em dois domínios distintos: telecomunicações (TeleQnA) e raciocínio matemático (AIME 2024).

Resultados Experimentais

A estrutura foi avaliada no TeleQnA e AIME 2024 usando pools das famílias Qwen 3/3.5 e Gemma 4.

• AIME 2024 (Raciocínio Matemático):

  • O sistema combinado Estágio 1+2 alcançou 88,4% de precisão com um TPOT de 9,7 ms.
  • Isso retém 97% da precisão do modelo mais forte (Qwen3-30B, 89,1%) enquanto reduz a latência em 18% (2,1 ms mais rápido).
  • O Estágio 2 recuperou um ganho de 2,0% de precisão sobre o Estágio 1 sozinho com apenas um aumento de 0,2 ms no TPOT.

• TeleQnA (QA de Telecomunicações):

  • O sistema combinado alcançou 74,3% de precisão com um TPOT de 23,8 ms.
  • Isso está dentro de 2,1% da precisão do modelo mais forte (76,4%) sendo 0,7 ms mais rápido.
  • O Estágio 2 recuperou 3,1 pontos percentuais de precisão sobre o Estágio 1 sozinho.

• Extensibilidade: Experimentos adicionando novos modelos ao pool demonstraram que a estrutura remove automaticamente modelos dominados e integra modelos superiores, alcançando melhorias de Pareto sem intervenção manual.

Significância e Alegações

O artigo afirma que esta estrutura oferece uma solução prática e interpretável para implantar LLMs em ambientes com restrição de custo, particularmente para agentes autônomos em setores como telecomunicações, onde a implantação local e a baixa latência são críticas.

• Eficiência vs. Precisão: O sistema demonstra que os operadores não precisam escolher entre um único modelo forte ou um único modelo eficiente. Em vez disso, uma abordagem em cascata pode manter uma precisão próxima ao estado da arte enquanto reduz significativamente os custos de inferência (TPOT).
• Simplicidade Operacional: Ao confiar em rótulos de correção de tarefa e um hiperparâmetro interpretável ($\lambda$), a estrutura fornece aos operadores um "caminho simples" para gerenciar pools de modelos, evitando a complexidade de treinar roteadores complexos baseados em dados de preferência.
• Escalabilidade: O uso de análise de Pareto garante que a lógica de roteamento permaneça robusta à medida que os pools de modelos evoluem, tornando a estrutura adequada para ambientes de produção dinâmicos onde novos modelos podem se tornar disponíveis.

Os autores reconhecem limitações, observando que a estrutura atualmente depende de agrupamento offline (não se adaptando a mudanças na distribuição de consultas no tempo de inferência) e usa o TPOT como um proxy para custo, o que não contabiliza o enfileiramento ou o overhead de rede. No entanto, eles sustentam que a estrutura fornece uma arquitetura fundamental e consciente de custo para o atendimento eficiente de LLMs.