Resumo Técnico: Fazendo Mais com Menos: Um Levantamento sobre Estratégias de Roteamento para Otimização de Recursos em Sistemas Baseados em Grandes Modelos de Linguagem

1. Declaração do Problema

Sistemas baseados em Grandes Modelos de Linguagem (LLMs), particularmente agentes conversacionais, são frequentemente projetados com arquiteturas monolíticas e estáticas que dependem de um único LLM de propósito geral para lidar com todas as consultas do usuário. Essa abordagem é frequentemente ineficiente porque diferentes consultas exigem níveis variados de raciocínio, conhecimento de domínio ou pré-processamento. Embora modelos generalistas (ex: GPT-4o, Claude-Sonnet) tenham um bom desempenho em diversas tarefas, eles incorrem em custos financeiros, energéticos e computacionais significativos que são desproporcionais para consultas mais simples.

O artigo define um roteador como um componente que direciona um item (ex: uma consulta do usuário) para o elemento mais adequado em um conjunto de candidatos para otimizar o consumo de recursos. Isso difere das estruturas de Mistura de Especialistas (MoE), onde um mecanismo de portão interno seleciona subredes dentro de um único modelo. Em contraste, um roteador externo opera independentemente do processo de propagação latente do LLM, funciona sob restrições de orçamento e pode rotear para diversos candidatos, incluindo modelos menores, modelos especializados, fluxos de trabalho ou fontes de dados.

Formalmente, o problema de roteamento é definido como a maximização de uma função de pontuação $s$ (ex: acurácia) para uma consulta $q$ e um conjunto de modelos $M$, sujeita a uma restrição de orçamento $B$:
$$R_M(q) = \arg \max_{M \in M} s(q, M) \quad \text{sujeito a} \quad C_M(q) \le B$$
onde $C_M$ é o custo (ex: $/token) para chamar o modelo $M$.

2. Metodologia e Taxonomia

Este trabalho fornece um levantamento abrangente e uma taxonomia de estratégias de roteamento, abordando três questões centrais:

1. O que o roteamento deve otimizar? (Desempenho vs. Custo)
2. Quando o roteamento deve ocorrer? (Pré-geração vs. Pós-geração)
3. Como o roteamento deve ser implementado? (Estratégias algorítmicas)

2.1 Objetivos de Otimização

• Métricas de Desempenho: O levantamento revisa métodos para maximizar funções de pontuação, que variam desde correspondência exata/parcial e pontuações ROUGE até similaridade semântica e avaliação automática usando LLMs. Também nota o uso de aprendizado de preferência (ex: modelos de Bradley-Terry) baseados em dados de revisores humanos.
• Métricas de Custo: Além dos custos financeiros (preço do token), o artigo enfatiza a minimização da latência e dos custos ambientais (consumo de energia, pegada de carbono), observando que modelos maiores geralmente requerem mais operações de ponto flutuante e energia.

2.2 Tempo de Roteamento

• Roteamento Pré-geração: As decisões são tomadas antes de qualquer modelo gerar uma resposta. Isso minimiza a latência. As estratégias incluem inferir o domínio da consulta ou estimar sua complexidade para rotear para um modelo apropriado.
• Roteamento Pós-geração (Cascata): As decisões são tomadas após um modelo gerar uma resposta. Se a saída for considerada inadequada, a consulta é roteada para um modelo maior ou diferente. Embora flexível (ex: cascata de múltipla escolha), esta abordagem incorre em maior latência e custo devido a múltiplas gerações por consulta.

2.3 Estratégias de Implementação

O artigo categoriza as estratégias de implementação em quatro grupos principais:

A. Roteamento Baseado em Similaridade

Utiliza sinais não supervisionados ou fracamente supervisionados para rotear consultas com base na similaridade semântica com interações passadas.

• Similaridade de Consulta: Computa a similaridade de cosseno entre embeddings de consulta (ex: 1-Vizinho Mais Próximo). Embora leve, frequentemente tem dificuldade com consultas complexas e generalização.
• Agrupamento (Clustering): Agrupa consultas em clusters semânticos (ex: k-means) e roteia com base no desempenho histórico por cluster. Algumas abordagens (ex: Jitkrittum et al.) permitem a adição dinâmica de novos modelos sem retreinar todo o sistema.
• Similaridade de Preferência: Usa dados de preferência humana (ex: de Chatbot Arena) para prever qual modelo um usuário preferiria para uma determinada consulta, empregando frequentemente algoritmos de Bradley-Terry ou ELO.

B. Roteamento Supervisionado

Trata o roteamento como uma tarefa de classificação ou regressão uma vez que os perfis de desempenho são estabelecidos.

• Sistemas de Recomendação: Utiliza fatoração de matrizes para inferir características latentes e prever as preferências do usuário entre modelos e consultas.
• Classificação de Domínio: Roteia consultas para modelos especializados com base em categorias amplas (ex: matemática, medicina). Embora eficaz, apresenta dificuldades com consultas que não se encaixam em categorias pré-definidas.
• Inferência de Complexidade de Consulta: Classifica consultas pelo nível de dificuldade. Isso frequentemente supera o roteamento baseado em domínio, mas pode sofrer em conjuntos de dados fora da distribuição (out-of-distribution). Abordagens incluem inferir a complexidade via diferenças de desempenho entre tamanhos de modelos ou usar regressão para prever pontuações de custo-qualidade.
• Grafos de Conhecimento: Utiliza frameworks de grafos indutivos (ex: GraphRouter) para aprender relações contextuais entre tarefas, consultas e modelos, melhorando a generalização para novos modelos sem retreinamento.
• Inferência de Confiança da Resposta: Estima a probabilidade de uma resposta gerada estar correta (ex: FrugalGPT) para decidir se deve escalar para um modelo maior.

C. Roteamento por Aprendizado por Reforço (RL)

Enquadra o roteamento como um problema de tomada de decisão sequencial onde o roteador aprende com o feedback do ambiente.

• Algoritmos Sem Estado (Stateless): Mapeia diretamente recompensas para ações (ex: Autômatos de Aprendizado Estocástico, Q-learning) sem manter estados complexos. São de baixo recurso, mas têm dificuldade com contextos em evolução.
• Algoritmos Com Estado (State-based): Incorpora informações contextuais (ex: Bandidos Multi-Braços Contextuais) para determinar quais modelos performam melhor em situações específicas.
• Inferência Baseada em Recompensa: Usa modelos de recompensa separados (treinados via destilação de conhecimento) para prever qual LLM terá o melhor desempenho, evitando a necessidade de aprendizado por interação direta.

D. Roteamento Generativo

Aproveita as próprias capacidades dos LLMs para tomar decisões de roteamento.

• Probabilidade de Token/Sequência: Mede a incerteza da saída (ex: margem entre as probabilidades dos principais tokens) para decidir se um modelo maior é necessário.
• Roteamento Baseado em Prompt: Usa LLMs para classificar consultas ou expressar "confiança verbalizada" (pré ou pós-geração). Embora acessível, os LLMs frequentemente sofrem de excesso de confiança (overconfidence).
• Ajuste Fino (Fine-tuning) de LLM: Ajusta modelos especificamente para tarefas de roteamento (ex: classificação de domínio, pontuação de complexidade ou geração de chamadas de API).
• Chamadas Repetidas: Gera múltiplas respostas para avaliar a consistência; baixa consistência dispara o roteamento para um modelo maior.
• Execução de Código: Usa a execução bem-sucedida de código como um sinal de confiança inequívoco para o roteamento em tarefas de geração de código.

3. Principais Resultados e Descobertas

• Eficiência vs. Desempenho: O levantamento demonstra que o roteamento pode reduzir significativamente os custos (até 98% em alguns casos) mantendo uma acurácia comparável aos melhores modelos isolados. No entanto, a eficácia de uma estratégia depende fortemente da complementaridade dos modelos candidatos.
• Compromissos de Estratégia (Trade-offs):
  • Métodos baseados em similaridade são leves, mas frequentemente falham em tarefas complexas ou fora da distribuição.
  • Métodos supervisionados geralmente oferecem maior acurácia, mas exigem dados rotulados e podem precisar de retreinamento para novos modelos.
  • Métodos generativos (como os baseados em prompt) são flexíveis, mas podem ser intensivos em recursos ou pouco confiáveis devido ao excesso de confiança do modelo.
  • Métodos baseados em RL oferecem adaptabilidade, mas introduzem complexidade no treinamento e na gestão de estado.
• Generalização: Um desafio recorrente é a incapacidade de muitas abordagens de aprendizado transdutivo de generalizar para novos candidatos de roteamento sem retreinamento. Abordagens indutivas (ex: GraphRouter, vetores de desempenho baseados em clustering) mostram promessa em abordar isso.
• Benchmarking: O artigo nota uma falta de avaliação padronizada, com muitos estudos utilizando baselines não padronizados. Destaca benchmarks emergentes como RouterBench e MixInstruct.

4. Limitações e Desafios

O artigo identifica várias limitações críticas no estado atual do campo:

• Definição de Custo: A maioria dos estudos foca exclusivamente em custos financeiros, negligenciando impactos computacionais e ambientais.
• Padronização: Há uma falta de frameworks padronizados para avaliar estratégias de roteamento, tornando difícil a comparação objetiva.
• Diversidade de Candidatos: O desempenho do roteamento depende fortemente da complementaridade do conjunto de candidatos. Modelos redundantes (ex: mesmo tamanho, treinamento generalista) oferecem ganhos limitados.
• Arquiteturas Estáticas: A maioria dos sistemas é estática; adicionar novos modelos ou fluxos de trabalho normalmente exige o retreinamento de toda a infraestrutura de roteamento, dificultando a escalabilidade em ambientes dinâmicos.
• Excesso de Confiança: Métodos de roteamento generativo que dependem de confiança verbalizada frequentemente sofrem de excesso de confiança do LLM, levando a decisões subótimas.

5. Significância e Direções Futuras

Este levantamento visa fornecer uma visão abrangente e formalizar o roteamento como um problema de otimização de desempenho-custo. Sua significância reside em:

• Taxonomia: Fornecer uma classificação estruturada de estratégias de roteamento (pré/pós-geração, similaridade/supervisionado/RL/generativo).
• Transferência Industrial: Destacar a lacuna entre pesquisa e indústria, onde muitas empresas ainda usam roteamento condicional ou baseado em prompt simplista. O artigo defende a transferência de estratégias leves e respaldadas pela pesquisa para aplicações industriais.
• Pesquisa Futura: Os autores pedem:
  • Incorporar custos computacionais e ambientais no objetivo de otimização.
  • Estabelecer baselines padronizados (aleatório, oracle, melhor modelo isolado) para avaliação.
  • Desenvolver estratégias de roteamento autônomas e adaptativas que possam generalizar para novos componentes sem retreinamento, tratando o roteador como um agente dinâmico dentro do sistema.
  • Estender o roteamento além da etapa de geração para incluir seleção de embeddings, estratégias de recuperação e design de pipeline.

O artigo conclui que o roteamento oferece um caminho prático para melhorar a eficiência dos sistemas baseados em LLM, permitindo o desenvolvimento de sistemas adaptáveis e de baixo custo sem sacrificar o desempenho.