Resumo Técnico: RouteJudge e ORBIT

1. Definição do Problema

O roteamento de Grandes Modelos de Linguagem (LLMs) visa selecionar automaticamente o modelo mais adequado de um conjunto heterogêneo para cada consulta recebida, otimizando restrições como custo, latência e vazão (throughput). Embora os protocolos de avaliação existentes dependam de benchmarks estáticos, respostas "padrão ouro" ou métricas de pontuação automatizadas, essas abordagens sofrem de uma limitação crítica: elas impõem uma noção fixa de qualidade de resposta. Em interações do mundo real, as preferências dos usuários são pluralistas e dependentes do contexto. Para tarefas como escrita criativa, tradução ou tutoria, múltiplas saídas podem ser factualmente válidas, mas os usuários podem preferir respostas diferentes com base no tom, nível de detalhe ou sensibilidade ao custo. Consequentemente, um roteador que apresenta bom desempenho sob métricas alinhadas a benchmarks offline pode falhar em selecionar os modelos que os usuários realmente preferem em implantação. Este artigo identifica um "problema de alinhamento de preferência pluralista", onde os métodos de avaliação atuais não capturam adequadamente se as decisões de roteamento levam a respostas preferidas pelos usuários sob distribuições de consultas realistas.

2. Metodologia

O artigo introduz um ecossistema de duas partes projetado para preencher a lacuna entre o benchmarking offline e a preferência online do usuário: RouteJudge e ORBIT.

RouteJudge: Estrutura de Avaliação de Preferência Online

O RouteJudge é uma plataforma online que avalia estratégias de roteamento por meio de preferências pareadas anônimas de usuários, em vez de respostas de referência fixas.

• Registro de Avaliação: Diferente de leaderboards de nível de modelo, o RouteJudge armazena registros "centrados no roteamento" ($Z$) contendo a consulta do usuário, restrições de orçamento, decisões de roteamento feitas por múltiplas estratégias, respostas de modelos selecionados, rótulos de preferência do usuário, custos de inferência, latências e metadados da tarefa.
• Fluxo de Trabalho:
  1. Submissão: Um usuário envia uma consulta e um orçamento de custo.
  2. Recomendação do Roteador: Múltiplas estratégias de roteamento ($R$) selecionam independentemente um modelo candidato do conjunto de modelos viáveis dentro do orçamento ($M_C$).
  3. Seleção de Duelo: A plataforma agrega votos para selecionar um "par de duelo" de modelos ($m_A, m_B$) com as contagens de votos mais altas.
  4. Julgamento Anônimo: Os usuários comparam as respostas de $m_A$ e $m_B$ em uma interface cega, escolhendo entre "A venceu", "B venceu", "Empate" ou "Ambos ruins".
  5. Atribuição ao Roteador: O sinal de preferência é atribuído de volta às estratégias de roteamento que selecionaram os modelos vencedores (ou perdedores). Um roteador recebe uma pontuação apenas se o modelo selecionado por ele participou do duelo julgado; caso contrário, é marcado como não participante ($\emptyset$).
• Métricas: O sistema rastreia taxas de vitória de roteadores, classificações Elo, taxas de participação e fronteiras de Pareto de custo-qualidade, permitindo análise condicionada à tarefa e consciente do orçamento.

ORBIT: Ferramental de Roteamento Ótimo e Inferência Orçada

O ORBIT é um ferramental modular e extensível que padroniza o fluxo de trabalho de ponta a ponta do roteamento de LLM para suportar a expansão contínua de métodos avaliados no RouteJudge.

• Padronização: Fornece interfaces unificadas para carregamento de benchmarks, representação de consulta (via várias camadas de embedding), implementação de roteador (baseado em regras, aprendido, baseado em recuperação, etc.) e avaliação consciente de orçamento.
• Componibilidade: Pesquisadores podem trocar datasets, codificadores e roteadores independentemente, sem reescrever a lógica central.
• Camada de Integração: O ORBIT serve como a interface de submissão para o RouteJudge. Pesquisadores implementam roteadores dentro do ORBIT, validam-nos offline e submetem roteadores compatíveis para avaliação online.
• Pipeline de Avaliação de Dois Estágios:
  1. Replay Histórico: Roteadores submetidos são avaliados contra registros históricos do RouteJudge para determinar se teriam selecionado o modelo preferido pelo usuário em comparações passadas.
  2. Avaliação Online: Roteadores validados são implantados na plataforma ao vivo, participando de comparações pareadas anônimas em tempo real e recebendo atribuição de preferência.

3. Principais Contribuições

1. Plataforma RouteJudge: A primeira plataforma aberta especificamente projetada para avaliar sistemas de roteamento de LLM baseada em preferências de usuários pluralistas via comparações pareadas anônimas, mudando o alvo da avaliação da qualidade de resposta do modelo para a qualidade de decisão do roteador.
2. Ferramental ORBIT: Uma camada de desenvolvimento e integração padronizada que permite o benchmarking offline reproduzível e a submissão fluida de métodos de roteamento ao RouteJudge, abordando a fragmentação de engenharia na pesquisa atual de roteamento.
3. Protocolo de Avaliação: Um protocolo inovador que atribui as preferências do usuário de volta às estratégias de roteamento, levando em conta restrições de orçamento, tipos de tarefa e taxas de participação, em vez de depender de suposições estáticas de "melhor modelo".
4. Ecossistema Aberto: A combinação de RouteJudge e ORBIT cria um ciclo fechado onde métodos podem ser desenvolvidos offline, validados contra preferências históricas e testados em ambientes reais de interface com o usuário.

4. Resultados Preliminares

Os autores apresentam descobertas empíricas iniciais tanto do pipeline offline do ORBIT quanto da plataforma online RouteJudge (até junho de 2026):

• Consistência Offline: Usando o benchmark RouterEval, o ORBIT demonstrou com sucesso que diferentes métodos de roteamento (ex: EmbedLLM, Eagle, EquiRouter) podem ser comparados sob um protocolo unificado, revelando curvas de compensação desempenho-custo e métricas como nAUC e Peak Score.
• Diferenciação Online: No RouteJudge, com 109 comparações votadas por usuários, a plataforma diferenciou com sucesso as estratégias de roteamento. O RouterLLM-MF alcançou a maior pontuação Elo (1278), enquanto o NIRT-Router mostrou a maior taxa de vitória observada (80,00%).
• Divergência de Métricas Offline: Os resultados indicam que designs offline fortes nem sempre se traduzem em sucesso de preferência online. Alguns roteadores com mecanismos de pontuação aprendidos explícitos tiveram desempenho inferior em preferência do usuário do que métodos não paramétricos ou baseados em fatoração de matrizes mais simples.
• Compensação Custo-Preferência: A análise dos dados ao nível de modelo mostrou que a preferência não é determinada apenas pelo custo; alguns modelos de baixo custo alcançaram taxas de vitória competitivas, sugerindo que o roteamento eficaz requer adaptar a seleção de modelos aos orçamentos e contextos de tarefa do usuário, em vez de recorrer por padrão aos modelos mais capazes.

5. Significância e Alegações

O artigo afirma que o RouteJudge e o ORBIT abordam coletivamente o "problema de alinhamento de preferência pluralista" no roteamento de LLM. Ao ir além de benchmarks estáticos, o ecossistema permite que pesquisadores avaliem se as decisões de roteamento se alinham com as preferências reais dos usuários sob restrições realistas. Os autores posicionam este trabalho não como um ranking final de todos os métodos de roteamento, mas como um passo fundamental em direção a um ecossistema de avaliação aberto. Eles argumentam que a pesquisa futura de roteamento deve considerar não apenas a seleção de modelos otimizada para benchmarks, mas também comportamentos conscientes de custo, preferidos pelo usuário e sensíveis à implantação. O sistema foi projetado para ser continuamente expansível, permitindo que a comunidade contribua com novos roteadores e benchmarks, mantendo a reprodutibilidade através do padrão ORBIT.