Scalable Prompt Routing via Fine-Grained Latent Task Discovery

1. O Problema

O roteamento de prompts (prompt routing) visa selecionar dinamicamente o modelo de linguagem (LLM) mais adequado de um conjunto de candidatos para cada consulta, otimizando o desempenho enquanto gerencia custos. No entanto, à medida que os pools de modelos crescem para incluir dezenas de modelos de ponta (frontier models) com lacunas de desempenho muito estreitas, as abordagens existentes enfrentam desafios críticos:

• Taxonomias Manuais: As taxonomias de tarefas definidas manualmente são muito grosseiras e não conseguem capturar distinções de capacidade sutis e de alta granularidade entre modelos avançados.
• Roteadores Monolíticos: Métodos que treinam um único roteador para prever a qualidade em todos os tipos de prompts lutam para diferenciar nuances em tarefas diversas. Por exemplo, dentro da categoria ampla de "matemática", um modelo pode ser excelente em álgebra simbólica, mas fraco em problemas de palavras contextuais; uma categorização grosseira trata essas tarefas de forma uniforme, falhando na seleção ótima.

2. Metodologia: FineRouter

Os autores propõem uma arquitetura de roteamento em duas etapas, chamada FineRouter, que combina descoberta automatizada de tarefas e estimativa de qualidade consciente da tarefa.

Etapa 1: Descoberta e Correspondência de Tipos de Tarefa

Esta etapa ocorre offline e visa identificar estruturas de tarefas latentes e finas diretamente dos dados de treinamento, sem depender de taxonomias pré-definidas.

• Descoberta Baseada em Grafos:
  • Gera-se descrições concisas das tarefas para cada prompt usando um LLM.
  • Constrói-se um grafo esparsos onde os nós são prompts. As arestas são ponderadas pela combinação de duas sinais: (1) similaridade semântica entre as descrições das tarefas e (2) similaridade nos padrões de preferência de modelos (baseado em listas de classificação de LLMs via Rank Biased Overlap - RBO).
  • Aplica-se detecção de comunidades (Leiden) iterativa para agrupar prompts que compartilham tanto semântica quanto preferências de modelos similares.
• Seleção de Candidatos: Para cada cluster de tarefa descoberto, seleciona-se adaptativamente um pequeno conjunto de modelos candidatos que têm maior probabilidade de performar bem naquela tarefa específica.
• Classificador de Tarefas: Treina-se um classificador de texto (arquitetura de correspondência bilinear) para atribuir novos prompts de inferência aos tipos de tarefas descobertos.

Etapa 2: Roteador Dinâmico Consciente de Tarefa (MoE)

Esta etapa utiliza a estrutura de tarefas descoberta para refinar a estimativa de qualidade.

• Arquitetura Mixture-of-Experts (MoE): O roteador possui um codificador de prompts e camadas de incorporação de modelos, mas utiliza cabeças de previsão especializadas.
  • Adaptadores Gerais: Estima a qualidade de todos os modelos baseada em conhecimento global.
  • Adaptadores Específicos por Tarefa: Para cada tipo de tarefa descoberto na Etapa 1, existem cabeças de previsão especializadas apenas para os modelos candidatos selecionados para aquela tarefa.
• Inferência: Ao receber um prompt, o sistema:
  1. Classifica o prompt em uma tarefa (Etapa 1).
  2. Invoca os adaptadores específicos da tarefa para os candidatos relevantes e os adaptadores gerais para os demais.
  3. Agregação: Combina a pontuação de qualidade específica do prompt (Etapa 2) com a pontuação agregada baseada na tarefa (Etapa 1) usando uma combinação ponderada para tomar a decisão final de roteamento.

3. Contribuições Principais

1. Método Automatizado de Descoberta de Tarefas: Uma abordagem escalável que combina sinais semânticos e baseados em desempenho para identificar tipos de tarefas de alta granularidade a partir de dados de treinamento em larga escala, eliminando a dependência de taxonomias manuais.
2. Arquitetura de Roteamento Consciente de Tarefa: Um roteador MoE que utiliza a estrutura de tarefas descoberta para ativar cabeças de previsão especializadas, permitindo estimativas de qualidade mais precisas para cada domínio de tarefa.
3. Avaliação Abrangente: Testes extensivos em 10 benchmarks diversos com 11 modelos de ponta, demonstrando superioridade consistente sobre baselines e modelos individuais.

4. Resultados Experimentais

O método foi avaliado em 10 benchmarks (incluindo QA, raciocínio matemático, múltipla escolha e geração de código) com 11 modelos candidatos (como Claude-Sonnet-4.5, DeepSeek-R1, Llama-4-Maverick, Qwen3, etc.).

• Desempenho: O FineRouter superou consistentemente todas as linhas de base existentes (como kNN, MLP, RouteLLM, IPR) e, crucialmente, superou o melhor modelo individual disponível no conjunto de candidatos.
• Custo-Eficiência: O sistema alcançou desempenho superior ao do modelo mais forte (Claude-Sonnet-4.5) com menos da metade do custo de inferência.
• Análise de Ablação: Estudos mostraram que ambas as etapas são essenciais. A descoberta de tarefas finas (Etapa 1) forneceu sinais de roteamento mais eficazes do que taxonomias grosseiras, e a combinação das duas etapas superou o uso isolado de qualquer uma delas.
• Distribuição de Roteamento: O sistema demonstrou um uso equilibrado de múltiplos modelos de alto desempenho, explorando as forças específicas de cada um em vez de depender excessivamente de um único modelo.

5. Significado e Impacto

Este trabalho é significativo porque resolve o problema de escalabilidade no roteamento de LLMs em cenários onde as diferenças de desempenho entre modelos são sutis. Ao substituir a categorização manual por uma descoberta latente de tarefas baseada em dados, o FineRouter permite que sistemas de roteamento identifiquem nichos e distinções de capacidade que seriam invisíveis para abordagens tradicionais.

A abordagem demonstra que a modelagem explícita da estrutura de tarefas latentes é fundamental para tomar decisões de roteamento mais precisas e escaláveis, especialmente à medida que os pools de modelos se expandem para incluir dezenas de candidatos poderosos com capacidades sobrepostas e complexas. Isso oferece uma solução prática para otimizar o custo-desempenho em implantações reais de LLMs.