RouteProfile: Elucidating the Design Space of LLM Profiles for Routing

1. Formulação do Problema

À medida que o ecossistema de Modelos de Linguagem de Grande Porte (LLMs) se expande, modelos individuais exibem capacidades heterogêneas em diferentes consultas, tarefas e domínios. Isso torna necessária a roteação de LLMs, um mecanismo para selecionar o modelo mais adequado para uma dada consulta.

No entanto, a pesquisa existente foca predominantemente na otimização de mecanismos de roteador (por exemplo, roteadores baseados em aprendizado, baseados em grafos ou contrastivos), negligenciando em grande parte o design de perfis de LLM. Perfis de LLM são representações das capacidades de um modelo derivadas de históricos de interação. As abordagens atuais de perfilagem são frequentemente:

• Heterogêneas e Entrelaçadas: Misturadas com estratégias de roteamento, tornando difícil isolar a fonte dos ganhos de desempenho.
• Limitadas em Granularidade: Variando de vetores one-hot baseados em índices simples (semanticamente pobres) a resumos grosseiros de benchmarks (descartando sinais de granularidade fina) ou texto gerado por LLM (frequentemente de cobertura estreita).
• Não Estruturadas: Falhando em integrar as relações complexas e interdependentes entre modelos, tarefas, domínios e instâncias específicas de consulta.

A questão central de pesquisa é: Como o design de perfis de LLM afeta o desempenho de roteamento em diferentes roteadores?

2. Metodologia: O Framework RouteProfile

Os autores propõem o RouteProfile, um framework geral que trata a perfilagem de LLM como um problema de integração estruturada de informações sobre históricos de interação heterogêneos. Eles formalizam as fontes de dados como um Grafo de Interação Heterogêneo ($G$) e definem um espaço de design caracterizado por quatro dimensões-chave.

A. Representação de Dados: O Grafo de Interação

O grafo $G = (V, E)$ integra quatro fontes de dados primárias:

1. Família de Modelos: Linhagem arquitetural e priores de desenvolvedores.
2. Cobertura de Domínio: Áreas de especialização (por exemplo, Matemática, Codificação).
3. Avaliação de Tarefa: Pontuações padronizadas de benchmark (por exemplo, MMLU, HumanEval).
4. Instâncias em Nível de Consulta: Instâncias específicas de problemas associadas a tarefas.

Nós: Modelo, Família de Modelos, Domínio, Tarefa, Consulta.
Arestas: Modelo-Família, Modelo-Tarefa, Tarefa-Domínio, Tarefa-Consulta.
Recursos: Descrições textuais (geradas por LLMs como GPT-4o) para nós e pontuações de desempenho para arestas.

B. As Quatro Dimensões de Design

O framework caracteriza a construção de perfis através da função de agregação $f(\omega, \gamma, K, \ell)$:

1. Forma Organizacional ($\omega$):
   • Plana: Concatenação direta de dados em texto ou vetores sem estrutura de grafo.
   • Estruturada: Utilização da topologia do grafo (por exemplo, via Redes Neurais em Grafos) para modelar informações relacionais.
2. Tipo de Representação ($\gamma$):
   • Texto: Perfis expressos como resumos em linguagem natural (frequentemente via prompting de LLM).
   • Embedding: Perfis expressos como vetores densos (via PLMs ou GNNs).
3. Profundidade de Agregação ($K$):
   • O número de saltos no grafo utilizado para propagação de informações (0 a 4). Determina se o perfil depende de vizinhos diretos ou de contexto de ordem superior.
4. Configuração de Aprendizado ($\ell$):
   • Sem Treinamento: Agregação estática (por exemplo, prompting de um LLM ou GCN fixo).
   • Treinável: Otimizada via aprendizado auto-supervisionado (por exemplo, reconstrução mascarada) no grafo de interação.

C. Configuração Experimental

• Conjuntos de Dados: 15 conjuntos de dados para construção de grafos (Conhecimento, Raciocínio, Matemática, Codificação) e 12 para avaliação downstream.
• Modelos: 25 LLMs no total (8 candidatos para roteamento, 17 auxiliares para contexto do grafo).
• Roteadores Avaliados:
  1. SimRouter: Baseado em similaridade, não paramétrico (baseline).
  2. MLPRouter: Baseado em aprendizado (projeção MLP).
  3. GraphRouter: Roteador GNN estruturado em grafo.
• Configurações: Roteamento padrão e Cold-Start (generalização para um novo LLM não visto).

3. Principais Contribuições

1. Espaço de Design Sistemático: Introdução do RouteProfile, o primeiro framework abrangente para desacoplar o design de perfil do design de roteador, definindo quatro dimensões ortogonais para perfilagem.
2. Integração Estruturada de Informações: Formalização da perfilagem de LLM como um problema de grafo heterogêneo, indo além da extração de recursos planos para integração relacional.
3. Desentrelaçamento Empírico: Realização de uma avaliação sistemática em larga escala em três arquiteturas de roteador distintas para isolar o impacto das escolhas de design de perfil.

4. Principais Resultados e Descobertas

RQ1: Impacto do Design de Perfil na Qualidade de Roteamento

• Estruturado > Plano: Perfis estruturados (utilizando topologia de grafo) superam consistentemente as bases planas em todos os roteadores e tipos de representação. Isso indica que reter relações estruturais é crucial para perfis informativos.
• A Profundidade Importa (Dependente de Contexto): O aumento da profundidade de agregação (saltos) geralmente ajuda em configurações sem treinamento. No entanto, em configurações treináveis, profundidade excessiva pode levar a suavização excessiva, degradando o desempenho no MLPRouter e GraphRouter, embora beneficie o SimRouter.

RQ2: Eficácia das Fontes de Dados

• Nível de Consulta > Nível de Domínio: Sinais em nível de consulta (instâncias de interação de granularidade fina) são significativamente mais confiáveis e informativos do que resumos grosseiros em nível de domínio.
• Ruído em Domínios: Adicionar nós de domínio frequentemente falha em melhorar o desempenho e pode introduzir ruído, enfraquecendo perfis que seriam fortes.

RQ3: Generalização para Novos LLMs (Cold-Start)

• Estruturado + Treinável é Crítico: A generalização para modelos recém-introduzidos (Cold-Start) é quase impossível com perfis planos (sucesso próximo de zero).
• Sinergia: O melhor desempenho de cold-start é alcançado combinando perfis estruturados com configurações treináveis. Essa combinação permite que o roteador aproveite a estrutura relacional e a integração aprendida para inferir capacidades para modelos não vistos.
• Co-Design: Os ganhos de generalização não são uniformes; dependem do co-design do perfil e do roteador (por exemplo, o GraphRouter beneficia-se mais de perfis estruturados).

5. Significado e Conclusão

Este trabalho muda o paradigma da pesquisa em roteamento de LLMs de um foco exclusivo no design de mecanismos de roteador para uma visão equilibrada que prioriza o design de perfis de LLM.

• Insight Teórico: Demonstra que a qualidade da representação de entrada (o perfil) é um gargalo para o desempenho de roteamento, frequentemente mais do que a própria arquitetura do roteador.
• Orientação Prática:
  • Evite perfis planos, baseados em índices ou apenas de domínio grosseiro.
  • Priorize a integração de dados estruturados e em nível de consulta.
  • Para generalização robusta a novos modelos, empregue construção de perfil estruturada e treinável.
• Direção Futura: O artigo estabelece a perfilagem de LLM como uma direção de pesquisa crítica e pouco explorada, oferecendo uma base principiológica para o desenvolvimento de sistemas de roteamento multi-LLM mais eficazes e generalizáveis.