Resumo Técnico: Quando o Roteamento é Significativo? Diversidade e Robustez em Sociedades de Modelos de Linguagem

Declaração do Problema

A avaliação atual de políticas de roteamento para sistemas multimodelos (sociedades de modelos de linguagem, ferramentas ou agentes) foca quase exclusivamente na utilidade a jusante: acurácia da tarefa e custo de inferência. Os autores argumentam que uma alta acurácia por si só não garante que o roteamento seja "significativo". Uma política de roteamento pode alcançar alto desempenho ao operar sobre uma sociedade redundante onde todos os atores se comportam de forma idêntica, ou ao atribuir consultas de forma inconsistente a diferentes atores com base em variações superficiais de entrada. Nesses casos, as condições estruturais necessárias para que os atores desenvolvam especializações estáveis estão ausentes.

O artigo identifica duas propriedades estruturais ortogonais necessárias para um roteamento significativo:

1. Diferenciação Comportamental: A sociedade deve conter atores que respondem de forma diferente às consultas. Se todos os atores se comportam identicamente, o roteamento é vácuo.
2. Estabilidade de Roteamento: A política de roteamento deve ser robusta a variações de forma superficial. Consultas semanticamente equivalentes (por exemplo, com erros de digitação, substituições de sinônimos ou paráfrases) devem ser atribuídas ao mesmo ator. Sem essa estabilidade, os atores não podem se especializar de forma confiável.

Metodologia

1. Medindo a Diversidade da Sociedade: Entropia Social Hierárquica (HSE)

Para quantificar a diferenciação comportamental, os autores adaptam a Entropia Social Hierárquica (HSE), originalmente proposta para enxames de robôs (Balch, 2000), para sociedades de modelos de linguagem.

• Vetores Comportamentais: Em vez de comparar pesos de modelos, o método avalia os atores em um conjunto de avaliação $E$ para produzir vetores comportamentais $b_k \in \mathbb{R}^L$, onde cada elemento representa a pontuação do ator em um prompt específico.
• Métrica de Distância: A distância inter-ator é calculada usando $1 - \text{similaridade de cosseno}$ desses vetores comportamentais. Isso captura a similaridade de perfil em vez da magnitude absoluta de desempenho.
• Agrupamento Hierárquico: Os atores são agrupados em cada limiar de distância $h$ possível usando ligação simples (single linkage).
• Cálculo de Entropia: A entropia social simples (entropia de Shannon) é computada para a partição de atores em cada limiar $h$. A HSE é a integral desta entropia através de todos os níveis taxonômicos (de $h=0$ a $h \to \infty$).
• Propriedades: A HSE é uma medida de razão contínua com um zero absoluto (atores idênticos). Ela é normalizada para permitir a comparação entre sociedades de diferentes tamanhos. A métrica é projetada para ser sensível ao grau de separação entre grupos, não apenas ao número de grupos.

2. Medindo a Robustez do Roteamento

Para quantificar a estabilidade do roteamento, os autores introduzem uma métrica baseada em perturbação $\rho(\pi, Q)$.

• Taxonomia de Perturbação: As consultas são perturbadas através de cinco níveis de distância semântica crescente:
  1. Nível de caractere (erros de digitação, espaçamento).
  2. Nível de palavra (sinônimos, erros ortográficos).
  3. Nível de sintaxe (voz passiva, reordenação).
  4. Paráfrase (reescrita completa, mesmo significado).
  5. Rambling/Prolixidade (adição de contexto irrelevante).
• Definição da Métrica: Para uma consulta $q_i$ roteada para um ator $a_i$, a robustez $\rho_i$ é a fração de suas $p$ perturbações que também são roteadas para $a_i$. A robustez do conjunto de dados é a média de $\rho_i$ sobre todas as consultas.
• Suposição: Se $q_i$ e sua perturbação são semanticamente equivalentes, a atribuição do ator ideal deve permanecer a mesma. Desvios indicam instabilidade da política.

3. Configuração Experimental

Os métodos foram validados em dois benchmarks:

• EmbedLLM: 112 modelos avaliados em 36.054 questões através de 10 benchmarks (ex: MMLU, GSM8K).
• RouterBench: 11 modelos avaliados em 36.497 consultas através de 8 conjuntos de dados.
• Sociedades Sintéticas: Para testar limites teóricos, os autores construíram sociedades sintéticas de "especialistas" com indicadores de desempenho binários baseados em:
  • RD (Profundidade de Raciocínio): 5 níveis de complexidade cognitiva.
  • SA (Área de Conhecimento): 15 domínios acadêmicos/práticos distintos.
  • RD+SA: Um pool combinado com sobreposição parcial.
• Políticas de Roteamento: Aleatória, Baseada em Prompt (seleção via LLM usando descrições de papéis) e KNN (k-Vizinhos Mais Próximos no espaço de embeddings).

Principais Resultados

1. Retornos Decrescentes na Diversidade

• Real vs. Sintético: Sociedades de especialistas projetadas propositalmente (SA, RD) exibem uma HSE significativamente maior do que pools de modelos do mundo real de tamanho equivalente. Por exemplo, a sociedade SA (HSE=3.91) é mais do que duas vezes mais diversa que o pool padrão do EmbedLLM (HSE=1.62).
• Heurística de Coreset: A HSE exibe fortes retornos decrescentes. No sociedade padrão do EmbedLLM, adicionar agentes além de aproximadamente nove gera ganhos de diversidade negligenciáveis. Em sociedades sintéticas, a curva estabiliza ainda mais rápido (4–5 agentes). Isso sugere que um subconjunto curado de menos de dez agentes pode recuperar a maior parte da diversidade disponível em grandes pools.

2. O Trade-off Acurácia-Robustez

• Roteadores KNN: Roteadores baseados em KNN alcançam alta acurácia de tarefa em sociedades de especialistas (onde as fronteiras comportamentais são nítidas). No entanto, eles sofrem um colapso catastrófico em robustez sob perturbação. Pequenas mudanças superficiais deslocam os embeddings das consultas através de fronteiras de domínio, fazendo com que o roteador atribua consultas semanticamente equivalentes a diferentes atores.
• Roteadores Baseados em Prompt: O roteamento baseado em prompt (usando descrições em linguagem natural) mantém alta robustez em todos os tipos de perturbação e configurações de sociedade. Embora sua acurácia de tarefa limpa em sociedades de especialistas possa ser ligeiramente inferior à do KNN, sua acurácia perturbada permanece estável. Eles se prendem à intenção semântica em vez da proximidade de embedding.

3. Impacto da Composição da Sociedade

• A transição para um subconjunto max-HSE (um subconjunto pequeno e diverso selecionado de forma gananciosa) melhora a robustez dos roteadores baseados em prompt.
• O efeito em roteadores KNN é dependente do conjunto de dados. No RouterBench, o subconjunto max-HSE resgata a robustez do KNN. No EmbedLLM, a robustez do KNN diminui ou melhora apenas marginalmente, sugerindo que a estrutura comportamental específica do pool EmbedLLM (separação menos estruturada mesmo em max HSE) torna o roteamento de vizinho mais próximo inerentemente frágil a variações superficiais.

Significância e Alegações

O artigo afirma fornecer a primeira métrica de diversidade comportamental para análise de roteamento de LM e uma métrica de robustez correspondente. Suas principais contribuições são:

1. Reenquadramento da Avaliação: Argumenta que o roteamento significativo requer tanto uma sociedade diferenciada quanto uma política estável, distintas da acurácia da tarefa.
2. Heurística de Design Prático: A descoberta de fortes retornos decrescentes em HSE sugere que grandes pools de modelos heterogêneos são frequentemente redundantes. Projetar sociedades com menos de dez agentes cuidadosamente curados é uma estratégia prática para maximizar a diversidade sem o custo de escala.
3. Insight Diagnóstico: A divergência entre a acurácia do KNN e a robustez destaca que alto desempenho em consultas limpas não implica um sistema de roteamento robusto. O roteamento baseado em prompt mostra-se a abordagem mais estável para manter as condições de especialização sob variação de entrada.

Os autores mantêm a modéstia quanto ao escopo, observando que suas métricas medem a estabilidade de atribuição, e não a emergência real de competência especializada ao longo do tempo, e que suas sociedades sintéticas usam perfis de desempenho binários idealizados que podem ser mais nítidos do que os de agentes do mundo real.