Resumo Técnico: De Resultados Amostrados para Distribuições de Capacidade: Repensando a Supervisão para Roteamento de LLM

1. Declaração do Problema

Os métodos atuais de roteamento de Grandes Modelos de Linguagem (LLMs) dependem tipicamente de supervisão de disparo único (single-shot), onde a capacidade de um modelo para uma consulta específica é rotulada com base em uma única resposta gerada e sua respectiva pontuação. Os autores argumentam que essa abordagem é fundamentalmente falha porque a geração de LLMs é inerentemente estocástica. Uma única amostra de resultado fornece apenas uma observação ruidosa do comportamento de um par consulta-modelo, em vez de uma estimativa confiável de sua verdadeira capacidade.

Essa visão de "estimativa pontual" introduz ruído sistemático no sinal de supervisão do roteamento. Como os outputs dos LLMs variam devido à aleatoriedade da amostragem (incerteza do lado do output) e à sensibilidade à formulação do prompt (incerteza do lado do input), uma única amostra pode levar a um rótulo instável ou enganoso sobre qual modelo é o mais adequado para uma consulta. Consequentemente, roteadores treinados com tais rótulos ruidosos podem aprender políticas que refletem o ruído incidental de geração, em vez de diferenças estáveis na capacidade do modelo, levando a uma seleção de modelos não confiável em produção.

2. Metodologia: DARS (Supervisão de Roteamento Consciente de Distribuição)

Para abordar essas limitações, os autores propõem o DARS, um framework que constrói a supervisão de roteamento a partir de uma visão distributiva do comportamento do modelo, em vez de amostras isoladas. O DARS opera capturando a incerteza de duas dimensões distintas:

A. Construção de Dados

Em vez de gerar uma resposta por par consulta-modelo, o DARS constrói um conjunto de observações repetidas:

1. Incerteza do Lado do Input: A consulta original é reescrita várias vezes usando um modelo de linguagem forte para gerar variações semanticamente equivalentes (preservando a resposta de ouro e a semântica da tarefa). Isso captura a sensibilidade à formulação da consulta.
2. Incerteza do Lado do Output: Para cada consulta reescrita, o modelo candidato realiza múltiplas execuções de decodificação estocástica independentes. Isso captura a variabilidade nos caminhos de raciocínio, factualidade e respostas finais.

Essas etapas resultam em uma matriz de observação (por exemplo, $N$ reescritas $\times$ $M$ execuções de decodificação) para cada par consulta-modelo, registrando tanto as pontuações de desempenho quanto os custos de inferência para cada observação.

B. Estimativa de Capacidade Distributiva

A partir dessas observações repetidas, o DARS resume três sinais de capacidade fundamentais para cada par consulta-modelo $(x, m)$:

• Qualidade Esperada ($\mu_q$): A pontuação média de desempenho através de todas as observações.
• Custo Esperado ($\mu_c$): O custo médio de inferência através de todas as observações.
• Risco de Desempenho ($\sigma_q$): O desvio padrão das pontuações de desempenho, representando a variabilidade agregada causada tanto pela reescrita do input quanto pela decodificação estocástica.

C. Supervisão Consciente de Risco

O DARS constrói uma função de utilidade consciente de risco para servir como o alvo de supervisão:
$$U(x, m) = \mu_q(x, m) - \lambda \mu_c(x, m) - \beta \sigma_q(x, m)$$
Onde:

• $\lambda$ equilibra qualidade e custo.
• $\beta$ penaliza o comportamento instável (alta variância).

O modelo preferido para uma consulta é definido como $m^*(x) = \arg\max_{m \in \mathcal{M}} U(x, m)$. Esta utilidade pode ser usada como um rótulo rígido (hard label), um alvo suave (via softmax) ou um alvo de regressão contínua, tornando o DARS compatível com várias arquiteturas de roteador (regressão, classificação, ranking, recuperação, etc.).

3. Principais Contribuições

1. Diagnóstico das Limitações de Disparo Único: Os autores analisam sistematicamente a suposição de rótulo de disparo único, demonstrando através de métricas diagnósticas (instabilidade de resultado, taxa de inversão de vencedor e discordância com rótulos conscientes de distribuição) que a supervisão de disparo único é instável e pode alterar diretamente as decisões de seleção de modelos.
2. Framework DARS: A introdução de um framework de supervisão consciente de distribuição que considera as incertezas de ambos os lados (reescrita de prompt e decodificação estocástica) para construir rótulos de roteamento confiáveis.
3. Validação Empírica: Experimentos extensos em diversos conjuntos de dados (GPQA, MATH-500, DROP-800) e pools de modelos heterogêneos mostram que o DARS produz rótulos de roteamento mais estáveis e melhora o desempenho das políticas de roteamento aprendidas em comparação com a supervisão de resposta única.

4. Resultados Experimentais

O artigo avalia o DARS em três datasets (GPQA, MATH-500, DROP-800) usando um pool de seis LLMs heterogêneos.

• Instabilidade de Rótulos de Disparo Único: A análise diagnóstica revela alta instabilidade na supervisão de disparo único. Por exemplo, no GPQA, a "taxa de inversão de vencedor" (a frequência com que o melhor modelo muda entre as amostras) é de 0,970, indicando que uma única amostra é um preditor ruim do modelo ideal.
• Ganhos de Desempenho: O DARS melhora o desempenho do roteamento em quase todas as famílias de roteadores testadas (incluindo MLP, kNN, EmbedLLM, GraphRouter, MIRT, etc.). Os ganhos são particularmente pronunciados em tarefas com alta incerteza do lado do output (ex: GPQA).
• Estudos de Ablação:
  • Tanto as variantes de apenas input quanto de apenas output do DARS superam o baseline de disparo único, confirmando que ambas as fontes de incerteza são informativas.
  • O framework DARS completo (combinando ambos) atinge os melhores resultados, sugerindo que as duas fontes são complementares.
  • Incluir o termo de risco ($\sigma_q$) melhora significativamente o desempenho; removê-lo leva a pontuações médias menores.
• Eficiência de Amostragem: O estudo descobre que um número moderado de observações (ex: um protocolo $3 \times 3$) é suficiente para atingir um desempenho próximo ao cenário completo de $5 \times 5$, sugerindo que o DARS é prático para implantação sem custos excessivos de amostragem.
• Trade-off Custo-Qualidade: Roteadores treinados com DARS alcançam uma fronteira de Pareto superior comparado aos roteadores de disparo único e frequentemente superam o melhor baseline de modelo fixo sob várias restrições de custo.

5. Significância e Alegações

O artigo afirma que o roteamento confiável de LLMs deve ir além das observações de resposta única. Ao fundamentar a supervisão de roteamento em distribuições de capacidade de modelo ao nível da consulta, o DARS fornece um sinal mais robusto para o treinamento de roteadores. Os autores enfatizam que esta abordagem não requer uma nova arquitetura de roteador, mas sim um repensar do próprio sinal de supervisão. Os resultados sugerem que tratar os rótulos de roteamento como amostras estocásticas de uma distribuição de capacidade subjacente leva a políticas de seleção de modelos mais estáveis, eficazes e custo-eficientes.