UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

Resumo Técnico: UCCI – Incerteza Calibrada para Roteamento de Cascata Otimizado por Custo em LLMs

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) oferecem alto desempenho em tarefas de previsão estruturada, mas os custos de inferência aumentam acentuadamente com o tamanho do modelo. A inferência em cascata — rotear consultas fáceis para um modelo pequeno e escalar consultas difíceis para um modelo grande — promete redução de custos. No entanto, os roteadores atualmente implantados frequentemente dependem de pontuações de confiança não calibradas (por exemplo, entropia bruta de tokens ou margens) que são sensíveis à formulação do prompt e a mudanças na carga de trabalho. Consequentemente, o ajuste de limiares é frequentemente um exercício manual, específico por carga de trabalho, que falha em generalizar, criando uma lacuna entre a promessa teórica das cascatas e o desempenho em produção.

Metodologia
O artigo propõe o UCCI (Inferência em Cascata Calibrada por Incerteza), um framework de roteamento que trata o design da cascata como um problema de decisão calibrado, em vez de um exercício de ajuste. A metodologia procede em três etapas:

1. Extração de Incerteza em Nível de Token: Para uma sequência gerada, o sistema calcula uma pontuação escalar de incerteza $u(x)$ baseada na margem entre as probabilidades do próximo token de 1º e 2º lugar ($p_{t,1} - p_{t,2}$) em todos os tokens. Essa margem é agregada para representar a incerteza geral da saída do modelo pequeno.
2. Calibração Isotônica: A pontuação de incerteza bruta $u(x)$ não é uma probabilidade. O UCCI mapeia essa pontuação para uma probabilidade calibrada de erro por consulta $\hat{p}(x)$ usando regressão isotônica em um conjunto de calibração retido. Esta etapa transforma o sinal mal calibrado em uma estimativa confiável da probabilidade de a saída do modelo pequeno estar incorreta ($P(e(x)=1 | u(x))$).
3. Minimização de Custo Constrained: Uma política de limiar $\pi_\theta$ é selecionada em um conjunto de validação. O limiar $\theta^*$ é escolhido para minimizar o custo de inferência esperado sujeito a uma restrição de precisão alvo ($\tau$). A política roteia consultas com $\hat{p}(x) \leq \theta$ para o modelo pequeno e escala aquelas com $\hat{p}(x) > \theta$ para o modelo grande.

Contribuições Teóricas
O artigo fornece dois resultados teóricos principais:

• Optimalidade de Políticas de Limiar: Sob três suposições explícitas (custo do modelo grande > custo do modelo pequeno; a precisão do modelo grande é invariante a quais consultas são escaladas; e acesso à verdadeira probabilidade calibrada de erro), os autores provam que uma política de limiar sobre a probabilidade calibrada de erro é ótima em termos de custo.
• Complexidade de Amostragem: O artigo estabelece que a regressão isotônica alcança um Erro de Calibração Esperado (ECE) de $O(n^{-1/3})$ com $n$ exemplos de calibração, fornecendo um limite teórico sobre a eficiência de dados da etapa de calibração.

Configuração Experimental e Resultados
O framework foi avaliado em uma carga de trabalho de Reconhecimento de Entidades Nomeadas (NER) em produção, envolvendo 75.000 consultas rotuladas manualmente de um sistema corporativo de gerenciamento de fotos.

• Modelos: Um modelo pequeno de 4 bilhões de parâmetros ($f_s$) e um modelo grande de 12 bilhões de parâmetros ($f_\ell$), ambos ajustados para instruções e servidos em GPUs H100.
• Medição de Custos: Os custos foram derivados da latência ponta a ponta medida em GPUs H100, resultando em uma razão de custo de $c_\ell/c_s \approx 3,02$.
• Baselines: O estudo comparou o UCCI contra inferência de modelo único, limiarização de entropia não calibrada, roteamento conformal dividido e um limiar aprendido estilo FrugalGPT.

Principais Descobertas:

• Redução de Custos: Em um micro-F1 alvo de 0,91, o UCCI reduziu os custos de inferência em 31% (IC 95%: [27%, 35%]) em comparação com o uso exclusivo do modelo grande.
• Qualidade da Calibração: A regressão isotônica reduziu o Erro de Calibração Esperado (ECE) de 0,12 (não calibrado) para 0,03.
• Desempenho vs. Baselines: No mesmo ponto de operação (F1 = 0,91), o UCCI alcançou o menor custo (2,08 unidades normalizadas) em comparação com limiarização de entropia (2,31), previsão conformal (2,18) e roteamento estilo FrugalGPT (2,24).
• Validação de Suposições: A suposição de que a precisão do modelo grande permanece invariante ao roteamento foi testada empiricamente; a precisão nas consultas escaladas (0,928) foi quase idêntica à precisão global (0,932), apoiando o framework teórico.

Significado e Alegações
O artigo argumenta que o principal valor de engenharia em sistemas de cascata reside em calibrar a pontuação de roteamento em vez de ajustar manualmente o limiar final. Ao converter um sinal ruidoso de margem de token em uma estimativa probabilística de erro por meio de um ajuste isotônico pequeno, o UCCI alcança desempenho de roteamento quase ótimo sem arquiteturas complexas de aprendizado para adiar ou dados de preferência.

Os autores enfatizam que seus resultados são baseados em roteamento ponta a ponta usando saídas reais de modelos e latência de hardware medida, evitando o viés de seleção inerente a simulações baseadas em precisões globais ou preços nominais de API. Embora o framework seja agnóstico à tarefa, os autores observam que as economias de custo específicas (31%) e as métricas de calibração são específicas da carga de trabalho. Eles reconhecem limitações relacionadas à suposição de invariância em domínios onde consultas "difíceis" para o modelo pequeno são desproporcionalmente difíceis para o modelo grande, e notam que a calibração estática pode exigir adaptação para implantações em streaming com mudanças de distribuição.