Resumo Técnico: Estimativa de Confiança Zero-Shot para Pequenos LLMs

Declaração do Problema

A implantação confiável de modelos de linguagem pequenos (SLMs, 7–8B parâmetros) para roteamento local-para-nuvem depende de uma estimativa de confiança precisa. O objetivo é rotear consultas fáceis para um modelo local barato e escalar as difíceis para um modelo de nuvem caro. A abordagem dominante envolve treinar um classificador supervisionado (por exemplo, RouteLLM) em dados rotulados para prever o sucesso do modelo com base em embeddings de consultas. No entanto, essa abordagem sofre de fragilidade: os estimadores supervisionados aprendem propriedades da distribuição específica de consultas (regiões de embedding correspondentes a perguntas "fáceis") em vez da capacidade interna do modelo. Consequentemente, esses estimadores falham ao transferir quando as distribuições de consultas mudam, novos domínios são introduzidos ou em cenários de início frio onde não existem dados rotulados.

Metodologia

O artigo avalia sinais de confiança zero-shot contra baselines supervisionados em três famílias de modelos de 7–8B (Qwen-2.5-7B, Llama-3.1-8B-Instruct, Mistral-7B-Instruct) e dois conjuntos de dados (MMLU-Pro e TriviaQA).

Sinais Avaliados

1. Sinais Zero-Shot (Sem Dados de Treinamento):

   • Log-probabilidade (logprob): A média da log-probabilidade por token da resposta gerada, mapeada para [0, 1]. Isso mede a surpresa em nível de token do modelo.
   • Autoavaliação (GSA): Uma sonda de um único token perguntando "Você está confiante?", onde a pontuação é a probabilidade normalizada do token "SIM".
   • Autoavaliação Condicional à Recuperação (GSA v3): Um sinal pré-geração novel que injeta conhecimento recuperado apenas quando as pontuações de similaridade excedem um limiar ($\tau=0.70$). Se nenhum acerto forte for encontrado, o prompt permanece byte-idêntico ao prompt nu para evitar que o modelo seja condicionado a "NÃO" devido à ausência de contexto.
   • Autoconsistência (SC): Similaridade de Jaccard entre duas gerações independentes.
   • Similaridade de Conhecimento (KS): Similaridade cosseno entre a consulta e as entradas da base de conhecimento recuperada.

2. Baselines Supervisionados:

   • RouteLLM-nm: Regressão logística treinada em embeddings de consultas para prever suficiência local.
   • RouteLLM-pks: Regressão logística treinada em embeddings de consultas concatenados com similaridade de conhecimento.
   • O treinamento foi realizado em 1.000 exemplos rotulados por modelo.

Configuração Experimental

• Conjuntos de Dados: MMLU-Pro (MCQ de 10 opções, ~950 consultas/modelo) e TriviaQA (aberto, 500 consultas/modelo).
• Avaliação: Área sob a curva do Característica Operacional do Receptor (AUROC) com intervalos de confiança de bootstrap de 1.000 amostras.
• Julgador: Claude Opus 4.5 usado para rotulagem, com taxas de fallback rastreadas.

Principais Resultados

1. Desempenho In-Distribution

No MMLU-Pro, a log-probabilidade emergiu como o melhor sinal zero-shot único, alcançando AUROCs de 0,714 (Qwen), 0,650 (Llama) e 0,678 (Mistral). Ela igualou ou superou as baselines supervisionadas (RouteLLM-nm/pks), que variaram de 0,644 a 0,676. Notavelmente, uma baseline supervisionada treinada em 1.000 exemplos nunca superou consistentemente o sinal de log-probabilidade zero-shot.

2. Transferência Out-of-Distribution (Cross-Dataset)

A descoberta mais significativa é a divergência na transferibilidade:

• Baselines Supervisionadas Colapsam: Quando modelos treinados no MMLU-Pro foram testados no TriviaQA, o desempenho do RouteLLM caiu para níveis de acaso (AUROC 0,512–0,564).
• Sinais Zero-Shot Melhoram: O desempenho da log-probabilidade aumentou no TriviaQA, alcançando AUROCs de 0,828 (Qwen), 0,800 (Llama) e 0,717 (Mistral).
• Explicação: Sinais supervisionados aprendem propriedades do lado da consulta (regiões de embedding) específicas da distribuição de treinamento. Sinais zero-shot medem propriedades do lado da geração (surpresa em nível de token), que são intrínsecas ao modelo e independentes da distribuição de entrada.

3. Curvas de Aprendizado e Latência

• Curva de Aprendizado: O roteamento supervisionado é instável em tamanhos de amostra pequenos (N=25) e converge em torno de N=250–500, mas mesmo em N=1.000, não supera a baseline zero-shot.
• Latência: A log-probabilidade requer geração completa (1,5–4,8s). O GSA v3 atua como um filtro pré-geração com latência significativamente menor (0,5–0,8s), oferecendo uma aceleração de 3–10× sobre a log-probabilidade enquanto melhora sobre a autoavaliação nua em até +0,069 AUROC.

4. Fusão de Sinais

A fusão ingênua (média simples) de múltiplos sinais geralmente degradou o desempenho, arrastando sinais fortes (log-probabilidade) para baixo em direção a sinais mais fracos (por exemplo, Similaridade de Conhecimento, que foi consistentemente invertida).

Significado e Alegações

O artigo afirma que a log-probabilidade média por token é uma alternativa robusta e sem custo ao roteamento supervisionado para tarefas de QA factual. Seu significado principal reside em demonstrar que:

1. Sinais do lado da geração transferem; sinais do lado da consulta não: A distinção mecânica entre medir o processo de geração do modelo versus a distribuição de consultas explica por que o roteamento supervisionado falha sob mudança de distribuição.
2. Supervisão é frequentemente desnecessária: Para modelos de 7–8B em tarefas factuais, treinar um classificador em 1.000 exemplos rotulados não oferece vantagem sobre uma verificação simples de log-probabilidade zero-shot e falha completamente quando o domínio muda.
3. Autoavaliação Condicional à Recuperação: Este sinal pré-geração novel oferece uma alternativa de baixa latência que fundamenta seletivamente julgamentos de confiança sem introduzir efeitos de condicionamento negativo.

Limitações

Os autores notam explicitamente que o escopo é limitado a:

• Dois conjuntos de dados de QA factual (MMLU-Pro, TriviaQA); raciocínio, criatividade e tarefas multi-turno não foram testados.
• Três modelos de escala similar (7–8B); a hipótese de que a log-probabilidade melhora com a escala não foi testada.
• Bases de conhecimento estáticas; ambientes de produção com KBs em crescimento não foram simulados.
• Ruído de rótulo (~13% de desacordo entre juízes), embora comparações diferenciais permaneçam robustas.

O artigo conclui que, para praticantes implantando roteamento local-para-nuvem em QA factual, a log-probabilidade deve ser o ponto de partida padrão, com GSA v3 como um pré-filtro de baixa latência, reservando o treinamento supervisionado apenas para cenários com distribuições estáveis e conhecidas onde o roteamento pré-geração é estritamente necessário.