Resumo Técnico: Conformal Cascade

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em escala exige um equilíbrio entre qualidade de inferência e custo. Cascata de LLMs aborda isso roteando consultas para um modelo menor e mais barato primeiro, escalonando para um modelo maior e mais capaz apenas quando necessário. No entanto, as cascatas de produção atuais dependem de limiares de confiança (ex: probabilidade softmax, concordância de autoconsistência) para tomar decisões de adiamento. Essas abordagens sofrem de três limitações críticas:

1. Miscalibração: Os escores de confiança dos LLMs são notoriamente mal calibrados, particularmente em tarefas de raciocínio intenso, o que significa que uma alta confiança não correlaciona confiavelmente com a correção.
2. Falta de Garantias Formais: Nenhuma configuração de um limiar de confiança $\theta$ fornece um limite formal, livre de distribuição, para a precisão da cascata. A taxa de erro realizada depende da distribuição conjunta desconhecida de consultas e confianças.
3. Sobrecarga de Ajuste (Tuning): Praticantes devem realizar varreduras empíricas de limiares para cada novo par de modelos, domínio ou distribuição de dificuldade, pois não há um mapeamento analítico de um orçamento de erro desejado para um valor de limiar.

Metodologia: Conformal Cascade (CC)

Os autores propõem o Conformal Cascade (CC), um framework de inferência de múltiplos níveis que substitui os limiares de confiança por conjuntos de predição conformal. O mecanismo central opera da seguinte forma:

1. Pontuação de Não Conformidade

Em vez de usar escores de confiança brutos, o CC utiliza uma pontuação de não conformidade baseada em frequência derivada da decodificação de autoconsistência. Para um determinado nível $k$ e consulta $x$, o modelo gera $N$ amostras independentes. Para cada resposta candidata $a$ no conjunto finito de respostas $A(x)$, o escore é definido como:
$$s_k(x, a) = 1 - \frac{|\{i : \hat{y}^{(k)}_i = a\}|}{N}$$
Respostas amostradas com frequência recebem escores baixos (alta conformidade), enquanto respostas raras recebem escores altos. Esta abordagem requer apenas acesso a API black-box e reutiliza amostras geradas para autoconsistência.

2. Calibração por Nível

Usando um conjunto de calibração retido $D_{cal}$, um limiar $\hat{q}_k$ é computado para cada nível $k$ para satisfazer um nível de má cobertura $\alpha$ especificado pelo usuário. O limiar é definido como o quantil $(1-\alpha)$ dos escores de não conformidade nos dados de calibração. O conjunto de predição para uma nova consulta é:
$$C_k(x) = \{a \in A : s_k(x, a) \leq \hat{q}_k\}$$
Pelas propriedades da predição conformal dividida (split conformal prediction), este conjunto garante que a resposta verdadeira está contida em $C_k(x)$ com probabilidade de pelo menos $1-\alpha$ (cobertura marginal).

3. Regra de Adiamento (Deferral Rule)

A decisão de adiamento é impulsionada pelo tamanho do conjunto de predição conformal, não por um valor de confiança:

• Aceitar: Se o tamanho do conjunto $|C_k(x)| \leq \kappa$ (onde $\kappa \geq 1$ é um parâmetro de aceitação, padrão $\kappa=1$), a cascata assume a resposta mais frequente no conjunto.
• Adiar: Se $|C_k(x)| > \kappa$, a consulta é escalonada para o próximo nível.
• Fallback: Se o nível final falhar em produzir um conjunto de tamanho $\leq \kappa$, a cascata retorna a resposta mais frequente das amostras do nível final.

Crucialmente, o adiamento em si não pode causar um erro; erros ocorrem apenas na aceitação. Esta estrutura permite que as garantias por nível se componham em uma garantia de nível de cascata.

Principais Contribuições

1. Framework Teórico: Os autores formulam o CC para $K$ níveis arbitrários e provam um limite de cobertura de nível de cascata (Teorema 2). No pior caso, a probabilidade de a cascata aceitar uma resposta errada é limitada por $K\alpha$. Sob uma condição de "preservação de seleção" (Assunção 3), isso se torna mais estrito para $\alpha$.
2. Caracterização de Custo-Precisão: O artigo deriva uma expressão de forma fechada para o custo esperado de inferência como uma função de $\alpha$ e da taxa de aceitação do conjunto de calibração (Teorema 4). Isso permite que os praticantes troquem explicitamente o orçamento de erro pelo custo computacional.
3. Validação Empírica: Avaliação extensiva em 18 benchmarks de múltipla escolha (cobrindo ciência, medicina, senso comum e exames) e quatro famílias de modelos de pesos abertos (Llama, Gemma, Ministral, Phi) demonstra que o CC supera estritamente as heurísticas de cascata ajustadas por calibração na maioria dos pares de modelo-benchmark.

Resultados Experimentais

• Ganhos de Precisão: O CC melhora em relação às melhores bases heurísticas (incluindo estratégias de concordância, entropia e adiamento aleatório) em 49 de 72 pares de modelo-benchmark. Os ganhos mais significativos ocorrem em benchmarks de raciocínio intenso (ex: GPQA-Diamond, MathQA, MedMCQA) onde o voto majoritário é pouco confiável. Por exemplo, no Phi/GPQA-Diamond, o CC alcança um ganho de +4,3 pontos percentuais.
• Eficiência: Em benchmarks mais fáceis onde o modelo pequeno é confiável, o CC compromete a vasta maioria das consultas ao modelo pequeno sem custo de precisão, reduzindo significativamente o custo esperado de inferência em comparação com o adiamento constante ou modelos fortes.
• Garantias de Cobertura: As taxas de má cobertura observadas geralmente caem entre os limites estritos de $\alpha$ e o pior caso de $K\alpha$. Por exemplo, com $\alpha=0,10$ e $K=2$, a má cobertura observada foi frequentemente próxima de 0,10, permanecendo bem dentro do limite teórico de 0,20.
• Fronteira de Pareto: O CC domina os métodos heurísticos na fronteira de Pareto custo-precisão. Ao ajustar o parâmetro de aceitação $\kappa$, o CC pode desbloquear pontos de operação mais baratos mantendo a garantia conformal, um trade-off não alcançável por limiares de confiança fixos.

Significância e Alegações

O artigo afirma que o Conformal Cascade fornece a primeira garantia de precisão de amostra finita e livre de distribuição para inferência de LLM em múltiplos níveis. Diferente de métodos anteriores que dependem de escores de confiança mal calibrados e exigem ajuste extensivo por implantação, o CC oferece:

• Interpretabilidade: O hiperparâmetro $\alpha$ corresponde diretamente ao orçamento de erro do usuário.
• Compatibilidade Black-Box: Não requer treinamento de modelo, não requer acesso a log-probabilities, e utiliza apenas amostragem padrão de API.
• Robustez: Lida efetivamente com o problema de calibração ao limitar a cobertura do nível do conjunto, em vez de tentar reescalar escores de confiança.

Os autores observam que o método é atualmente limitado a tarefas com conjuntos de respostas finitos e extraíveis (ex: múltipla escolha). A extensão para geração de texto aberto via agrupamento de respostas (clustering) é identificada como trabalho futuro. Adicionalmente, a garantia é marginal (sobre a distribuição de dados) e não condicional à dificuldade da consulta, e o framework assume a intercambiabilidade entre os dados de calibração e de teste, necessitando de recalibração online para mudanças de covariáveis.