Resumo Técnico: O Hiato de Granularidade de Pontuação em Classificação de LLMs Black-Box

1. Enunciado do Problema

Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como classificadores de caixa-preta em pipelines de alto risco (ex: triagem médica, moderação de conteúdo) que dependem de predição seletiva. Neste cenário, um operador define um limiar de confiança para automatizar predições de alta confiança e encaminhar as incertas para revisão humana.

Pesquisas anteriores focaram em saber se a confiança do LLM é calibrada (uma confiança declarada de 80% significa 80% de precisão?) ou se ela classifica (rank) corretamente (se ordena erros abaixo de predições corretas?). No entanto, este artigo identifica uma dimensão crítica e negligenciada para a implantação: a granularidade da pontuação.

O problema central é o Hiato de Granularidade de Pontuação: uma pontuação de confiança pode classificar os casos perfeitamente, mas ser inútil para controle refinado se oferecer apenas alguns valores distintos. Se uma pontuação oferece apenas $V$ valores distintos, um operador pode definir no máximo $V$ pontos operacionais não triviais (limiares), independentemente de quão bem a pontuação classifica. Isso cria uma "escada grosseira" de trade-offs entre risco e cobertura, em vez de um controle contínuo, tornando o sistema inflexível para orçamentos de erro específicos.

2. Metodologia

Configuração Experimental

O estudo avalia sete construções de confiança em 25 pares modelo-dataset (9 LLMs de diversas capacidades em 3 benchmarks: BoolQ, MNLI e PubMedQA). Os modelos variam de fortes (ex: GPT-4o-mini, Llama-3.1-70B) a fracos (ex: GPT-5-nano, Llama-3.1-8B).

Construções de Confiança

Os autores comparam métodos que se enquadram em duas categorias:

1. Single-Shot (1 chamada de modelo):
   • Verbalização (Verb): Confiança verbalizada convertida em uma probabilidade de classe (tratando predições de classe negativa via $P(pos) = 1-c$ se $\hat{y}=0$).
   • Verb-logprob: Log-probabilidades do primeiro token (onde o acesso à API permite).
   • Verb-logprob+T: Log-probabilidades com escalonamento de temperatura post-hoc.
2. Multi-Sinal (10 chamadas de modelo por entrada):
   • Decomposição de Subtarefas: O modelo responde a 10 subperguntas de sim/não interpretáveis e desenhadas à mão (ex: "sobreposição_lexical", "implicação_semântica").
   • Paráfrase de Multi-Prompt: O modelo responde a 10 versões parafraseadas do prompt original.
   • Agregação: Os 10 scores escalares são combinados via:
     • Média Simples: Média ingênua.
     • Combinação Aprendida (LR): Regressão logística com regularização L2 para aprender pesos e sinais.
     • Calibração: Escalonamento de temperatura aplicado aos logits da regressão logística.

Métricas

O estudo avalia as pontuações ao longo de três eixos:

1. Qualidade de Classificação (Ranking): Medida por PR-AUC (e PR-AUC$_N$ normalizado) e AURC (Área sob o Risco-Cobertura).
2. Resolução da Pontuação: Medida por:
   • Granularidade ($G$): Número de valores distintos de pontuação.
   • Entropia da Pontuação ($H$): Dispersão da distribuição em 20 bins.
   • Massa Interior ($M$): Fração de pontuações no intervalo útil $(0.1, 0.9)$.
3. Custo e Interpretabilidade: Número de chamadas de modelo e a capacidade de auditar o raciocínio (subtarefas fornecem isso; paráfrases não).

3. Resultados Principais

O Hiato de Granularidade

• Confiança Verbalizada (Verb): Classifica surpreendentemente bem (média de PR-AUC$_N$ normalizado = 0.80), mas é extremamente grosseira. Tipicamente oferece apenas 1–21 valores distintos (média $G=9$), com 45% dos casos compartilhando o valor mais comum. Isso limita os operadores a cerca de 9 limiares, criando uma curva de risco-cobertura em degraus.
• Resolução vs. Classificação: Uma alta classificação não implica alta resolução. Uma pontuação pode ordenar os casos perfeitamente, mas ser inutilizável para definição de limiares se carecer de valores distintos.

Efeitos da Agregação

• Expansão de Resolução: A agregação multi-query (Sub-cal, MP-LR) expande consistentemente a resolução, aumentando $G$ para uma média de 138 e preenchendo a massa interior ($M \approx 45\%$).
• Impacto na Classificação é Seletivo:
  • Modelos Fracos: A agregação melhora a classificação para modelos com acurácia $\lesssim 85\%$.
  • Modelos Fortes: A agregação pode degradar a classificação para modelos fortes (acurácia $\gtrsim 90\%$). Os pesos aprendidos podem perturbar a classificação já boa das pontuações verbalizadas, levando a um pior AURC em 13 de 18 pares de modelos fortes.
• Aprendido vs. Ingênuo: A média simples frequentemente falha (ex: caindo para quase o nível do acaso no MNLI) devido a polaridades conflitantes nas subtarefas. A regressão logística aprendida é essencial para recuperar o sinal ao atribuir sinais e pesos corretos.

Interpretabilidade

• Subtarefas vs. Paráfrases: A agregação por paráfrase (MP-LR) muitas vezes iguala ou supera a agreção por subtarefas (Sub-LR) em termos de classificação. No entanto, as subtarefas fornecem propriedades de implantação: transparência de pesos, atribuição de erro e trilhas de auditoria (razões para cada sub-score).
• Modos de Falha: As subtarefas podem falhar se os probes desenhados à mão não acompanharem o rótulo (ex: um modelo específico colapsando no BoolQ), mas essas falhas são visíveis e auditáveis, ao contrário das falhas silenciosas de ensembles de paráfrases de caixa-preta.

Probabilidades de Token

• Onde disponíveis, as log-probabilidades brutas oferecem melhor resolução do que as pontuações verbalizadas. O escalonamento de temperatura post-hoc melhora significativamente a resolução (aumentando $G$ para 51–69) e a cobertura em baixas taxas de erro, tudo isso com um custo de 1x.

4. Guia de Implantação

O artigo propõe um procedimento de decisão baseado na força do modelo e nas restrições:

1. Sempre converta a confiança verbalizada em probabilidade de classe.
2. Se as log-probabilidades estiverem disponíveis: Use-as com escalonamento de temperatura (melhor relação custo/resolução).
3. Se o modelo for fraco ($\lesssim 85\%$ de acurácia): Use agregação multi-query (custo 10x) para melhorar tanto a classificação quanto a resolução.
4. Se o modelo for forte ($\gtrsim 90\%$ de acurácia): Utilize a confiança verbalizada para risco-cobertura (para evitar degradação). Use agregação apenas se o controle de limiar refinado for estritamente necessário.
5. Se a interpretabilidade for necessária: Prefira a decomposição de subtarefas em vez de paráfrases, pois ela fornece transparência sem sacrificar a classificação (em relação ao MP-LR).

5. Significância e Alegações

O artigo afirma mudar o paradigma de avaliação da confiança de LLMs de um binário "é confiável?" para um orientado à implantação: "em qual resolução ele pode ser acionado?".

• Reenquadramento da "Não Confiabilidade": A narrativa de que "a confiança do LLM é não confiável" é em parte um artefato de confundir confiança na resposta com probabilidade de classe e ignorar a resolução. Uma vez convertida, a confiança verbalizada classifica bem, mas carece de granularidade.
• Clareza de Trade-off: O estudo separa explicitamente classificação, risco-cobertura global e controlabilidade de limiar. Demonstra que a agregação compra de forma confiável pontos operacionais (controle mais fino), mas não melhora universalmente a classificação, e pode prejudicar modelos fortes.
• Interpretabilidade como uma Propriedade: Os autores argumentam que a interpretabilidade não é uma vantagem de classificação, mas uma propriedade de implantação necessária para domínios regulados, alcançável via scores de subtarefas.

Os autores concluem que as avaliações futuras devem reportar métricas de resolução (granularidade, entropia, massa interior) juntamente com métricas de classificação, pois uma pontuação que classifica perfeitamente, mas oferece apenas um punhado de limiares, não está pronta para implantação.