Rescaling Confidence: What Scale Design Reveals About LLM Metacognition

Este artigo demonstra que o design da escala de confiança verbalizada em LLMs não é neutro, revelando que escalas de 0 a 20 melhoram a eficiência metacognitiva em comparação com o padrão de 0 a 100, enquanto a preferência por números redondos e a compressão de limites degradam a qualidade da incerteza expressa.

O essencial

Imagine que você está pedindo para um oráculo (neste caso, uma Inteligência Artificial) adivinhar a resposta de um quebra-cabeça. Antes de dar a resposta, você pergunta: "Quão certo você está disso?"

Normalmente, a IA responde com um número entre 0 e 100. Se ela diz "100", é como se ela estivesse gritando: "Estou absolutamente certa!". Se diz "50", é um "acho que sim, mas não tenho certeza".

O artigo que você enviou descobre algo muito curioso e um pouco preocupante sobre como essas IAs funcionam. Vamos desvendar isso com uma analogia simples.

🎯 O Problema: A "Fita Métrica" Quebrada

Imagine que você pediu para um grupo de pessoas medir a altura de uma porta usando uma fita métrica de 100 centímetros. Você esperaria que elas usassem números variados: 182 cm, 195 cm, 173 cm...

Mas, o que o estudo descobriu é que essas IAs não usam a fita métrica inteira. Elas são como pessoas preguiçosas que só marcam a altura em números redondos e fáceis: 90, 95 ou 100.

• O Fenômeno da "Digitalização": Em vez de usar os 101 números possíveis (de 0 a 100), a IA concentra mais de 78% de todas as suas respostas em apenas três números. É como se, ao invés de ter uma paleta de cores com milhões de tons, a IA só soubesse pintar com "Azul Escuro", "Azul Médio" e "Azul Claro".
• Por que isso é ruim? Se a IA só usa 95 e 100, como podemos saber a diferença entre alguém que está "muito confiante" (95) e alguém que está "absolutamente certo" (100)? A informação fica borrada.

🧪 A Experiência: Mudando as Regras do Jogo

Os pesquisadores decidiram testar se o problema era a "fita métrica" (a escala de 0 a 100) ou se era algo na "mente" da IA. Eles fizeram três tipos de testes:

1. A Regra do "Menos é Mais" (Granularidade)

Eles perguntaram: "E se a gente não usar uma escala de 0 a 100, mas sim de 0 a 20?"

• A Analogia: Imagine que você está pedindo para alguém classificar a dor de cabeça. Em vez de usar uma escala de 1 a 100 (onde é difícil decidir entre 73 e 74), você pede para usar uma escala de 1 a 5.
• O Resultado: Surpreendentemente, a IA ficou melhor. Quando a escala era menor (0 a 20), a IA conseguia distinguir melhor entre "acertei" e "errei". Ela parecia mais sábia e menos confusa. A escala de 0 a 100, na verdade, estava atrapalhando a IA a pensar com clareza.

2. O Efeito da "Parede" (Deslocamento de Limites)

Eles mudaram a fita métrica para começar em números altos, como de 60 a 100.

• A Analogia: É como se você dissesse: "Sua nota vai ser entre 60 e 100. 60 é 'não sei nada' e 100 é 'sou um gênio'".
• O Resultado: A IA entrou em pânico (ou confusão). Como ela está acostumada a usar o número "100" como um ímã para "certeza absoluta", quando você empurra o limite inferior para cima, ela continua grudando no topo (perto de 100). Ela não consegue se adaptar e distribuir suas respostas pela nova faixa. A qualidade da resposta cai drasticamente.

3. A Armadilha dos Números Redondos

Eles usaram escalas estranhas, como de 3 a 38 ou 14 a 86.

• A Analogia: Imagine pedir para alguém medir algo com uma régua que tem marcas estranhas, mas ainda assim a pessoa insiste em medir apenas nos números que ela gosta (como 35, que é múltiplo de 5).
• O Resultado: Mesmo com regras estranhas, a IA continuou a escolher números redondos (múltiplos de 5). Isso mostra que a IA não está realmente "pensando" sobre o significado dos números, mas sim escolhendo palavras (tokens) que ela viu muito vezes no treinamento. Ela está seguindo um hábito, não uma lógica.

💡 O Que Isso Significa para o Futuro?

O estudo nos ensina três lições importantes, traduzidas para o dia a dia:

1. O Design da Pergunta Importa: A forma como fazemos a pergunta (a escala que usamos) muda a resposta. Não é apenas uma "ferramenta neutra". Se você quer saber a confiança de uma IA, pedir um número de 0 a 20 pode ser muito melhor do que 0 a 100.
2. Cuidado com a Confiança Exagerada: Muitas vezes, quando uma IA diz "100% de certeza", ela pode estar apenas seguindo um hábito de escrever o número "100", e não porque realmente analisou tudo perfeitamente.
3. Medidores Novos: Os cientistas precisam parar de usar apenas métricas antigas (que assumem que a IA usa todos os números) e começar a usar medidas mais inteligentes que entendam que a IA "pula" números.

🏁 Conclusão

Pense na Inteligência Artificial como um aluno muito inteligente, mas que é um pouco "preguiçoso" em matemática. Quando você pede para ele dar uma nota de 0 a 100, ele só usa os números que decorou (90, 95, 100).

O estudo diz: "Ei, pare de usar a régua de 100 cm! Use uma régua de 20 cm."
Ao fazer isso, o aluno (a IA) para de "chutar" números e começa a realmente expressar o quanto ele sabe, tornando a confiança da máquina mais honesta e útil para nós, humanos.

Em resumo: A maneira como perguntamos define a qualidade da resposta.

Resumo técnico

1. O Problema

A estimativa de incerteza em Modelos de Linguagem de Grande Escala (LLMs) é crucial para sua integração em pipelines de decisão. Em cenários de "caixa-preta", a confiança verbalizada (onde o modelo relata um escore numérico de certeza via prompting) tornou-se o paradigma predominante. No entanto, a maioria das pesquisas trata a escala de confiança (tipicamente 0–100) como um instrumento neutro.

O artigo identifica um problema fundamental: o design da escala não é neutro. Os autores demonstram que os LLMs não utilizam a escala 0–100 como um espectro contínuo. Em vez disso, eles exibem um fenômeno de discretização severa, concentrando a vasta maioria das respostas em apenas três valores de números redondos (ex: 90, 95, 100). Isso distorce as métricas de calibração padrão (como ECE - Expected Calibration Error) e levanta a questão central: o design da escala de confiança afeta a qualidade do sinal de incerteza verbalizada nos LLMs?

2. Metodologia

Os autores realizaram o primeiro estudo empírico sistemático sobre o design de escalas para metacognição em LLMs, manipulando as escalas ao longo de três dimensões ortogonais:

1. Granularidade (G): Variação do número de categorias de resposta discretas disponíveis.
   • Escalas testadas: [0, 5], [0, 10], [0, 20], [0, 50] e [0, 100].
   • Hipótese: Escalas mais finas podem amplificar vieses de tokens (preferência por números redondos), enquanto escalas mais grossas podem forçar uma discriminação mais robusta.
2. Deslocamento de Fronteira (B): Fixação do limite superior em 100 e aumento progressivo do limite inferior.
   • Escalas testadas: [0, 100], [20, 100], [40, 100], [60, 100].
   • Hipótese: Testar efeitos de ancoragem (Tversky & Kahneman). Se o modelo não redistribuir a confiança no novo intervalo, indica que os altos valores são preferências de tokens e não autoavaliação genuína.
3. Intervalos Não Padrão (N): Uso de limites que evitam múltiplos de 5 e 10 para testar a robustude semântica.
   • Exemplos: [0, 73], [14, 86], [3, 38] (intervalo estreito com poucos âncoras redondas).
   • Hipótese: Se o modelo ainda clusterizar em números redondos (ex: 50, 70) dentro de um intervalo irregular, isso revela dependência de heurísticas numéricas pré-treinadas.

Configuração Experimental:

• Modelos: 6 LLMs (GPT-5.2, Gemini 3.1 Pro, LLaMA-4-Maverick/Scout, Qwen3-235B/30B).
• Datasets: MMLU (QA de conhecimento), GSM8K (raciocínio matemático), TruthfulQA (detecção de concepções errôneas).
• Métricas de Avaliação:
  • ECE: Erro de Calibração Esperado (sensível à discretização).
  • AUROC: Área sob a curva ROC (mede a capacidade de distinguir acertos de erros).
  • Meta-d' (Sensibilidade Metacognitiva): Métrica derivada da Teoria de Detecção de Sinais (SDT) que quantifica quão bem a confiança separa respostas corretas de incorretas, independentemente do viés de resposta.
  • Mratio: Razão de eficiência metacognitiva (Meta-d' / d'), normalizando pela dificuldade da tarefa.
  • Diagnósticos: Medição de preferência por números redondos (Round) e violações de intervalo (Viol.).

3. Principais Contribuições

1. Estabelecimento da Discretização de Confiança: Demonstraram que a discretização é um fenômeno robusto em múltiplas famílias de modelos, onde mais de 78% das respostas se concentram em apenas três valores de números redondos, deixando a maior parte da escala 0–100 inutilizada.
2. Identificação de um "Sweet Spot" na Granularidade: Descobriram que a escala [0, 20] consistentemente supera a escala padrão [0, 100] em eficiência metacognitiva, sugerindo que escalas intermediárias reduzem o ruído de tokens sem perder resolução suficiente.
3. Limitações Semânticas e Guias de Design: Provaram que os LLMs possuem compreensão semântica limitada de intervalos numéricos. Eles tendem a tratar números como tokens lexicais em vez de limites semânticos, o que leva a falhas sob compressão agressiva de limites. O trabalho fornece diretrizes acionáveis para o design de interfaces de confiança.

4. Resultados Chave

• Discretização Severa: Sob a escala [0, 100], modelos como o Gemini 3.1 Pro relatam "100" em 68,4% das instâncias. A entropia da distribuição é extremamente baixa (ex: 0,95 bits vs. 6,66 bits para uma distribuição uniforme), indicando compressão extrema.
• Efeito da Granularidade:
  • A escala [0, 20] produziu consistentemente o maior Meta-d' e Mratio em todos os modelos e datasets.
  • A escala [0, 100] não superou a [0, 20] em nenhum caso; na verdade, a [0, 20] mostrou melhoria estatisticamente significativa (p < 0,05).
  • Escalas muito grossas ([0, 5]) falharam em capturar variação significativa, enquanto a [0, 100] exacerbou a preferência por âncoras.
• Efeito do Deslocamento de Fronteira:
  • Deslocamentos moderados (ex: [20, 100]) tiveram impacto mínimo.
  • Deslocamentos agressivos (ex: [60, 100]) causaram degradação sistemática. Os modelos não redistribuíram a confiança pelo novo intervalo, permanecendo agrupados perto do teto (100), o que reduziu drasticamente a eficiência metacognitiva (ex: Mratio caiu de 0,78 para 0,55 no Qwen3-235B).
• Robustade Semântica:
  • Mesmo em escalas não padrão (ex: [0, 73]), a preferência por múltiplos de 5 permaneceu alta (>70%), embora reduzida.
  • No intervalo estreito [3, 38], as taxas de violação (respostas fora do intervalo) aumentaram drasticamente, e a eficiência metacognitiva caiu, indicando que os modelos lutam para adaptar-se a restrições que não possuem "âncoras" familiares.
  • A mudança mínima de [0, 100] para [0, 97] já causou queda no desempenho, sugerindo que o valor "100" atua como uma âncora de confiança particularmente forte.

5. Significado e Conclusão

O artigo conclui que a confiança verbalizada é moldada tanto por vieses de nível de token (frequência de tokens no corpus de pré-treinamento) quanto pela avaliação genuína. O design da escala não é um detalhe de implementação, mas uma variável experimental de primeira classe.

Implicações Práticas:

1. Mudança de Escala: Recomenda-se o uso de escalas como [0, 20] em vez de [0, 100] para obter sinais de incerteza mais informativos e eficientes.
2. Métricas de Avaliação: O ECE deve ser usado com cautela ou complementado com Meta-d', pois a discretização torna as estimativas de calibração baseadas em bins instáveis e enganosas.
3. Design de Sistemas: Sistemas que exibem confiança aos usuários finais devem considerar que os escores podem ser artefatos da escala escolhida, e não apenas reflexos da incerteza real do modelo.

Em suma, o trabalho demonstra que pequenas alterações no design da escala podem melhorar ou degradar drasticamente o sinal metacognitivo, exigindo uma reavaliação de como os LLMs são avaliados e implantados em cenários críticos.