Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification

Imagine que você está contratando uma equipe de robôs superinteligentes e falantes para separar uma montanha de correspondência em pilhas de "Bom" e "Mau". Você não quer apenas que eles classifiquem a correspondência; você quer que eles digam o quão seguros estão sobre cada peça. Se um robô estiver apenas 50% seguro, você pode querer separar essa carta e pedir que um humano faça uma dupla checagem. Este é o mundo dos Modelos de Linguagem de Grande Escala (LLMs) atuando como classificadores. Esses sistemas de IA são como alunos brilhantes, mas às vezes excessivamente confiantes; eles conseguem escrever ensaios e resolver enigmas, mas quando solicitados a categorizar coisas, precisam ser capazes de dizer: "Estou bem seguro" ou "Estou chutando".

A grande questão que os cientistas estão fazendo é: Como sabemos se esses robôs estão realmente dizendo a verdade sobre sua confiança? Se um robô diz: "Estou 95% seguro", isso é um sentimento real e calculado, ou é apenas um chute de sorte? Para testar isso, os pesquisadores usam um placar especial chamado Curva de Precisão-Rejeição. Imagine uma escala deslizante: conforme você instrui o robô a ser mais rigoroso (aceitando apenas respostas onde ele diz estar 95% seguro), a pilha de cartas aceitas diminui, mas as que restam na pilha são quase sempre corretas. O objetivo é encontrar o "ponto ideal" onde você mantém o máximo de cartas enquanto ainda é super preciso. O problema é que medir esse placar é difícil se as respostas do robô forem aglomeradas e repetitivas.

---

O Hábito do "95%" do Robô

Neste artigo, os autores, Elena Merdjanovska e sua equipe, descobriram uma peculiaridade estranha na forma como esses robôs de IA expressam sua confiança. Quando você pede a um robô para dizer um número em voz alta (como "Estou 95% confiante"), ele não escolhe números aleatoriamente como um humano jogando dados. Em vez disso, ele fica preso em um trilho.

Pense nisso como um aluno fazendo uma prova de múltipla escolha que, em vez de pensar, apenas escreve "95" em todas as folhas de resposta porque parece um número redondo e seguro. Os pesquisadores descobriram que um modelo de IA popular (Qwen3-32B) usou apenas oito números únicos (0,6; 0,65; 0,7; 0,75; 0,85; 0,9; 0,95 e 0,98) para descrever sua confiança em milhares de perguntas. Mais louco ainda? Mais da metade das vezes, ele simplesmente dizia 95%.

Isso é um problema porque é como tentar sintonizar um rádio, mas o botão só trava em oito posições específicas. Se você quiser filtrar as "más" cartas para obter 98% de precisão, pode ter que jogar fora 40% da sua correspondência. Mas se o robô pudesse dar um número mais preciso, como 96,3%, você poderia precisar jogar fora apenas 28% da correspondência. Como o robô é tão "esparso" (preso em poucos números), ele desperdiça muitos dados bons.

A Armadilha da "Linha Suave"

É aqui que a trama se complica. Os pesquisadores descobriram que a maneira como os cientistas estavam medindo o desempenho do robô estava, na verdade, mentindo para eles.

Para calcular o placar (chamado AUARC), os pesquisadores geralmente desenham uma linha conectando os pontos em um gráfico. A maioria das pessoas usa a interpolação linear, que desenha uma linha suave e reta entre os pontos, assumindo que a confiança do robô muda gradualmente. Mas se o robô tem apenas oito números, existem lacunas enormes entre os pontos! Desenhar uma linha suave através dessas lacunas é como conectar os pontos de uma cordilheira irregular com uma régua reta — cria uma colina suave falsa que não existe.

Os autores mostraram que o uso desse método de "linha suave" fazia os robôs parecerem muito melhores do que realmente eram. Na verdade, quando eles mudaram para o método correto — interpolação por degraus, que desenha uma linha plana até que o próximo número real apareça — as classificações mudaram completamente. Um método que parecia o "campeão" com a linha suave caiu para o último lugar com a linha por degraus. Acontece que a linha suave era apenas uma ilusão de ótica que fazia os robôs esparsos parecerem mais flexíveis do que realmente eram.

O Truque Mágico dos "Logprobs"

Então, como consertamos um robô que só fala em oito números? A equipe propôs um truque inteligente chamado Verbalização de Logprobs.

Normalmente, quando um robô diz "95%", ele apenas cospe as palavras "9" e "5". A maneira padrão de usar isso é apenas pegar o número 95. Mas o robô sabe algo mais: ele sabe o quão provável foi ele escolher o "9" versus o "8", e o quão provável foi o "5" versus o "6". Essas probabilidades ocultas são chamadas de logprobs.

O novo método dos autores é como perguntar ao robô não apenas o número, mas o sentimento por trás do número. Em vez de apenas pegar o "95", eles calculam uma média ponderada baseada em quão seguro o robô estava de cada dígito. Isso transforma a resposta aglomerada de oito números do robô em um fluxo contínuo e suave de confiança.

Os resultados foram impressionantes. Ao usar esse truque, os escores de confiança do robô tornaram-se muito mais detalhados (saltando de apenas 8 valores únicos para mais de 600 valores únicos!). Isso não custou nenhum poder ou tempo de computação extra; apenas usou informações que o robô já possuía. Com este novo método, o robô pôde encontrar aquele "ponto ideal" muito melhor, melhorando seu escore de desempenho em 2,3 pontos em comparação com o método antigo. Foi como dar ao robô um seletor de alta definição em vez de um quebrado e travado, permitindo que ele classificasse a correspondência com muito menos desperdício.

A Conclusão

O artigo conclui que precisamos parar de fingir que esses robôs são operadores suaves quando, na verdade, eles são bastante rígidos. Se continuarmos usando o método da "linha suave" para julgá-los, estaremos obtendo uma falsa sensação de segurança. Ao mudar para a forma de medição "por degraus" e usar o truque dos "logprobs" para obter respostas mais detalhadas, podemos finalmente confiar nesses classificadores de IA para nos dizer quando estão realmente confiantes e quando estão apenas chutando. É uma pequena mudança na forma como ouvimos, mas faz uma diferença enorme em quão bem podemos usar esses ajudantes digitais.